Обновлен массив данных iNaturalist в GBIF: 28 июля

Дорогие друзья!

У нас повод ещё раз рассказать о публикации данных iNaturalist через Global Biodiversity Information Facility, а также (традиционно) о рейтинге России. Последний раз мы писали о GBIF-массиве iNaturalist 12 дней назад: https://www.inaturalist.org/projects/flora-of-russia/journal/38439-obnovlen-massiv-dannyh-inaturalist-v-gbif-16-iyulya . Давайте посмотрим, как продвигаются наши дела, ведь 28 июля 2020 г. массив данных iNaturalist, которые поступают в GBIF, был обновлен (https://doi.org/10.15468/ab3s5x).

Итак, многие из читателей нашего журнала уже знают, что данные (которые каждый из вас загружает на iNaturalist), достигшие исследовательского уровня и имеющие одну из трёх свободных лицензий (CC0, CC-BY, CC-BY-NC), экспортируются в GBIF (https://www.gbif.org/). Это единая точка доступа к 53,9 тысячам баз данных о биоразнообразии. Сейчас в GBIF 1,6 млрд записей, в т.ч. 18 001 881 штук из iNaturalist. В общей сложности, 60,8 млн записей в GBIF имеют сопутствующие изображения, видеофайлы или аудио.

Hi all, this is a traditional overview of the activity of the Russian iNat-community in accumulation of GBIF-mediated data. iNaturalist data that reaches research grade and has one of three free licenses (CC0, CC-BY, CC-BY-NC) is exported to GBIF.

Если вы хотите что-то выгрузить из iNaturalist в табличном виде, то, прежде всего, появится вот такое сообщение: "Большие объёмы экспорта тормозят нашу инфраструктуру и усложняют для нас введение новых изменений. Следует рассмотреть другие источники. GBIF принимает большинство наших лицензированных наблюдений исследовательского уровня, и их инструменты экспорта превосходны. Экспорт GBIF также идет с doi, который вы можете указать, если публикуете исследования на основе данных, которые вы экспортируете, и эти ссылки чрезвычайно полезны для нас, поскольку они позволяют нам видеть, как используются данные iNat". Сейчас таких публикаций уже 732.

Any user can freely study all this data on the GBIF portal as well as download offline data of any size in the form of csv-downloads. The filters allow you to make sophisticated enquires and, in fact, browse better the electronic data on the biodiversity of a particular region.

Наблюдения из России, которые публикуются в iNaturalist, добавляются в GBIF тремя путями:
1) загрузка новых наблюдений (поле и архивы);
2) определение бэклога;
3) изменение пользователями настроек своих лицензий.

По противоположным причинам наблюдения могут быть автоматически отозваны из GBIF:
1) наблюдение удалено пользователем из iNaturalist;
2) наблюдение с исследовательским уровнем лишилось его (было переопределено);
3) пользователь поставил жёсткую лицензию для всех своих фотографий;
4) наблюдению присвоен статус "обыкновенное" (по разным причинам).

Обновление данных из iNaturalist позволило преодолеть важный рубеж: теперь в свободном доступе в GBIF имеется 5 млн записей о биоразнообразии России!

Итак, на данный момент, в GBIF индексируется 5,12 млн записей о биоразнообразии России - 5,02 млн с основной территории и 0,10 млн из Крыма. При этом, iNaturalist является самым большим по объему источником данных о природе России (занимает долю 14,53%), и эта доля постоянно растёт.

At the moment, GBIF has 5.12M records on biodiversity of Russia - 5.02M from the mainland and 0.10M from the Crimea. iNaturalist is the largest dataset on the nature of Russia (holds 14.53% and rapidly increasing), so we monitor regularly the current stats of GBIF.

Вот, какие массивы данных по биоразнообразию России являются крупнейшими:

  1. iNaturalist Research-grade Observations 730 485
  2. Moscow University Herbarium (MW) 623 474
  3. RU-BIRDS.RU, Birds observations database from Russia and neighboring regions 369 661
  4. EOD - eBird Observation Dataset 282 227
  5. Geographically tagged INSDC sequences 195 599
  6. Locations of plants on dot distribution maps in the Flora of Siberia (Flora Sibiraea, 1987–1997) 169 854
  7. A grid-based database on vascular plant distribution in Vladimir Oblast, Russia 123 054
  8. Finnish Floristic Database (Finnish Museum of Natural History Collections) 106 057
  9. Birds of Northern Eurasia 86 992
  10. Chronicle of Nature - Phenology of Plants of Zhiguli Nature Reserve 86 524

Как обычно: догонялки. Напомним, что именно через GBIF легко и просто посмотреть насколько активны пользователи iNaturalist разных стран мира. Все мы видим борьбу регионов в зачетах "Флоры России" и в Кубке. Все наши данные идут в копилку России в мировом рейтинге и очень здорово влияют, прежде всего, на репутацию нашей страны в профессиональном научном мире. Чтобы было интереснее, мы поставили себе на это лето три цели.

*** Цель 1: второе место в мире по наблюдениям сосудистых растений ***

  1. United States of America 3 678 210
  2. Canada 558 646
  3. Russian Federation 472 581
  4. New Zealand 254 276
  5. South Africa 232 691
  6. Mexico 226 560
  7. United Kingdom 164 962
  8. Germany 111 995
  9. Australia 111 383
  10. Taiwan 100 152

Пока мы занимаем третье место в мире, уступая Канаде 86,1 тыс. наблюдений (12 дней назад было 93,5 тыс.). Отставание сокращается медленно, но верно. Но если, например, все пользователи портала "Флора России" решили бы перейти на открытые лицензии, то этот отрыв уже бы давно был преодолен. Прогноз: осенью (вот только когда?) Канаду мы догоним и выйдем таки на второе место. УЧАСТВУЮТ: наблюдения сосудистых растений с территории России исследовательского уровня с лицензиями CC0, CC-BY, CC-BY-NC.

*** Цель 2: третье место по наблюдениям всех организмов ***

С Мексикой у нас идёт борьба в общем зачёте (по всем наблюдениям всех групп живых организмов, которые попадают из iNaturalist в GBIF) за третье место.

  1. United States of America 9 530 349
  2. Canada 1 453 032
  3. Mexico 853 976
  4. Russian Federation 730 485
  5. Australia 629 959
  6. New Zealand 478 131
  7. South Africa 419 937
  8. United Kingdom 406 220
  9. Germany 309 457
  10. Italy 262 512

Итак, сейчас отрыв от Мексики 123,5 тыс. наблюдений (12 дней назад было 143 тыс.). Там сейчас летняя засуха, поэтому наблюдений будет поступать до весны относительно немного. Прогноз: при том же сокращении разрыва на 20 тыс. наблюдений в 12 дней примерно через 10 недель мы выйдем на третье место. Впрочем, темпы роста наблюдений из России в конце лета тоже замедляются. УЧАСТВУЮТ: наблюдения всех организмов с территории России исследовательского уровня с лицензиями CC0, CC-BY, CC-BY-NC.

*** Цель 3: первое место по наблюдениям сосудистых растений (в зачёте по месяцам) ***

Эта цель всё ещё кажется нереальной. Ведь мы замахнулись на то, чтобы обогнать США - родину iNaturalist. Пусть даже на месячной отметке и только по сосудистым растениям исследовательского уровня. Но... Давайте смотреть на цифры. Немного истории: немногие помнят, но каждый раз по итогам месяца в мае, июне, июле, августе и сентябре 2019 года Россия занимала третье место по сосудистым растениям, уступая США и Канаде. В этом году мы стабильно вторые.

Вот данные за июнь 2020 г.:

  1. United States of America 152 511
  2. Russian Federation 95 172
  3. Canada 41 500
  4. United Kingdom 15 036
  5. Germany 11 536

А вот за июль 2020 г.:

  1. United States of America 61 050
  2. Russian Federation 38 058
  3. Canada 21 591
  4. United Kingdom 5 338
  5. Germany 4 755

В этот раз мы уступаем США в 1,60 раза (как в июне, так и в июле): пока оставание стабильно. В любом случае, отрадно то, что в этом сезоне мы явно стали вторым по мощности национальным ботаническим сообществом iNaturalist. УЧАСТВУЮТ: свежие полевые наблюдения 2020 г. сосудистых растений с территории России исследовательского уровня с лицензиями CC0, CC-BY, CC-BY-NC.

Всем спасибо! Каждому спасибо!


Хотите поучаствовать в этих догонялках? Нет ничего проще! Каждый пользователь может зайти в личный кабинет (только на сайте, ведь в приложении этой функции нет) и поставить/поменять лицензию. У наблюдений, которые не идут в GBIF, стоит в паспорте наблюдений пометка "Все права защищены" (справа внизу), а у тех, что идут - "Некоторые права защищены". К сожалению, в приложениях по умолчанию стоит "All rights reserved", что запрещает использовать ваши данные даже в научных целях и передавать их в GBIF.

Вот пошаговая инструкция для придания вашим наблюдениям статуса "открытые данные":
1) зайдите через компьютер или интернет-браузер смартфона на сайт iNaturalist.org
2) залогиньтесь и зайдите в раздел "Настройки учётной записи" (по стрелке в правом верхнем углу рядом с вашим аватаром)
3) пролистайте до раздела "Лицензирование"
4) в разделах "Лицензия наблюдения по умолчанию", "Лицензия фото по умолчанию", "Лицензия аудио по умолчанию" проставьте одну из первых трёх лицензий: CC0, CC-BY, CC-BY-NC
5) обязательно поставьте три галочки "Обновить существующие наблюдения (фото, аудио) новыми вариантами лицензий", чтобы лицензия обновилась на всех загруженных прежде фотографиях
6) в конце страницы нажмите синюю кнопку "Сохранить"

Итак, в GBIF-зачет попадают не все наблюдения, а только те, что достигли "Исследовательского уровня" и имеют свободную лицензию - CC0, CC-BY или CC-BY-NC. Успех нашей страны в GBIF/iNaturalist во многом связан с активностью профессиональных ученых, которые подтверждают находки (а, зачастую, и публикуют на iNaturalist свои данные) и разумностью пользователей, которые в личных кабинетах на сайте поставили для своих наблюдений свободные лицензии, а, значит, такие наблюдения могут использоваться научным сообществом.

Вот пользователи (из числа топ-500 наблюдателей по флоре России), которые перешли на свободные лицензии, но случайно не обновили их для всех наблюдений:

@allaverkhozina -1157
@antennaria -970
@veronika_belova -376
@alakey -325
@naturalist16000 -154
@naturalist10224 -90
@natalia_polyakova -58
@stsenator -51
@alebedev -48
@naturalist9429 -42
@yaroslavmagazov -20
@elenasmirnova -20

Вот пользователи (из числа топ-500 наблюдателей по флоре России), которые пока не перешли на свободные лицензии (их данные не идут в GBIF):

@vladimirov -1850
@cava -1790
@natalya1406 -1311
@sergeyus -1174
@naturalist25051 -1133
@marina-privalova -1026
@merlu -1002
@tarasov -838
@millione -720
@valiaainikeeva -694
@nastay_kutuzova -657
@naturalist12789 -652
@denis138 -636
@naturalist19164 -631
@naturalist29626paterikina -590
@naturalist26231 -547
@annalaenko -507
@nellysemenova -469
@andreytikhonov -451
@nadya9 -447
@khairulla -435
@daria40 -430
@naturalist35155 -428
@missnarjess -428
@valentinaborodulina -413
@nikita_grechesky -409
@artem2013 -406
@evgeniy_benikhanov -401
@svetlana_koveshnikova -398
@olgakrilova -387
@vera_chistyakova -377
@naturalist35087 -373
@naturalist14385 -373
@mariafazilova -357
@annagamzina -356
@daria1813 -352
@julujka -341
@adilya_galeeva -326
@vera124 -309
@proshinmaxim -304
@julia_fodina -303
@lubovschnaider -302
@yanabykova09 -301
@kkatya -299
@naturalist28910 -299
@vlbury -293
@tatyana20 -285
@angelinaguryanova -274
@simonkamnev -269
@keytmaksimova -269
@deniszhbir -267
@angelina237 -266
@dmitry_kulakov -266
@rudentzova -265
@lyamin_aleksey -263
@naturalistcvetlana -258
@digitata -252
@verba -244
@marinakrygina -243
@naturalist13989 -242
@marinakhanduyk -238
@karpova -236
@tatianavladimirova -236
@natalya_eromasova -229
@anastasialoseva -228
@ferdania -221
@alena_golovchenko -215
@eashumikhina -215
@kristina_gayderova -209
@alexandrtichonov -199
@nekto -197
@nadik -197
@naturalist31744 -194
@spichacova -193
@borovicheveugene -193
@alyona4 -192
@acanthisflammea -191
@kroupsky -189
@nataliashevchenko -189
@irinaki -187
@esinm -182
@anton_nikolaev -181
@natalia_trifuz -180
@monsieurzhukov -178
@tegipo -178
@vikakazakova -177
@naturalist6849 -177
@irinaber -175
@naturalist20971 -175
@taegoo -170
@naturalist35099 -169
@naturalist33665 -168
@eugenelsaransk -165
@vaku-vaku -165
@naturalist31384 -164
@naturalist4690 -164
@dmitrysvobodin -163
@nat_zouieva -162
@naturalist40668 -159
@katrina_venus -159
@bestofthebest -158
@ellen_go -158
@naturalist16365 -157
@sershey -157
@katarairways -156
@el-kizi-1204 -156

Отдельно отметим, что всего три наблюдателя из числа топ-100 наблюдателей проекта "Флора России" пока не перешли на свободные лицензии. Это невероятное достижение в деле открытого доступа к данным о биоразнообразии.


P.S. Вот пользователи, которые внесли максимальный вклад за последние 12 дней в проект "Флора России" и используют при этом открытые лицензии: ссылка.

Posted on July 29, 2020 04:52 AM by apseregin apseregin

Comments

Доброго времени суток!
Обновила лицензию. Можно ли как-то посмотреть, ушли наблюдения в GBIF или нет?

Posted by natalya_eromasova over 3 years ago

Наталья, здравствуйте! Данные в GBIF уходят не сразу. Вчерашнее обновление включает данные, оказавшиеся на iNaturalist на 16 июля (задержка 12 дней). Соответственно, когда в следующий раз обновится массив (https://www.gbif.org/dataset/50c9509d-22c7-4a22-a47d-8c48425ef4a7) (а обычно это происходит раз в две недели), то данные, переведенные на открытую лицензию сегодня, могут в него всё ещё не попасть просто потому, что подготовка и экспорт больших объемов информации занимает время. Когда же это произойдет (т.е. либо через две, либо через четыре недели), то вот по этой ссылке https://www.gbif.org/occurrence/search?dataset_key=50c9509d-22c7-4a22-a47d-8c48425ef4a7&advanced=1 в фильтре "Recorded by" вы наберете свое имя в том виде, в каком оно фигурирует на iNaturalist ("Наталья Еромасова" кириллицей) и увидите в GBIF свои наблюдения. Еще через пару недель в паспорте каждого вашего наблюдения в правом нижнем углу появится надпись "Это наблюдение размещено на одном сайте" и значок GBIF.

Небольшая просьба ко всем без исключения пользователям написать свое имя в учётке iNaturalist (там есть такая графа), а, во-вторых, по возможности сделать это латиницей.

Posted by apseregin over 3 years ago

Обновил лицензию.

Posted by vladimirov over 3 years ago

Супер!
Интересно будет посмотреть в следующий раз, сколько участников за две недели перейдут на открытые лицензии

Posted by apseregin over 3 years ago

У меня в настройках изначально стоит лицензия "Все права защищены", но для растений (и вообще всех не-птиц) я обычно меняю лицензию вручную на "CC-BY-NC". Иногда забываю, или делаю это спустя какое-то время.

Posted by nat_zouieva over 3 years ago

Add a Comment

Sign In or Sign Up to add comments