Обновлен массив данных iNaturalist в GBIF: 24 июня

Дорогие друзья!

У нас повод ещё раз рассказать о взаимодействии iNaturalist и Global Biodiversity Information Facility, а также (традиционно) о рейтинге России. Последний раз мы писали о GBIF-массиве iNaturalist 6 дней назад: https://www.inaturalist.org/projects/flora-of-russia/journal/37453-obnovlen-massiv-dannyh-inaturalist-v-gbif . Давайте посмотрим, как продвигаются наши дела, ведь 24 июня 2020 г. был обновлен массив данных iNaturalist, которые поступают в GBIF (https://doi.org/10.15468/ab3s5x).

Итак, некоторые из вас уже знают, что данные (которые каждый из вас загружает на iNaturalist), достигшие исследовательского уровня и имеющие одну из трёх свободных лицензий (CC0, CC-BY, CC-BY-NC), экспортируются в GBIF (https://www.gbif.org/). Это единая точка доступа к 53,6 тысячам баз данных о биоразнообразии. Сейчас в GBIF 1,4 млрд записей, в т.ч. 16 699 363 штук из iNaturalist. В общей сложности, 58,1 млн записей в GBIF имеют сопутствующие изображения, видеофайлы или аудио.

Hi all, this is a traditional overview of the activity of the Russian iNat-community in accumulation of GBIF-mediated data. iNaturalist data that reaches research grade and has one of three free licenses (CC0, CC-BY, CC-BY-NC) is exported to GBIF.

Если вы хотите что-то выгрузить из iNaturalist в табличном виде, то, прежде всего, появится вот такое сообщение: "Большие объёмы экспорта тормозят нашу инфраструктуру и усложняют для нас введение новых изменений. Следует рассмотреть другие источники. GBIF принимает большинство наших лицензированных наблюдений исследовательского уровня, и их инструменты экспорта превосходны. Экспорт GBIF также идет с doi, который вы можете указать, если публикуете исследования на основе данных, которые вы экспортируете, и эти ссылки чрезвычайно полезны для нас, поскольку они позволяют нам видеть, как используются данные iNat". Сейчас таких публикаций уже 689.

Any user can freely study all this data on the GBIF portal as well as download offline data of any size in the form of csv-downloads. The filters allow you to make sophisticated enquires and, in fact, browse better the electronic data on the biodiversity of a particular region.

На данный момент, в GBIF имеется 4,75 млн записей о биоразнообразии России - 4,67 млн с основной территории и 0,08 млн из Крыма. При этом, iNaturalist является вторым по объему источником данных о природе России (занимает долю 12,37%), и эта доля постоянно и довольно быстро растёт - неделю назад она составляла 11,98%. На карте хорошо видно, что пять миллионов точек для такой страны, как наша - это очень мало.

At the moment, GBIF has 4.75M records on biodiversity of Russia - 4.67M from the mainland and 0.08M from the Crimea. iNaturalist is the second largest dataset on the nature of Russia (holds 12.37% and rapidly increasing), so we monitor regularly the current stats of GBIF.

Самым большим набором данным о природе России является Moscow University Herbarium (MW) (https://doi.org/10.15468/cpnhcc), однако не все образцы из Гербария МГУ имеют геопривязки. Таким образом, в самом конце апреля iNaturalist стал самым большим (!) датасетом с пространственными данными о биоразнообразии России по всем группам:

  1. iNaturalist Research-grade Observations 578 460
  2. Moscow University Herbarium (MW) 424 574
  3. RU-BIRDS.RU, Birds observations database from Russia and neighboring regions 359 336
  4. Geographically tagged INSDC sequences 195 599
  5. EOD - eBird Observation Dataset 171 034
  6. Locations of plants on dot distribution maps in the Flora of Siberia (Flora Sibiraea, 1987–1997) 169 854
  7. A grid-based database on vascular plant distribution in Vladimir Oblast, Russia 123 054
  8. Birds of Northern Eurasia 86 992
  9. Chronicle of Nature - Phenology of Plants of Zhiguli Nature Reserve 86 524
  10. EBCC Atlas of European Breeding Birds 80 923

По находкам сосудистых растений с территории России, имеющим координаты, раскладка пока другая, впрочем динамика на стороне iNaturalist:

  1. Moscow University Herbarium (MW) 382 026
  2. iNaturalist Research-grade Observations 352 303
  3. Locations of plants on dot distribution maps in the Flora of Siberia (Flora Sibiraea, 1987–1997) 169 854
  4. A grid-based database on vascular plant distribution in Vladimir Oblast, Russia 123 054
  5. Chronicle of Nature - Phenology of Plants of Zhiguli Nature Reserve 86 524
  6. Chronicle of Nature - Phenology of Plants of FSE Zapovednoe Podlemorye 54 792
  7. MHA Herbarium: Eastern European collections of vascular plants 49 790
  8. Chronicle of Nature - Phenology of Plants of The Central Chernozem State Biosphere Nature Reserve named after Professor V.V. Alyokhin 48 878
  9. A grid-based database on vascular plant distribution in Udomlya District of Tver Oblast, Russia 31 669
  10. Phenological Center - Plants 24 905

Возникает вопрос: почему в проекте "Флора России" 496 тыс. наблюдений, а в предыдущей табличке всего 382 тыс.? Поясняем.

Наблюдения из России, которые публикуются в iNaturalist, добавляются в GBIF тремя путями:
1) загрузка новых наблюдений (поле и архивы);
2) определение бэклога;
3) изменение пользователями настроек своих лицензий.

По противоположным причинам наблюдения могут быть автоматически отозваны из GBIF:
1) наблюдение удалено пользователем из iNaturalist;
2) наблюдение с исследовательским уровнем лишилось его (было переопределено);
3) пользователь поставил жёсткую лицензию для всех своих фотографий.

Сейчас потери данных при экспорте из проекта "Флора России" в GBIF из-за несвободных лицензий составляет 14,2% (эта доля, к счастью, сократилась на 0,2% за шесть дней). Всего в проекте "Флора России" 496 457 наблюдений от 6891 человека. Под свободными лицензиями находится 425 852 наблюдения (85,8%) 3109 пользователей.

В связи с этим обращаемся к каждому пользователю iNaturalist в России, к каждому подписчику или просто участнику портала "Флора России" (точнее, к тем 14%, которые еще не перешли на открытые лицензии): каждый пользователь может зайти в личный кабинет (только на сайте, ведь в приложении этой функции нет) и поставить/поменять лицензию. Пожалуйста, сделайте это! У наблюдений, которые не идут в GBIF, стоит в паспорте наблюдений пометка "Все права защищены" (справа внизу), а у тех, что идут - "Некоторые права защищены". К сожалению, в приложениях по умолчанию стоит "All rights reserved", что запрещает использовать ваши данные даже в научных целях.

Вот пошаговая инструкция для придания вашим наблюдениям статуса "открытые данные":
1) зайдите через компьютер или интернет-браузер смартфона на сайт iNaturalist.org
2) залогиньтесь и зайдите в раздел "Настройки учётной записи" (по стрелке в правом верхнем углу рядом с вашим аватаром)
3) пролистайте до раздела "Лицензирование"
4) в разделах "Лицензия наблюдения по умолчанию", "Лицензия фото по умолчанию", "Лицензия аудио по умолчанию" проставьте одну из первых трёх лицензий: CC0, CC-BY, CC-BY-NC
5) обязательно поставьте три галочки "Обновить существующие наблюдения (фото, аудио) новыми вариантами лицензий", чтобы лицензия обновилась на всех загруженных прежде вотографиях
6) в конце страницы нажмите синюю кнопку "Сохранить"

Итак, в GBIF-зачет попадают не все наблюдения, а только те, что достигли "Исследовательского уровня" и имеют свободную лицензию - CC0, CC-BY или CC-BY-NC. Успех нашей страны в GBIF/iNaturalist во многом связан с активностью профессиональных ученых, которые подтверждают находки (а, зачастую, и публикуют на iNaturalist свои данные) и разумностью пользователей, которые в личных кабинетах на сайте поставили для своих наблюдений свободные лицензии, а, значит, такие наблюдения могут использоваться научным сообществом.


Как обычно: догонялки. Для кого-то это самое интересное. Именно в GBIF легко и просто посмотреть насколько активны пользователи iNaturalist разных стран мира. Все мы видим борьбу регионов в зачетах "Флоры России" и в Кубке. Все наши данные идут в зачёт России в мировом рейтинге и очень здорово влияют, прежде всего, на репутацию нашей страны в профессиональном научном мире. Чтобы было интереснее, давайте поставим себе на это лето три цели.

*** Цель 1: второе место в мире по наблюдениям сосудистых растений ***

  1. United States of America 3 455 785
  2. Canada 499 048
  3. Russian Federation 352 303
  4. New Zealand 248 285
  5. South Africa 220 595
  6. Mexico 217 704
  7. United Kingdom 147 182
  8. Australia 102 023
  9. Germany 97 929
  10. Taiwan 93 907

Пока мы занимаем третье место в мире, уступая Канаде 146,7 тыс. наблюдений (в прошлый раз было 152,1 тыс.). Казалось бы: это очень много! Но если, например, все пользователи портала "Флора России" решили бы перейти на открытые лицензии, то отрыв составил около 50 тыс. наблюдений. Так что Канаду мы попробуем съесть к концу лета, а может и чуть раньше (см. цель 3). Не снижаем обороты! УЧАСТВУЮТ: наблюдения сосудистых растений с территории России исследовательского уровня с лицензиями CC0, CC-BY, CC-BY-NC.

*** Цель 2: четвертое место по наблюдениям всех организмов ***

С Австралией у нас идёт борьба в общем зачёте (по всем наблюдениям всех групп живых организмов, которые попадают из iNaturalist в GBIF) за четвёртое место:

  1. United States of America 8 974 075
  2. Canada 1 298 982
  3. Mexico 826 459
  4. Australia 590 773
  5. Russian Federation 578 460
  6. New Zealand 465 185
  7. South Africa 399 115
  8. United Kingdom 350 450
  9. Germany 275 172
  10. Italy 243 044

Итак, сейчас отрыв Австралии всего 12,3 тыс. наблюдений (в прошлый раз было 25,5 тыс.). Там сейчас зима, поэтому наблюдений поступает относительно немного. В штатном режиме через пару недель мы должны Австралию обогнать и начать преследование Мексики. УЧАСТВУЮТ: наблюдения всех организмов с территории России исследовательского уровня с лицензиями CC0, CC-BY, CC-BY-NC.

*** Цель 3: первое место по наблюдениям сосудистых растений (в зачёте по месяцам) ***

Немного истории: немногие помнят, но каждый раз по итогам месяца в мае, июне, июле, августе и сентябре 2019 года Россия занимала третье место по сосудистым растениям, уступая США и Канаде. В этом году мы стабильно вторые.

Вот данные за июнь 2020 г.:

  1. United States of America 41 644
  2. Russian Federation 17 936
  3. Canada 9 870
  4. United Kingdom 4 590
  5. Germany 3 808
  6. Finland 3 121
  7. South Africa 1 797
  8. Italy 1 507
  9. Australia 1 337
  10. Lithuania 1 323

В 2020 году и в мае, и в июне мы уверенно занимаем уже второе место, каждый раз вдвое опережая Канаду и уступая Америке не в 10 раз, как год назад, а всего в 3 раза (в мае) и в 2,3 раза (в июне). УЧАСТВУЮТ: свежие полевые наблюдения 2020 г. сосудистых растений с территории России исследовательского уровня с лицензиями CC0, CC-BY, CC-BY-NC.


На секунду забудем о GBIF. Если мы возьмем все наблюдения в iNaturalist (кроме обыкновенных), то Россия занимает сейчас пятое место. Наш рывок произошёл буквально на днях: мы опередили Великобританию и ЮАР. Отставание от стран "большой четвёрки" довольно большое: выше нас США, Канада, Мексика и Австралия. Пока имеем:

  1. Мексика 2 125 704
  2. Австралия 1 207 998
  3. Россия 934 486 (*978 191 с Крымом)

УЧАСТВУЮТ: все наблюдения всех организмов с территории России (кроме "обыкновенных").

Всем спасибо! Каждому спасибо!


P.S. Вот пользователи, которые внесли максимальный вклад за последние 7 дней в проект "Флора России" и используют при этом открытые лицензии: ссылка.

Posted on June 25, 2020 04:47 AM by apseregin apseregin

Comments

No comments yet.

Add a Comment

Sign In or Sign Up to add comments