Внешние инструменты от @kildor для работы с данными iNaturalist | External tools by @kildor for iNat data

Дорогие друзья! Dear all!

Каждый раз, когда наш проект проходит очередную круглую отметку, я пишу в конце, что для написания данного поста использован конвертер текстовых и табличных данных, который осуществляет разметку текста. Этот конвертер разработал Константин Романов (@kildor). Постепенно различных утилит, написанных Константином, становится всё больше. Хочу вас с ними кратко познакомить.

Every time our project passes a milestone, I write at the end of the post that I used a converter of text and tabular data, which performs text markup. The converter was developed by Konstantin Romanov (@kildor). At the moment, there are some new utilities written by Konstantin. I'd like to introduce them briefly.

Полный список со всеми ссылками находится тут: https://kildor.name/inat/ . Можно смело не читать дальше, а переходить по ссылке. Инструменты очень простые и понятные, поэтому разобраться в них ничего не стоит. Я остановлюсь скорее на том, для чего каждый из этих инструментов может пригодиться.

A complete list with all links can be found here (in Russian): https://kildor.name/inat/. You are free to follow this link ignoring my introduction. The tools are simple and straightforward, so you don't need to figure them out. I'll focus on usefulness of every tool with some simple examples.

Эта инструкция адресована, в первую очередь, экспертам, поскольку затрагивает вопросы чистки данных по видам, которые уже получили "Исследовательский уровень". Кроме того, многие аспекты будут полезны администраторам проектов и пользователям, целенаправленно документирующим флору и фауна отдельных мест и регионов. Поехали.

My instruction is addressed primarily to experts (identifiers) as it addresses the issues of data cleaning for species with "Research Grade" observations. In addition, some aspects will be useful to project admins and users who scrupulously document the flora and fauna of their places and regions. Let's go.


1) Новые виды в проекте (https://kildor.name/inat/new-species)

Позволяет посмотреть список видов, появившихся в проекте за выбранный промежуток времени. Можно смотреть проект целиком (вставив его id, например, flora-of-russia или chuvash-republic-flora), а можно поставить фильтр на конкретного пользователя. Это особенно важно для постоянного мониторинга новых поступлений в тот или иной региональный или общероссийский проект. В основном, со стороны кураторов и экспертов для проверки правильности [кривых] определений и [бездумных] подтверждений.

Однако в описании утилиты написано: "Данный список примерен, и может не учитывать какие-то из наблюдений, в особенности если проект требует "Исследовательского уровня"." Это связано с промежутком между временем загрузки и временем верификации наблюдений. Тем не менее, для регулярного мониторинга новых поступлений вещь просто незаменимая. Можно смотреть через браузер (с гиперссылками на конкретные наблюдения), а можно скачать csv. Впрочем инструмент № 3 ещё более мощный!

1) New species in the project (https://kildor.name/inat/new-species)

A tool allows to view a list of species that have appeared in the project for a selected period of time. You can select project (by inserting its id, for example, flora-of-russia or chuvash-republic-flora), or you can put a filter on a user. This is especially important for constant monitoring of new contributions to a particular project. Basically, it is a great tool for project admins and experts for verifications of [preliminary] definitions and [thoughtless] confirmations.

However, the description of the utility says: "This list is quite approximate, and may not take into account some of the observations, especially if the project requires "Research Grade"." This is due to the time gap between uploading and verification. Nevertheless, the tool is simply irreplaceable for regular monitoring of new additions. You can look the species list (Latin name + Russian name, if present) through the browser (with hyperlinks to specific observations), or you can download a csv. However, tool number 3 is even more powerful!


2) Пропущенные виды (https://kildor.name/inat/missed-species)

Вещь очень удобная для целенаправленного поиска каких-либо видов в каком-либо регионе. Например, у меня 696 видов, сфотографированных во Владимирской области. В региональном проекте сейчас 890 видов. Вношу свой ник и id проекта и получаю список почти из двух сотен видов, которые найдены другими пользователями, а в моих наблюдениях из региона не представлены. Если в каком-либо регионе вы снимаете больше всех и уверены в своих определениях, то это также неплохой способ поискать ошибки в определениях (или невыставленные галочки культурных видов) у других пользователей.

Можно поставить два фильтра: проект+другой пользователь. В этом случае, вы получите список видов, которые не найдены вами, но встречены соседом. Например, Виктор Степанов (@vist) сфотографировал 64 вида, которых в моих наблюдениях из Владимирской области отсутствуют.

Сравнивать с другим пользователем можно и генеральные списки найденных вами видов (поле проект оставьте пустым). Так, например, Марина Горбунова (@melodi_96) в списке найденных таксонов имеет 1698 видов, которые мне не попадались. Списки видов можно смотреть через браузер, а можно скачать csv.

2) Missed species (https://kildor.name/inat/missed-species)

This tool is very convenient for a targeted search for any species in any region/place (you need to define place through project settings). For example, I have 696 species observed in Vladimir Oblast, Russia. At the moment, there are 890 species in the regional project on flora. I enter my nick @apseregin and project id (vladimir-oblast-flora) and get a list of almost two hundred species that were documented by other users, but absent in my observations from the region. If you are a really power-user in your area and confident in your identifications, this is also a good way to look for id errors (or unticked cultivated species) made by others.

You can use two filters as well: project + another user. In this case, you'll get a list of species encountered by him/her, but missed by you. For instance, Viktor Stepanov (@vist) photographed 64 species that are absent in my observations from Vladimir Oblast. Now I can easily get a list of this species with links to observations.

You can also compare your lifelist with someone's lifelist (just leave the "Project" field blank). So, for example, Marina Gorbunova (@melodi_96) in her lifelist has 1,698 species not observed by me. Species lists can be viewed through the browser, or you can download a csv.


3) Список видов в проекте (https://kildor.name/inat/species)

Инструмент для просмотра полного списка видов проекта, а также списка видов, которые встретил только указанный наблюдатель. Несмотря на всю понятность инструмента, его важность, на мой взгляд, лежит немного в другой плоскости. При выдаче списка видов проекта таксоны сортируются по числу наблюдений - самые редкие виды с единственной точкой в конце списка, а топ-виды наверху. Это позволяет экспертам и кураторам проектов пробегать глазами списки самых редких видов и быстро находить ошибки, поскольку ошибки в принципе не бывают массовыми.

Это могут быть и неправильные определения, и кривая номенклатура (два названия для одного вида), и культурные растения без галочек. Данный инструмент позволяет надёжно контролировать региональные списки и обращать внимание на нетривиальные вещи. Можно дополнительно добавлять ник пользователя или использовать только ник (без указания проекта) для получения списка видов какого-либо участника с гиперссылками. Списки видов можно смотреть через браузер, а можно скачать csv.

3) List of species in the project (https://kildor.name/inat/species)

A tool for viewing a complete list of species within the project or within the user. Despite the clarity of the tool, its importance, in my opinion, lies in a slightly different plane. When displaying a list of species in the project, taxa are sorted by the number of observations - with the rarest species at the end of the list, and the most observed species at the top. This allows the experts and project admins to scroll through the list of the rarest species and quickly find errors, since they are fortunately not massive.

These errors can be incorrect identifications, crooked nomenclature (two names for one species), or unticked cultivated plants. The tool allows you to reliably monitor regional lists and pay attention to non-trivial things. You can additionally add the user's nickname as a filter (or use this filter without specifying the project) to get somone's lifelist with hyperlinks. Species lists can be viewed through the browser, or you can download a csv.


4) Участники проекта (https://kildor.name/inat/members)

Техническая утилита для выкачивания списка участников проекта. Для непопулярных проектов непринципиальна, для проектов с сотнями подписчиков - очень полезна. Дисклеймер: "API iNaturalist из-за каких-то ошибок в некоторых случаях может возвращать неполный список подписчиков. Это проблема не данного скрипта, а получаемых им данных". Я решаю эту проблему повторным выкачиванием списков пользователей с 1-2-недельным интервалом и их взаимным сведением воедино.

4) Project participants (https://kildor.name/inat/members)

A technical utility for downloading the list of project members. For unpopular projects, the tool is not essential, but for projects with hundreds or thousands of subscribers, it is very useful. A disclaimer from the author is the following: "Due to some errors, the iNaturalist API may in some cases return an incomplete list of subscribers. This is not a problem with this script, but with the data it receives." I solve this problem by re-fetching user lists at 1-2 week intervals and merging them together.


5) Скачивание наблюдений (https://kildor.name/inat/download-observations)

Скачивание наблюдений в формате CSV. Новый инструмент, пока в работе. Во всяком случае у меня не открывается.

5) Downloading of observations (https://kildor.name/inat/download-observations)

Downloading of observations in csv format. A new tool while in work.


6) Редактор постов в журналы (https://kildor.name/react/inat-converter/)

Тот самый конвертер текстовых и табличных данных, который осуществляет разметку текста для написания и оформления постов в нашем журнале.

6) Post editor for the journals (https://kildor.name/react/inat-converter/)

A converter of text and tabular data, which provides text markup for writing and formatting posts in the journals.


Если вы ввели неправильное id проекта или ник пользователя, то появится вот такое сообщение: "Произошла ошибка при получении или обработке данных. Пожалуйста, попробуйте повторить позже. Если ошибка повторяется, вы можете написать автору (kromanov@gmail.com или @kildor)".

Огромное спасибо Константину за эти важные и очень полезные инструменты. Надеюсь, вы их оцените и будете чаще ими пользоваться.

Вопросы и пожелания пишите в комментариях.

If you entered the wrong project id or user nickname, the following message will appear: "An error occurred while receiving or processing data. Please try again later. If the error persists, you can write to the author (kromanov@gmail.com or @kildor)".

Many thanks to Konstantin for these important and very useful tools. I hope you appreciate them and use them more often.

Write your questions and wishes in the comments.

Posted by apseregin apseregin, January 31, 2021 14:10

Comments

Thumb

Респект таким парням!

Posted by tomegatherion 3 months ago (Flag)
Thumb

Спасибо Константину! Реально помогают

Posted by tatyanazarubo 3 months ago (Flag)
Thumb

Могу добавить одну вещь. Если у вас есть какой-то запрос, то можно обратиться ко мне, и по возможности, если фича реализуема за ограниченный период времени, я её напишу.

Posted by kildor 3 months ago (Flag)
Thumb

Спасибо большое, будем осваивать.

Posted by olga_chernyagina 3 months ago (Flag)
Thumb

Ольга Андреевна, там всё просто: набираете в третьем пункте kamchatka-flora, идете в конец списка и снизу вверх начинаете отстреливать все левые определения. Удачи!

Posted by apseregin 3 months ago (Flag)
Thumb

СПАСИБО

Posted by aleks-khimin 3 months ago (Flag)
Thumb

спасибо! очень полезные и удобные вещи

Posted by katerina_kashirina 3 months ago (Flag)
Thumb

А не в курсе, не в российском сегменте пользуются этими инструментами?

Posted by tatyanazarubo 3 months ago (Flag)
Thumb

На форуме периодически народ рассказывает о разных своих инструментах с использованием api, это точно

Posted by apseregin 3 months ago (Flag)
Thumb

Спасибо, будем осваивать!

Posted by pushai 3 months ago (Flag)

Add a Comment

Sign In or Sign Up to add comments