ВАЖНОЕ СООБЩЕНИЕ

[пост от 19 марта 2021 г.]

Дорогие друзья!

С глубоким сожалением и одновременно с чувством гордости я вынужден сообщить вам, что проект "Флора России | Flora of Russia" на платформе iNaturalist достиг технологического потолка платформы. Это произошло всего лишь через два года и два месяца после старта нашего проекта, который быстро стал стандартом и образцом для подражания.

В последнее время главная страница портала "Флора России" (https://www.inaturalist.org/projects/flora-of-russia/) стала очень плохо загружаться. Примерно в середине марта она перестала загружаться совсем. Сейчас работа главной страницы нестабильна.

После обращения в тех. поддержку стало очевидно, что мы, как ни странно, достигли технического потолка платформы. Каждый региональный проект имеет в настройках, как минимум, три фильтра: таксономический (сосудистые растения), географический (контур региона, иногда с дополнительными небольшими контурами-добавками) и уровень качества ("исследовательский уровень"). Таким образом, при загрузке данных с сервера происходит общая обработка около 250 фильтров, что занимает более 30 секунд. Сервер настроен так, что запрос в этом случае прерывается.

Именно числом фильтров определяется сложность проекта, а не объемом данных. Если быть настойчивым, несколько раз перезагружая страницу, то можно всё же добиться загрузки всех элементов главной страницы портала: базовой статистики, табло регионов и карты с красными квадратиками. Во время загрузки эти элементы кэшируются, поэтому с каждой перезагрузкой число запрашиваемых с сервера элементов сокращается.

Опытным путём мы установили, что при текущем устройстве нашего зонтичного проекта и такой комбинации фильтров предел технических возможностей платформы лежит примерно на отметке 45 регионов и 870 тыс. наблюдений.

Поскольку наш проект единственный, у кого пока возникли такие проблемы, то вряд ли ситуация с настройками серверов платформы решится в ближайшем будущем. Хотя вскоре ещё несколько зонтичных проектов (например, City Nature Challenge 2021) могут столкнуться с этой проблемой. Это может ускорить решение данного вопроса.


ЧТО ЖЕ ДЕЛАТЬ?

Не впадать в уныние! Вы ведь заметили новое слайд-шоу из баннеров?! Такого пока ни у кого нет. Надеемся на будущее технологическое развитие любимого iNaturalist и решение текущего вопроса с загрузкой.

Вот список временных решений:

1) Временно создано два новых зонтика: первая лига (топ-30 регионов) и вторая лига (ещё 55 регионов), разделенных по отсечке 10 000 наблюдений.

2) Как и прежде, прекрасно работает журнал проекта.

3) Рейтинг регионов мы публикуем раз в несколько дней, вот последний из них.

4) Полный рейтинг наблюдателей и экспертов, а также общее число наблюдений и видов пока можно посмотреть тут.

5) Гиперссылки на региональные порталы есть в описании проекта. Сами региональные порталы по одиночке работают без проблем.


КАК МОЖНО ПОМОЧЬ?

1) Мы собираем ваши подробные заметки о том, что у кого грузится и не грузится в этой ветке. Пожалуйста, напишите подробности! Кстати, табличную статистику для этой отсечки несколько дней назад я смог выгрузить и обработать с большим трудом. Для следующей отсечки статистику будем добывать уже другими способами.

2) Напишите о проблемах с загрузкой данных на форуме iNaturalist в разделе Bugs. Я писал в техподдержку как руководитель проекта, нужен отклик от вас как от заинтересованных (надеюсь) юзеров. Можете написать по электронной почте в техподдержку и вы.

3) Стоит бросить все силы на участие в мировом City Nature Challenge 2021, чтобы данные мирового челленджа достигли, наконец, критической массы. По структуре и объему данных, а также по фильтрам этот проект - самый близкий к нашему. Единственное очень важное отличие - таксономические фильтры, которые в челлендже не используются.

В целом, у меня ощущение, что именно из-за них происходит главное торможение запросов. Любой запрос в разделе "Исследуйте", который включает большой объем данных по крупной таксономической группе (например, сосудистые растения или членистоногие) выполняется заметно медленнее, чем стандартные запросы по географии, пользователям, отдельным родам или видам.


Lähettänyt apseregin apseregin, 22. helmikuuta 2021 05:17

Kommentit

Thumb

Интересно, можно ли как то добиться того, чтоб в проекте зонтике не использовались все фильтры внутренних проектов, а просто было отдельные три фильтра: страна, таксономия и исследовательский статус?

Lähettänyt yurii_basov 27 päivää sitten (Lippu)
Thumb

Первая лига полностью загрузилась с третьей попытки, вторая - с четвёртой.

Lähettänyt aleksandrebel 25 päivää sitten (Lippu)
Thumb

Первая лига грузится без всяких проблем мгновенно, без подгрузки, вторая отказывается грузиться совсем, сколько не перезагружаю, только если оставить и ждать, не знаю, в целом все важные лично регионы представлены в первой, так что уже хорошо.
upd. Пока писала, и она перестала грузиться заново.

Lähettänyt melodi_96 24 päivää sitten (Lippu)
Thumb

По ходу, такой способ как нарезка зонтика никакие серьезные проблемы не решает. Всё совершенно непредсказуемо. Тем большим спросом будет пользоваться статистика круглых отметок (если ее удастся адекватно вынимать по трудозатратам)

Lähettänyt apseregin 24 päivää sitten (Lippu)
Thumb

Надо переделать проект с зонтичного на моно. Иначе всё время будем упираться в "крышу теплицы".

Lähettänyt a-lapin 24 päivää sitten (Lippu)
Thumb

Может быть не переделать, но простой collection project "Флора России" (может быть с вариациями названия) явно не помешает. Проблем с ним быть не должно. Для не столь важной цели как соревнование регионов не поможет, но для статистики по России в целом будет полезен.

Кстати, в последние времена и наблюдения в середине дня постятся очень медленно.

Lähettänyt oleg_kosterin 23 päivää sitten (Lippu)
Thumb

Пока главная проблема заключается в том, что URL проекта (https://www.inaturalist.org/projects/flora-of-russia ) ведёт на нестабильную страницу, что рано или поздно исключит нас из гуглопоиска. С этой страницы нельзя поставить редирект. И проект нельзя переформатировать под коллекционный с сохранением URL. Только новый.
Технических проблем скорее косметического плана в общем-то нет (если бы список регионов был на второй закладке, то на это вообще можно было бы забить), а вот с концепцией всё полетело и надо начинать заново в новой парадигме. В общем, надо подумать. Но я уверен, что умеренная геймификация служит только на пользу дела. Плоский проект не выстрелил бы. Точнее, я бы и не стал им заниматься.

Lähettänyt apseregin 23 päivää sitten (Lippu)
Thumb

Сделать отдельный плоский проект параллельно для отдельных технических нужд в любом случае не помешало бы.

Lähettänyt oleg_kosterin 23 päivää sitten (Lippu)
Thumb

Еще мне кажется что дело не только в достижении некоторого объема. Мне кажется, связь вовне вообще замедлилась. И может быть что-то в этом духе может случаться и дальше.

Lähettänyt oleg_kosterin 23 päivää sitten (Lippu)
Thumb

Вот согласен. Долго подгружаются даже просто отдельные наблюдения и особенно нижняя панель где голосования за культурное и прочее

Lähettänyt yurii_basov 23 päivää sitten (Lippu)
Thumb

Технический: https://www.inaturalist.org/projects/fl-orus-3
Сделал в ту пятницу.
Надо будет оформить как следует

Lähettänyt apseregin 23 päivää sitten (Lippu)
Thumb

fl-orus-3 - получилась полезная штука. Быстро грузится. Удобно работать с картой. Только с заполярными островами не всё хорошо. Надо бы сделать как на других морских границах, пошире, прямыми линиями. (Тем более, что Северный Полюс тоже наш!)

Lähettänyt a-lapin 23 päivää sitten (Lippu)
Thumb

А может стоит сделать зонтичные проекты по федеральным округам?

Lähettänyt yuriydanilevsky 20 päivää sitten (Lippu)
Thumb

Сегодня у меня открывается основной проект. Ура! :) Или рано радоваться?))

Lähettänyt anastasiiamerkulova 17 päivää sitten (Lippu)
Thumb

В первой половине дня в будни такое бывает чаще, чем по вечерам или в выходные. Пока живём )

Lähettänyt apseregin 17 päivää sitten (Lippu)

Lisää kommentti

Kirjaudu sisään tai Rekisteröidy lisätäksesi kommentteja