shaos> Ну вот когда пересяду на мускульную реализацию - страхи должны исчезнуть :)
shaos> Пока вот подсчитал аналитику за 30 сентября 2024 года (количество дёрганий апи поинта в час подсчитано в среднем по информации за сутки):
shaos> [1] 62.109.31.x point=144 web=0 49958KB <--- tavern 6/hr
shaos> [2] 62.140.249.x point=5 web=3 7342KB <--- ?
shaos> [3] 92.63.98.x point=72 web=0 4784KB <--- tgi 3/hr
shaos> [4] 95.165.9.x point=211 web=0 2519KB <--- ping 8/hr
shaos> [5] 66.249.79.x point=111 web=340 2218KB <--- Googlebot 4/hr
shaos> [6] 24.6.124.x point=1 web=57 387KB <--- Me testing
shaos> [7] 92.246.138.x point=0 web=1 311KB
shaos> [8] 122.161.50.x point=0 web=1 143KB
shaos> [9] 172.59.160.x point=0 web=14 124KB
shaos> [10] 5.255.231.x point=0 web=17 106KB
shaos> Как можно видеть ping действительно меньше всех берёт, а вот tavern получается самая злобнокачающая нода :)
shaos> И кстати кто это 62.140.249.x из Москвы?

Это я случайно выкачал всю ноду ибо забыл в ii-tool fetch добавить -
тестил формат базы ii-go. По крайней мере подсеть моя
Вот только сегодня я ничего не фетчил, только вчера

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> Это я случайно выкачал всю ноду ибо забыл в ii-tool fetch добавить -
> тестил формат базы ii-go. По крайней мере подсеть моя

тото я смотрю юзер-агент "Go-http-client/1.1" :)

> Вот только сегодня я ничего не фетчил, только вчера

дык я живу во вчера (Калифорния) - у меня 1 октября только пару часов назад наступило ;)

Ну совсем гасить ненадо - пусть будет, но можно пореже чуток сделать - скажем каждые 20 минут (3 раза в час вместо 6), а вот узел ping показал, что легко может каждые 5 минут приходить ;)

P.S. Моя нода тоже все индексы берёт похоже - надо поразбираться как настроить, чтобы работало более оптимально (я не чаще 2 раз в час к каждому стучусь)...

shaos> Ну совсем гасить ненадо - пусть будет, но можно пореже чуток сделать - скажем каждые 20 минут (3 раза в час вместо 6), а вот узел ping показал, что легко может каждые 5 минут приходить ;)
shaos> P.S. Моя нода тоже все индексы берёт похоже - надо поразбираться как настроить, чтобы работало более оптимально (я не чаще 2 раз в час к каждому стучусь)...

Интересно, а что с tgi? Вообще я бы не отказался от её поддержки ибо скоро получу диплом по Django. Кроме tgi на глазу разве что Fdroid Repo Maker который в 2020 забросили

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

tgi работает себе и работает

shaos> tgi работает себе и работает

Я про то как она фетчит индексы и как часто

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Ну в той же таблице было - 3 раза в час

tgi забираёт у меня полные списки, но по ограниченному числу эх - пример:

92.63.98.71 - - [30/Sep/2024:23:00:03 -0700] "GET /ii-point.php?q=/list.txt HTTP/1.1" 200 1244 "-" "python-requests/2.26.0"
92.63.98.71 - - [30/Sep/2024:23:00:03 -0700] "GET /ii-point.php?q=/u/e/idec.talks HTTP/1.1" 200 19867 "-" "python-requests/2.26.0"
92.63.98.71 - - [30/Sep/2024:23:00:04 -0700] "GET /ii-point.php?q=/u/e/bot.habr.rss HTTP/1.1" 200 45542 "-" "python-requests/2.26.0"
92.63.98.71 - - [30/Sep/2024:23:00:06 -0700] "GET /ii-point.php?q=/u/e/plan.9 HTTP/1.1" 200 591 "-" "python-requests/2.26.0"
92.63.98.71 - - [30/Sep/2024:23:00:06 -0700] "GET /ii-point.php?q=/u/e/zx.spectrum HTTP/1.1" 200 748 "-" "python-requests/2.26.0"

наверное bot.habr.rss можно и не забирать назад, если не подразумевается, что люди будут комментировать сообщения бота...

Кстати в данный момент при попытке зайти в эху bot.habr.rss через веб-интерфейс tgistation.ru оно какое-то время висит и затем показывается ошибка таймаута:

504 Gateway Time-out
nginx/1.18.0 (Ubuntu)

у меня в данный момент скрытых эх нет - кстати надо попробовать создать и если ii-php допускает их создание, то в своей реинкарнации iii-php я это дело буду запрещать - тут всё должно быть открыто и прозрачно как мне кажется...

shaos> у меня в данный момент скрытых эх нет - кстати надо попробовать создать и если ii-php допускает их создание, то в своей реинкарнации iii-php я это дело буду запрещать - тут всё должно быть открыто и прозрачно как мне кажется...

Даже личная почта? https://github.com/idec-net/ii-db-utils/blob/master/emailtoii.py

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Личная почта не входит в «стандарт» IDEC - я знаю некоторые экспериментировали и кое-где оно как-то есть, но никак не совместимо друг с другом как я понимаю…

И кстати наверное emailtoii не есть личная почта - наверное это просто конвертор из приходящей почты в ii - просто способ публикации статей в ii /IDEC т.е. всё что попадает в ii так или иначе становится бубличным (ну разве лишь если имя эхи не содержит какой-то никому не известный ключ типа личный passauth - но опять же сисоп это увидит в любом случае)…

shaos> И кстати наверное emailtoii не есть личная почта - наверное это просто конвертор из приходящей почты в ii - просто способ публикации статей в ii /IDEC т.е. всё что попадает в ii так или иначе становится бубличным (ну разве лишь если имя эхи не содержит какой-то никому не известный ключ типа личный passauth - но опять же сисоп это увидит в любом случае)…

Держать на своей ноде в скрытой эхе
Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
Но все таки хотелось бы fetchmail+procmail держать на сервере, а с клиента забирать готовые сообщения

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Домашний интернет сегодня чото прилёг (а с ним и моя нода) - вечером только удалось восстановить перегрузив роутер...

doesnm> Держать на своей ноде в скрытой эхе
doesnm> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна

Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

Статистика за 1 октября:

[1] 62.109.31.x point=122 web=0 42666KB <--- ~5/hr
[2] 92.63.98.x point=64 web=0 4221KB <--- ~2/hr
[3] 95.165.9.x point=125 web=1 3260KB <--- ~5/hr
[4] 52.207.47.x point=0 web=1 1232KB
[5] Google point=42 web=166 818KB
[6] 24.6.124.x point=0 web=66 396KB
[7] 35.171.141.x point=0 web=1 230KB
[8] Facebook point=3 web=8 127KB
[9] 3.232.102.x point=0 web=1 123KB
[10] 18.205.213.x point=0 web=1 101KB

Сегодня добавился Facebook...

shaos> Статистика за 1 октября:
shaos> [1] 62.109.31.x point=122 web=0 42666KB <--- ~5/hr
shaos> [2] 92.63.98.x point=64 web=0 4221KB <--- ~2/hr
shaos> [3] 95.165.9.x point=125 web=1 3260KB <--- ~5/hr
shaos> [4] 52.207.47.x point=0 web=1 1232KB
shaos> [5] Google point=42 web=166 818KB
shaos> [6] 24.6.124.x point=0 web=66 396KB
shaos> [7] 35.171.141.x point=0 web=1 230KB
shaos> [8] Facebook point=3 web=8 127KB
shaos> [9] 3.232.102.x point=0 web=1 123KB
shaos> [10] 18.205.213.x point=0 web=1 101KB
shaos> Сегодня добавился Facebook...

Сегодня переключил забор на два раза в час. Пока новая реализация ноды не будет готова, будет так.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

doesnm>> Держать на своей ноде в скрытой эхе
doesnm>> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
AL> Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.

Архивная эха не будет синкатся с нодой?
Ок, тогда осталось переделать скрипты на ait
+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

doesnm>>> Держать на своей ноде в скрытой эхе
doesnm>>> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
AL>> Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.
doesnm> Архивная эха не будет синкатся с нодой?

Да. Она просто лежит в локальной базе и её можно читать. Сам цезий просто её не обновляет.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

doesnm>>>> Держать на своей ноде в скрытой эхе
doesnm>>>> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
AL>>> Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.
doesnm>> Архивная эха не будет синкатся с нодой?
AL> Да. Она просто лежит в локальной базе и её можно читать. Сам цезий просто её не обновляет.

Я нашел опцию лучше - stat

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

doesnm>>>>> Держать на своей ноде в скрытой эхе
doesnm>>>>> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
AL>>>> Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.
doesnm>>> Архивная эха не будет синкатся с нодой?
AL>> Да. Она просто лежит в локальной базе и её можно читать. Сам цезий просто её не обновляет.
doesnm> Я нашел опцию лучше - stat

Про эту опцию уже даже я забыл :)

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

Решил объединить идею декларации аплинков/фетчей и описатель ноды из N9RNo0fkT9a9aolTxpaa

https://sprinternet.io/iii/node.json

Если каждый положит себе на ноду такой node.json ( у меня этот файл доступен и по апи поинтов и напрямую по https://sprinternet.io/node.json ), то в любой момент можно будет автоматически строить топологию IDEC-сети, начиная с одного (любого) узла! Кроме того я планирую автоматически настраивать фетчи именно по этому JSON-описателю.

Заодно официально переименовываю свою ноду из shaos в spnet как сокращение от Sprinternet (сеть для ретрокомпов) с доступным по https:// линком для поинтов:

https://sprinternet.io/iii/

и веб-интерфейсом:

https://sprinternet.io/iii-web.php

старый адрес http://shaos.net:8085/ii-web.php и поинтовый апи http://shaos.net:8085/ii-point.php?q=/ пока также продолжат работать...

Создал у себя на ноде новую эху, куда раз в сутки буду засылать статистику по 10 самым активным визитёрам ноды (отдельно считаются активные минуты поинтовых запросов и активные минуты веб запросов):

https://sprinternet.io/iii-web.php?echo=spnet.stats

Иногда буду сюда перепосылать, если что интересное вылезет ;)

Кроме того сделал выписывание активных аплинков внизу вебстраницы вот в таком виде:

Last day top uplinks: tavern 41.7MB (5/hr), tgi 4.1MB (2/hr), ping 3.2MB (5/hr), Google 0.8MB (1/hr), Facebook 0.1MB

В данном случае показываться будут только те, кто использовал поинтовый апи - список будет также меняться раз в сутки...

Да - результат на лицо :)

[1] Google point=108 web=899 26.6MB <--- Google (4/hr)
[2] 62.109.31.x point=48 web=0 16.4MB <--- tavern (2/hr)
[3] DataForSeoBot point=0 web=26 8.3MB
[4] 92.63.98.x point=72 web=0 4.7MB <--- tgi (3/hr)
[5] 95.165.9.x point=144 web=0 3.7MB <--- ping (6/hr)
[6] 95.217.57.x point=0 web=1 1.1MB
[7] 24.6.124.x point=3 web=46 0.4MB
[8] 92.246.138.x point=0 web=1 0.1MB
[9] YandexBot point=0 web=17 0.1MB
[10] 172.56.46.x point=0 web=4 0.0MB

А вот гугл чего-то аж на первое место вышел 8)

shaos> Да - результат на лицо :)
shaos> [1] Google point=108 web=899 26.6MB <--- Google (4/hr)
shaos> [2] 62.109.31.x point=48 web=0 16.4MB <--- tavern (2/hr)
shaos> [3] DataForSeoBot point=0 web=26 8.3MB
shaos> [4] 92.63.98.x point=72 web=0 4.7MB <--- tgi (3/hr)
shaos> [5] 95.165.9.x point=144 web=0 3.7MB <--- ping (6/hr)
shaos> [6] 95.217.57.x point=0 web=1 1.1MB
shaos> [7] 24.6.124.x point=3 web=46 0.4MB
shaos> [8] 92.246.138.x point=0 web=1 0.1MB
shaos> [9] YandexBot point=0 web=17 0.1MB
shaos> [10] 172.56.46.x point=0 web=4 0.0MB
shaos> А вот гугл чего-то аж на первое место вышел 8)

не хватает Manuel - Gas Gas Gas на фоне и анимации как гугл вырывается в топ

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Хотел забирать develop.16 с пинг ноды чтобы читать в read only
Написал такое:
```
nodename ping
node https://club.hugeping.ru
echo develop.16
```
При синхронизации пишет:
Работа с https://club.hugeping.ru/
ОШИБКА
ОШИБКА
Нажмите Enter для продолжения
```
+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Это цезий? Он у меня на всё так пишет...

shaos> Это цезий? Он у меня на всё так пишет...

Я с него сейчас пишу. Tgi с ним у меня работает

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

doesnm> При синхронизации пишет:
doesnm> Работа с https://club.hugeping.ru/
doesnm> ОШИБКА
doesnm> ОШИБКА
doesnm> Нажмите Enter для продолжения
doesnm> ```

Ну, так совсем непонятно что именно происходит.
Мой фетчер вроде бы нормально работает:

peter@royal:$ echo develop.16 | ./ii-tool fetch https://club.hugeping.ru -
INFO: 2024/10/04 14:42:53 Start fetcher(s) for https://club.hugeping.ru
INFO: 2024/10/04 14:42:53 Get https://club.hugeping.ru/u/e/develop.16
peter@royal:$ 

doesnm> Хотел забирать develop.16 с пинг ноды чтобы читать в read only
doesnm> Написал такое:
doesnm> ```
doesnm> nodename ping
doesnm> node https://club.hugeping.ru
doesnm> echo develop.16
doesnm> ```
doesnm> При синхронизации пишет:
doesnm> Работа с https://club.hugeping.ru/
doesnm> ОШИБКА
doesnm> ОШИБКА
doesnm> Нажмите Enter для продолжения
doesnm> ```

Слешик в конец адреса пробовал вписать?

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

doesnm> Хотел забирать develop.16 с пинг ноды чтобы читать в read only
doesnm> Написал такое:
doesnm> ```
doesnm> nodename ping
doesnm> node https://club.hugeping.ru
doesnm> echo develop.16
doesnm> ```
doesnm> При синхронизации пишет:
doesnm> Работа с https://club.hugeping.ru/
doesnm> ОШИБКА
doesnm> ОШИБКА
doesnm> Нажмите Enter для продолжения
doesnm> ```

Пропиши какую-нибудь билеберду в auth этой ноды. Мне лень это исправлять :)

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

doesnm>> Хотел забирать develop.16 с пинг ноды чтобы читать в read only
doesnm>> Написал такое:
doesnm>> ```
doesnm>> nodename ping
doesnm>> node https://club.hugeping.ru
doesnm>> echo develop.16
doesnm>> ```
doesnm>> При синхронизации пишет:
doesnm>> Работа с https://club.hugeping.ru/
doesnm>> ОШИБКА
doesnm>> ОШИБКА
doesnm>> Нажмите Enter для продолжения
doesnm>> ```
AL> Пропиши какую-нибудь билеберду в auth этой ноды. Мне лень это исправлять :)

Удивительно, но работает
~~В пароле оставил небольшую отсылку~~
Надо бы чтоли написать свой клиент...

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> Ещё стянул себе эху oldpc.51t.ru c club.hugeping.ru

Нашёл тут продолжение в ввиде эхи old.pc жившей недолго на ii-ноде p2.51t.ru в мае 2022 года и доступной теперь только через веб-архив:

https://web.archive.org/web/20220524025232/ href="http://p2.51t.ru/ii/old.pc">http://p2.51t.ru/ii/old.pc

Ни у кого не сохранилось в виде msg-файлов?...

Так то наверное можно докидать эти сообщения вручную в эху oldpc.51t.ru - как разные сервера-клиенты отнесутся к тому, что в сообщениях эхи oldpc.51t.ru будет стоять имя несуществующей эхи old.pc? Ну или при ручном копировании заменить эху c old.pc на oldpc.51t.ru в каждом сообщении...

> У меня тоже судя по коду стоит проверка на 20. Это точно не в стандарте?

интересно, что как минимум 7 из проблемных 8 сообщений (у которых длина хэша 19 вместо 20) были созданы с помощью idec.el/0.1 пользователем Difrex (dynamic,1):

+++ idec.el/0.1
+++ idec.el/0.1
+++ At work. idec.el/0.1
+++ idec.el/0.1
+++ idec.el/0.1
+++ idec.el/0.1
+++ Картошки хватит на всех

и хэши там совсем неправильно посчитаны были т.к. реальные хеши ничего общего с названиями этих сообщений не имеют:

SZ7KQTwMhch9gSIJ1Q3
--> vY11CNkWXWstRfHyD8EQ
APcbWI1obBZ3nr5uZgt
--> BDZIZkGNsacszWnRTEDA
8BqXV3KGYEqIwnPaKsB
--> 9Fz0f71LTxinLyAA26jc
MmBCteS6yMnC2LZLbRC
--> aDDfVncYTkdhSITwY2VB
JDKVlOwszVbKpMvjwN8
--> aagoTsW9vjv61Hsb0UBO
3rkSne5R2FI1QXrlJkF
--> R7mIPIRysuoKAchosrZX
bi36U9W4Zu86wagsE8X
--> H3E9knwnOOTSwBmwaLF7
Hi7AzJtfBZKKb96awMP
--> GPIigM4r30CcSK8tjRzd

По идее можно вернуть эти сообщения в оборот просто добавив 0 в конце ихних хэшей и поправив несколько других сообщений, которые на них ссылаются:

vHtkzHXiAYL0a7zSFS0P:> Так и не понял чем тебе мой вариант не подошёл, который я тут показывал ii://APcbWI1obBZ3nr5uZgt :)
vu94FtaImMH7E9AlDg8d:Так и не понял чем тебе мой вариант не подошёл, который я тут показывал ii://APcbWI1obBZ3nr5uZgt :)
TKcKYfkzLXg3YU3iMQrS:ii/ok/repto/8BqXV3KGYEqIwnPaKsB
sBF0YZDFAAJY9ZXGeTvw:Вот https://dynamic.lessmore.pw/msg/MmBCteS6yMnC2LZLbRC
nXdcHnk0Y4UunGNNUIwi:ii/ok/repto/3rkSne5R2FI1QXrlJkF
z8W283Fkra8J96OrKQCC:ii/ok/repto/bi36U9W4Zu86wagsE8X

Я правильно понимаю, что только я взялся писать клиента для ретрокомпов в 2021 году и до этого никто даже не пытался? Если кто забыл, то я начал писать клиента IDEC на ассемблере Z80 для продвинутого спектрум-клона Sprinter Sp2000 в конце декабря 2021 года, транслируя процесс на ютюб "вживую":

https://youtube.com/live/p20rd0bqZTs
https://youtube.com/live/uwEiQIeD5cw

(причём вотрое видео было ещё и встречей 2022 года)

С тех пор я несколько охладел к Спринтеру, однако написанное терять не хотелось бы, поэтому я могу переиначить написанное и продолжить присать IDEC клиента скажем для ZX-спектрума с сетевой карточкой Spectranet (где используется тот же WizNet чип, что и в моей сетевой карточке для Спринтера - W5100) ну либо вообще асбтаргироваться до уровня системы команд i8080A (КР580ВМ80А) и сделать возможным чтобы этот код ещё и на старых советских компьютерах работал типа Радио-86РК, Апогей, ПК-01 Львов и т.д.

асбтаргироваться = абстрагироваться :)

что было написано тогда - читалка list.txt из ноды с распечаткой результата на экране с перекодировкой UTF-8 в альтернативную кодировку ДОС плюс начала создаваться некая макробиблиотека для универсальной сборки сетевых программ для разных целевых платформ (т.е. уже тогда планировался уход от замыкания на Спринтер)...

Ради интереса посчитал статистику по соответствию хешей названиям мессагов

Встаром ii архиве (46481 штук):

81.6% названий соответствуют хэшам
18.4% не соответствуют

В новых ii/IDEC мессагах (20760 штук):

28.0% названий соответствует хэшам
0.4% соответствуют после приведения к нижнему регистру (значит была подмена на Z вместо z)
71.6% не соответствует

Совместил вместа архивы старых и новых мессаг (получилось более 67 тысяч сообщений) и прогнал новый возможный алгоритм хеширования с отбрасыванием 2 нецифробуквенных символов вместо замены (и с добиванием хвоста нулями, если вдруг надо будет):

base64.urlsafe_b64encode(hashlib.sha256(msg).digest()).decode("utf-8").replace('-', '').replace('_', '')[:20].ljust(20,'0')

В итоге распределение букв в сформированном таким образом msgid стало плюс-минус равномерным:

0 1072
1 1110
2 1064
3 1026
4 1117
5 1139
6 1049
7 1084
8 1055
9 1075
a 1108
b 1081
c 1093
d 1108
e 1089
f 1052
g 1104
h 1111
i 1076
j 1124
k 1094
l 1090
m 1151
n 1083
o 1047
p 1116
q 1132
r 1029
s 1117
t 1090
u 1073
v 1061
w 1061
x 1129
y 1096
z 1103
A 1002
B 1024
C 1016
D 1089
E 1144
F 1061
G 1045
H 1081
I 1090
J 1107
K 1113
L 1065
M 1122
N 1141
O 1050
P 1019
Q 1125
R 1063
S 1031
T 1115
U 1122
V 1076
W 1121
X 1020
Y 1113
Z 1077

Коллизий не обнаружилось (зато нашлись несколько одинаковых сообщений у которых были разные msgid) и по итогу около трети сообщений сохранили свой старый msgid (т.е. там небыло этих двух символов на замену, которые в этом алгоритме просто отбрасываются)

Это я думаю а не поменять ли алгоритм хеширования на своей ноде, раз уж и так кто как делает...

> Хотел сказать передавать по TLS и шифровать прям на хосте, но тут в гробу видали этот TLS (и есть за что)

TLS сильно неретрокомпьютерно - именно поэтому gemini никогда не будет на ретрокомпах ибо тяжко....

P.S. Тем временем я вытащил из небытия эху python.15 и добавил в список эх на моём узле:

https://sprinternet.io/iii-web.php?echo=python.15

>> Хотел сказать передавать по TLS и шифровать прям на хосте, но тут в гробу видали этот TLS (и есть за что)
shaos> TLS сильно неретрокомпьютерно - именно поэтому gemini никогда не будет на ретрокомпах ибо тяжко....
shaos> P.S. Тем временем я вытащил из небытия эху python.15 и добавил в список эх на моём узле:
shaos> https://sprinternet.io/iii-web.php?echo=python.15

Gemini без TLS это Spartan по идее

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> Gemini без TLS это Spartan по идее

а не Gopher? ;)

Кажется, что хеш-функция всё-таки должна быть строго задана в стандарте. Ну, или мы считаем что она задана, но не в части тех символов... Де факто, так ведь и получилось...

Я писал не для ретрокомпов, а для микропроцессоров. И не idec, а gemini клиента. :) В итоге есть прошивки для cardputer и еще одного неизвестного никому устройства... На самом деле, прикольно, я даже хотел заметку написать. Но руки не дошли. Такой прям "детокс" получается. )

Проблема в том, что нет "стандартной" простой вещи для которой бы хотелось писать такие штуки. Про zx с выходом в сеть я не очень в курсе, насколько это вообще живо и у кого это есть.

Мне наверное больше хотелось бы видеть простой клиент для того же plan9... Хотя опять же, веб интерфейс простой без js решает задачу..
P.S. Edited: 2024-10-07 09:33:38

hugeping> Мне наверное больше хотелось бы видеть простой клиент для того же plan9...

На rein..

> rein

О да, ждём с нетерпением. Было бы очень здорово писать сообщения для idec на текстовом редакторе red.

>> Gemini без TLS это Spartan по идее
shaos> а не Gopher? ;)

Не, гофер это немножко другое
А спартан именно нацелен на альтернативу Gemini
https://portal.mozz.us/spartan/spartan.mozz.us/

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> Я писал не для ретрокомпов, а для микропроцессоров. И не idec, а gemini клиента. :)

«И не в лотерею, а в карты. И не выиграл, а проиграл» :)

> В итоге есть прошивки для cardputer и еще одного неизвестного никому устройства...

А как проблема наличия TLS там была решена?

Мне пока непонятно почему в 70% новых сообщений не сходится хэш - возможно новые генерилки RSS-новостей идут «мимо» стандартного пути посылки мессаг через апи поинта…

shaos> Мне пока непонятно почему в 70% новых сообщений не сходится хэш - возможно новые генерилки RSS-новостей идут «мимо» стандартного пути посылки мессаг через апи поинта…

Насколько это плохо? И точно ли там новый код?

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> Насколько это плохо?

Ну пока хэши уникальны и коллизий нет, то наверное норм

> И точно ли там новый код?

Надо смотреть…

А там есть упрощенная реализация tls1.2, по кр. мере для esp32. Её хватило. А для спектрума, конечно, нереально.

>> У меня тоже судя по коду стоит проверка на 20. Это точно не в стандарте?
shaos> интересно, что как минимум 7 из проблемных 8 сообщений (у которых длина хэша 19 вместо 20) были созданы с помощью idec.el/0.1 пользователем Difrex (dynamic,1):

Проблема была не в idec.el, а в dynamic. Хеши считает нода, а не клиент.

shaos> и хэши там совсем неправильно посчитаны были т.к. реальные хеши ничего общего с названиями этих сообщений не имеют:

Реальные хеши это придуманное что-то. Они могут быть какие угодно, лишь бы не было коллизий.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

shaos> Я правильно понимаю, что только я взялся писать клиента для ретрокомпов в 2021 году и до этого никто даже не пытался?

Насколько я помню, да. Не было у нас раньше ретрокомпьюристов.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

>> Хотел сказать передавать по TLS и шифровать прям на хосте, но тут в гробу видали этот TLS (и есть за что)
shaos> TLS сильно неретрокомпьютерно - именно поэтому gemini никогда не будет на ретрокомпах ибо тяжко....
shaos> P.S. Тем временем я вытащил из небытия эху python.15 и добавил в список эх на моём узле:
shaos> https://sprinternet.io/iii-web.php?echo=python.15

Нужна эха по перлу. Я для скриптоты перловку использую, а не пайтон :)

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

>> Gemini без TLS это Spartan по идее
shaos> а не Gopher? ;)

Gopher это не совсем оно.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

shaos> Мне пока непонятно почему в 70% новых сообщений не сходится хэш - возможно новые генерилки RSS-новостей идут «мимо» стандартного пути посылки мессаг через апи поинта…

А у кого новые гейты из RSS стоят? Я думал, я один такой, но у меня этот гейт мхом уже порос.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

Ну как же - у меня bot.slashdot уже третью неделю бегает :)
Правда он стандартный из ii-php - там вроде всё как надо (я проверил)
Проверил также lor.opennet и bot.habr.rss (вроде как относительно новый бот) - там вроде тоже всё ок
Расширил свою питоновскую проверялку чтобы печатала первые строчки мессаги в ряд (чтобы грепать можно было с результатом сверки хеша):

#!/usr/bin/python3
import base64,hashlib,sys;
for s in sys.argv:
    if '.py' in s:
        continue
    filename = s
    f = open(filename, "rb")
    msg = f.read()
    hash = base64.urlsafe_b64encode(hashlib.sha256(msg).digest()).decode("utf-8").replace('-', 'A').replace('_', 'z')[:20]
    res = 'BAD'
    if filename==hash :
        res = 'GOOD'
    elif filename.casefold()==hash.casefold():
        res = 'KINDA'
    print(filename,"-->",hash,res,msg.decode("utf-8")[:80].replace('\n','|'));

(запускать в директории msg с аргументом *)

И что же мы теперь видим? Все оригинальные (от бота) сообщения в lor-opennet.17 (14225 штук) имеют несовпадающий хэш - это 2/3 от всех "новых" сообщений!

00b33VZpAzycmjYgAYE2 --> 6cH9LED7U3mmWYkmqjGe BAD ii/ok|lor-opennet.17|1626642001|Новостной_робот|mira, 1|All|Релиз систем сборки 
00gY2d9Z3RhS7Ce7AJ7y --> phhYJRbKiehrg9sSfaU1 BAD ii/ok|lor-opennet.17|1542643204|Новостной_робот|mira, 1|All|Выпуск видеоредактор
00n38C6X6Hj7wVLDGXl2 --> VQMe0BdXWP2ghg3rBDjJ BAD ii/ok|lor-opennet.17|1603209602|Новостной_робот|mira, 1|All|Kaitai Struct 0.9|| 
...

Для примера вот как показываются сообщения из моей эхи bot.slashdot (которая по идее должна на том же движке работать?):

00mqjZAp22bXQxsTUMnl --> 00mqjZAp22bXQxsTUMnl GOOD ii/ok|bot.slashdot|1727583781|robot|shaos, 1|All|Can AI Developers Be Held Liabl
039DRyKs6KYiZFnBrIXW --> 039DRyKs6KYiZFnBrIXW GOOD ii/ok|bot.slashdot|1727389381|Новостной_робот|shaos, 1|All|US Justice Department
0oaUYvbZZCQvqBYV6Gjf --> 0oaUYvbZZCQvqBYV6Gjf GOOD ii/ok|bot.slashdot|1727472181|robot|shaos, 1|All|If 23andMe Is Up for Sale, So I
...

(я впоследствии заменил Новостной_робот на посто robot, но старые сообщения трогать не стал)

> Реальные хеши это придуманное что-то. Они могут быть какие угодно, лишь бы не было коллизий.

Ну ваш "стандарт" описывает вполне конкретно как msgid должен формироваться :)

Разве что чётко не прописано, что заменять надо на A (большую) и z (маленькую) ;)

> Нужна эха по перлу. Я для скриптоты перловку использую, а не пайтон :)

В году эдак 1999 я бы тебя неистово поддержал :)
Я сам писал все свои бекенды именно на перле (т.к. ничего другого на публичных хостингах в те времена небыло) - я крутил перлы в CGI наверное года до 2005-го (хотя с 2003 у меня уже был форум phpBB, но сам я на PHP тогда ещё не писал ибо сомневался). Потом я перелез на сервлеты (java где-то до 2009 года пока полностью в ней не разочаровался), потом на функциональщину (язык hope через CGI примерно с 2010 по 2018 годы), а потом всё-таки осознал, что лучше и проще PHP ничего нет и всё своё последние лет 5 делаю на PHP+MySQL :)
Приведи хоть один аргумент почему Perl (Raku?) лучше чем Python для локального использования (хотя я все свои скрипты-анализаторы пишу на голых сях - мне так проще) или PHP для веб-бекендов?

> не хватает Manuel - Gas Gas Gas на фоне и анимации как гугл вырывается в топ

А сегодня внезапно вперёд вырвался Фейсбук :)

Правда хлопал он по вебу, а не по интерфейсу поинта:

TOP10 VISITORS:

[1] Facebook point=0 web=72 up=39.9MB (38%)
[2] Google point=214 web=1193 up=38.3MB (36%) <--- Google (9/hr)
[3] 62.109.31.x point=48 web=0 up=16.4MB (15%) <--- tavern (2/hr)
[4] 92.63.98.x point=72 web=0 up=4.8MB (4%) <--- tgi (3/hr)
[5] 95.165.9.x point=146 web=0 up=3.8MB (3%) <--- ping (6/hr)
[6] 24.6.124.x point=0 web=12 up=0.1MB (<1%)
[7] 172.59.161.x point=0 web=9 up=49KB
[8] 172.59.160.x point=0 web=5 up=48KB
[9] 51.75.35.x point=0 web=2 up=36KB
[10] 191.107.164.x point=0 web=2 up=27KB

TOTAL TRAFFIC: 103MB

Поглядел в старые ботоэхи:

lor-opennet.2014 - почти все сообщения GOOD
lor-opennet.15 - порядка 60% GOOD и 40% BAD (после 1456319240 включительно)
habra.14 и habra.15 от difrex - все GOOD

P.S. Момент времени 1456319240 это "Wed Feb 24 2016 13:07:20 GMT+0000" начиная с которого в lor-opennet.* всё стало плохо...

У меня точно нет, я в какой то момент очистил все свои жёсткие диски.

Это невозможно практически. Хеши точно по сообщениям одинаковые? Я больше склоняюсь к глюку софта, генерирующего хэш. На таком малом количестве сообщений это невозможно.

Я раз в несколько месяцев/лет перечитываю архив новостей и их комментов с лора 90-х / 00-х. Круто, что там это можно удобно делать.

настолько ретро - нет, но ii-txt на python2.5 под openbsd 4.2 я гонял на p133/40

кстати, где найти ii-txt 0.8 или 0.9 забыл последнюю версию. я его в качестве base64 дампа в какой-то из эх кидал.

Так вот же она, Ахамай!

https://club.hugeping.ru/K3FDA6fNzoeWmcA3p41x

> Нетмейл, аутбаунды, карательная система.

вариант с нетмейлом у меня был, но я не понял, зачем он нужен. это можно приделать.

аутбаунды - это то, от чего я хотел избавиться прежде всего. если ты один раз получил этот аутбаунд, а потом как-то потерял файл (привет, SADM), то ты его больше никогда не получишь. система фетчей позволяет получать этот файл вновь и вновь. когда у тебя не один ламповый компьютер, а куча устройств, ты можешь получать эти сообщение на все устройства

карательная система? сколько народу делали XC:*. Забанить ты можешь, а сообщения всё равно получишь - а тут можно и забанить, и сообщения автоматом по блеклисту удалить.

блин, а python 2.7 везде поудаляли

> блин, а python 2.7 везде поудаляли

А мы поставим. Посмотрим, как это ядрическая шарманка работает

+ Написано с ii-txt 0.9 (надо будет эту хрень автоматом цеплять)

> Про zx с выходом в сеть я не очень в курсе, насколько это вообще живо и у кого это есть.

Ну как минимум у меня есть :)
Российский клон сетевушки Spectranet и настоящий ZX Spectrum+ (48K)
И в спектрум-эмуляторе Fuse оно поддержано - можно прям сразу кодить и проверять ;)
Я про Spectranet тут пару лет назад справшивал в эхе zx.spectrum itlwlJxSI5IuWlf9VOze

> В данном случае показываться будут только те, кто использовал поинтовый апи - список будет также меняться раз в сутки...

Кстати в ii-php через веб-интерфейс оказывается можно выйти на голое сообщение показываемое через ii-point.php (т.е. то самое поинтовое апи) - если в списке сообщений нажать на решётку у сабжа, то откроется одно сообщение через ii-web.php, а если в этом одном сообщении ещё раз нажать на решётку у сабжа, то откроется голое сообщение через ii-point.php - это как бы не совсем логично и смешивает 2 разных доступа - наверное я это дело отменю, чтобы статистику поинтов мне не портило притягивая за уши гугл и яндекс...

не страшно - восстановим ;)

Так то теоретически возможно, но вероятность сего должна быть пренебрежима мала (но тем не менее она не нулевая)

Исправил - выкатываю iii-php v0.5 https://gitlab.com/shaos/iii-php

Теперь через веб-интерфейс невозможно будет попасть в ii-point.php (голое сообщение можно всё также поглядеть через веб-интерфейс сисопа если очень надо) и кликанье в сабж когда показано только одно сообщение будет перескакивать на предыдущее сообщение в треде (repto)

У меня в дебияне всё ещё есть :)

>python --version
Python 2.7.16

> Так то теоретически возможно, но вероятность сего должна быть пренебрежима мала (но тем не менее она не нулевая)

Блин, клиент сожрал моё сообщение и не подавился :(

Там даже первые 6 цифр на 87 сообщений никогда не совпадали. У меня были шортлинки на 6 первых символов.

+++ написано в ii-txt-0.9 (K3FDA6fNzoeWmcA3p41x)

я щас с 11го поставил

> Там даже первые 6 цифр на 87 сообщений никогда не совпадали. У меня были шортлинки на 6 первых символов.

на 87 тыщ сообщений (о, в таглайне линки не рендерятся, а так?)


+ написано в ii-txt-0.9 (K3FDA6fNzoeWmcA3p41x)

>> Реальные хеши это придуманное что-то. Они могут быть какие угодно, лишь бы не было коллизий.
shaos> Ну ваш "стандарт" описывает вполне конкретно как msgid должен формироваться :)

Наш стандарт весь просто условность и немного договорённостей.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

shaos> Приведи хоть один аргумент почему Perl (Raku?) лучше чем Python для локального использования (хотя я все свои скрипты-анализаторы пишу на голых сях - мне так проще) или PHP для веб-бекендов?

На перле писать быстрее и проще, чем на пайтоне в разрезе различных анализаторов и мелких утилит. А ещё он лучше подходит для эзотерического программирования.

PHP для бекенда неудобный и медленный вариант и я для бека выбрал бы какой-нибудь Go, который со своими лёгкими потоками уделывает и пайтон и PHP. Хотя, давно не смотрел что там у PHP, может, появилось что-то лучше, чем mod_php для веба.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

iiii> блин, а python 2.7 везде поудаляли

Собери сам в отдельную песочницу. Время переписывания всё на 3 прошло. Теперь только 3 и существует, но он жидкость.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

>> Там даже первые 6 цифр на 87 сообщений никогда не совпадали. У меня были шортлинки на 6 первых символов.
iiii> на 87 тыщ сообщений (о, в таглайне линки не рендерятся, а так?)

Так и не должны по идее, но это дело несложное.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

Значится так - первое упоминание этого msgid (v2gj6Qx0JJmoNlcjcJlg) у меня в логах появилось Sun Dec 19 12:16:49 PST 2021 когда я впервые стянул некоторые эхи с таверны на свою ноду (на тот момент это был неизменённый ii-php):

lor-opennet.17
fetch http://idec.spline-online.ml/u/m/UTCMFH1UP4bIqmAsfKpI/W5MAAlryHwKN8JULaVRp/XcXgSAAM5Lmvh2xOCEvq/z7iYfI4atYDtGthgTCFA/z9D05BUbcAzIQflFYnzG/z9Yff5M5XNJGXAbMlikb/VV5LZpf7U9HbZqD7EloC/FREYgvbDp8JUs0mDfQPj/UcXyqV4Wr9MwC7N6UbzC/v2gj6Qx0JJmoNlcjcJlg/9zrVs589o3goy25DHkxY/DeKrvjOA4Enw1iA8Gn0q/eTdc6GplkNMTuJSJk6HS/NNrA0wTBk38XVYZzh2Sh/TFJuhrx2vnh526yhRWxP/xcUP2HgvHuWS7CZb3yl5/034KH4ajtBdWpI8GPaf4/HasPCfoV1NQLfDLUeAdy/wGz7KQv3AwrZMSR4i5pk/XczrIJymRAM0BHA5l6B9

Тогда всё было ок - уникальный msgid обозначала некое старое сообщение в эхе lor-opennet.17

Второй раз этот хэш у меня в логах проскочил в январе этого года:

Sun Jan 7 17:27:01 PST 2024
fetch http://idec.spline-online.ru/u/e/idec.talks/idec.test/linux.14/lor-opennet.17/develop.16/plan.9/zx.spectrum/silicon.valley.local
idec.talks
fetch http://idec.spline-online.ru/u/m/v2gj6Qx0JJmoNlcjcJlg
message saved: ok
lor-opennet.17
fetch http://idec.spline-online.ru/u/m/e3FfHqImRAIj20s4qnzO
invalid message: e3FfHqImRAIj20s4qnzO
error saving e3FfHqImRAIj20s4qnzO

Тут уже этот хэш как бы пришёл из idec.talks (с таверны) и следом за ним пришло какое-то невалидное сообщение для lor-opennet.17 (интересно, что с таким кодом сообщения нет нигде) - могло ли что-то сломаться в тот момент в таверне? Возможно...

> На перле писать быстрее и проще, чем на пайтоне в разрезе различных анализаторов и мелких утилит.

Ну это кому как - мне например анализаторы и мелкие утилиты на голых сях проще писать :)

Покажи какой-нибудт перл в несколько строк, чтобы понять о чём речь

> А ещё он лучше подходит для эзотерического программирования.

Настоящая эзотерика это когда чистая Функциональщина :)

Кстати в таверне чото точно сглючило - если кликнуть во второй фетч линк, то там будет вот такое:

...
pOlv1zvAI8G0xaf2fQmt
xIy7luAQzK1ClWMjlAGx
B1mM6Q6NWQ5MuY96FeL3
koYbiZY3ibMe3N87eqTD
D5EpnqqclAcoLamAaUHd
vduRDOaNtRCrndkMs5S4
pxNaNgXcsZJvD8t2fLQX
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
...

т.е. это проблемное сообщение начинает размножаться...

Таки не сохранилось?...

https://github.com/romeroyakovlev/ii

ещё вот

https://github.com/gk11-ru

> Так и не должны по идее, но это дело несложное.

Я конкретно про hugeping.tk. Фиг с ним.


+ написано в ii-txt-0.9 (K3FDA6fNzoeWmcA3p41x)

> Собери сам в отдельную песочницу. Время переписывания всё на 3 прошло. Теперь только 3 и существует, но он жидкость.

В 12й debian я поставил из 11-го, а в openbsd он до сих пор есть даже в новейшей версии 7.6


+ написано в ii-txt-0.9 (K3FDA6fNzoeWmcA3p41x)

о - сенькс :)

аха :)

api/sx.py: return base64.urlsafe_b64encode( hashlib.sha256(s).digest() ).replace('-','A').replace('_','z')[:20]

Странно. Мне казалось, что я просто вырезал символы, а потом делал .rjust('A',20). Ну, может и так.

В jsonoвой версии это быть не могло, там были просто хэши на 32 символа от sha256

Что было в версиях до 0.1, я не помню.

ещё

https://www.linux.org.ru/forum/talks/10258332

Кстати, а ii.tech.2014 где-нибудь показывают?

>> На перле писать быстрее и проще, чем на пайтоне в разрезе различных анализаторов и мелких утилит.
shaos> Ну это кому как - мне например анализаторы и мелкие утилиты на голых сях проще писать :)

На сях много телодвижений приходится делать.

shaos> Покажи какой-нибудт перл в несколько строк, чтобы понять о чём речь

Под рукой нет.

>> А ещё он лучше подходит для эзотерического программирования.
shaos> Настоящая эзотерика это когда чистая Функциональщина :)

Настоящая эзотерика может быть на любом языке программирования. Хотья на паскале.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

iiii> Кстати, а ii.tech.2014 где-нибудь показывают?

В 2014-м? :)

Я думал, у тебя всё осталось. В архивал аликорновских нет?

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

Я в какой то момент удалил все данные со всех компьютеров. У меня, собственно, и компьютера долгое время не было. Что где кто как архивирует я не знаю, я не знаю адресов других сайтов кроме hugeping.tk