Странная команда $Search

Разработка и поиск скриптов, обсуждение PtokaX.
Аватара пользователя
flylinkdc
 
Хаб: dchub://dc.fly-server.ru
 
Сообщения: 427
Откуда: Караганда -> Липецк

Странная команда $Search

Сообщение 21 апр 2014, 23:07

Всем привет.

Я тут немного у флая решил оптимизнуть поиск.
http://www.flylinkdc.ru/2014/04/cpu.html
наткнулся в коде на такое
http://code.google.com/p/flylinkdc/sour ... l?r=17098#
и добавил в бетку флая логирование случаев когда клиент игнорирует команду $Search

Код: Выделить всё
[2014-04-21 23:16:52] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://hub.net.ua
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://hub.kharkov.ua:4111
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://dc.maxnet.ua
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://crysis.myhub.pp.ua:666
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://casper-house.su
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://dc.deton.net.ua


[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://ovego.org.ru
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://dc.zoneru.org
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://simppari.syndicate-network.com
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://orthodox-hub.ru
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://dc.valceahub.ro
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://dc.aboltus.com
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://alienclub.zapto.org
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://dc.tkursk.org
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://rusvan.ru
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://crazyhub.clax.ro
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://blogis.no-ip.biz
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://gelmes.net:6666
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://212.42.38.178



Код: Выделить всё
[2014-04-21 23:11:37] Error $Search command = 109.165.8.156:2008 F?T?0?1? Hub: dchub://superstorm.ru
[2014-04-21 23:11:37] Error $Search command = 109.165.8.156:2008 F?T?0?1? Hub: dchub://dc.verlihub.org
[2014-04-21 23:11:38] Error $Search command = 109.165.8.156:2008 F?T?0?1? Hub: dchub://glob.net-flux.ro
[2014-04-21 23:11:58] Error $Search command = 109.165.8.156:2008 F?T?0?1? Hub: dchub://pimp.hub.net.pl:2222
[2014-04-21 23:11:58] Error $Search command = 109.165.8.156:2008 F?T?0?1? Hub: dchub://cosmopolitan.xplor.ro
[2014-04-21 23:11:59] Error $Search command = 109.165.8.156:2008 F?T?0?1? Hub: dchub://dc.verlihub.org
[2014-04-21 23:11:59] Error $Search command = 109.165.8.156:2008 F?T?0?1? Hub: dchub://unformal.interzet.ru
[2014-04-21 23:11:59] Error $Search command = 109.165.8.156:2008 F?T?0?1? Hub: dchub://dchub.eu
[2014-04-21 23:11:59] Error $Search command = 109.165.8.156:2008 F?T?0?1? Hub: dchub://4local.ru


Кто знает причину - почему такое происходит?
клиенты имеют глюк и генерят левые запросы?
также странно что в пассивном режиме хаб их успешно рассылает
или этот запрос валидный?

Аватара пользователя
HackFresse
 
Сообщения: 507

Сообщение 22 апр 2014, 18:14

были бы полезными куски RAW-сообщений от хаба без изменений, просто текст, пришедший из сокета, а там будет видно, нужно ли дёргать резольвер и парсить урлы какие-то

http://mydc.ru/topic915s20.html?p=6743#entry6743, Пользователь в пассиве: $Search Hub:[Ник] [Строка_поиска]

Если пользователь в пассиве, то ответ на его поиск слать больше некуда, кроме как в сокет хаба, приславшего сообщение (никаких udp-сокетов).

Моё мнение на счет резольвера (зачем его вставили) -- продолжение темы viewtopic.php?p=22584#p22584 , т.е. вместо принятого по стандарту IP внезапно может приходить имя, а для отсылки UDP-пакета обязательно (?) нужно использовать исключительно IP (результат работы резольвера). Где-то в одном месте допустили имена вместо адресов, в другом пришлось дополнительно заниматься вынужденным преобразованием. Или просто "пускай будет лишний раз"

Аватара пользователя
flylinkdc
 
Хаб: dchub://dc.fly-server.ru
 
Сообщения: 427
Откуда: Караганда -> Липецк

Сообщение 22 апр 2014, 18:21

Строка поиска имеет вот такой вид
109.165.8.156:2008 F?T?0?1?
или
Hub:GreiderwQQQee3eet F?T?0?1?

Собственно с этого и вопрос - кто генерит такие строки поиска.
раз они скипаются всеми клиентами

Аватара пользователя
Kimbo
 
Сообщения: 772

Сообщение 22 апр 2014, 21:18

Код: Выделить всё
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://crysis.myhub.pp.ua:666

За этот хаб могу сказать... там стоит скрипт антипорно, возможно это он и выдаёт такое.

Аватара пользователя
flylinkdc
 
Хаб: dchub://dc.fly-server.ru
 
Сообщения: 427
Откуда: Караганда -> Липецк

Сообщение 22 апр 2014, 21:22

Kimbo писал(а):За этот хаб могу сказать... там стоит скрипт антипорно, возможно это он и выдаёт такое.


т.е. он режет запрещенные названия а не сам запрос?
а кто автор антипорно или кто хорошо разбирается как он работает?

Аватара пользователя
HackFresse
 
Сообщения: 507

Сообщение 22 апр 2014, 22:39

для пассивных юзеров -- как только наступило событие - вручную искать данных юзеров на хабах и изучать их теги..

Аватара пользователя
flylinkdc
 
Хаб: dchub://dc.fly-server.ru
 
Сообщения: 427
Откуда: Караганда -> Липецк

Сообщение 22 апр 2014, 22:48

HackFresse писал(а):для пассивных юзеров -- как только наступило событие - вручную искать данных юзеров на хабах и изучать их теги..

пробовал - не все хабы теги отдают.
а если узнаю как изучать то его? )

Аватара пользователя
HackFresse
 
Сообщения: 507

Сообщение 23 апр 2014, 00:05

Код: Выделить всё
[2014-04-21 23:16:52] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://hub.net.ua
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://hub.kharkov.ua:4111
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://dc.maxnet.ua
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://crysis.myhub.pp.ua:666
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://casper-house.su
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://dc.deton.net.ua


[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://ovego.org.ru
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://dc.zoneru.org
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://simppari.syndicate-network.com
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://orthodox-hub.ru
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://dc.valceahub.ro
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://dc.aboltus.com
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://alienclub.zapto.org
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://dc.tkursk.org
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://rusvan.ru
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://crazyhub.clax.ro
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://blogis.no-ip.biz
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://gelmes.net:6666
[2014-04-21 23:53:40] Error $Search command = Hub:GreiderwQQQee3eet F?T?0?1? Hub: dchub://212.42.38.178


1) За одну секунду прилетает сразу пачка запросов с разных хабов.

2) Крайне маловероятно, чтобы это был какой-то скрипт антипорно.

Потому как:
2.1) договориться сделать что-то совместными усилиями админы не могут
2.2) найти/сделать/запустить систему, одновременно работающую на нескольких хабах, могут единицы "специалистов по дц"
2.3) смысла запускать систему антипорно на куче разношерстных хабов нету. "На всех хабах, где я могу банить, порно не пройдёт" еще можно как-то понять, но "на первых попавшихся" - маловероятно.

Наполнять какую-то базу прямыми поисковыми запросами на куче хабов -- да, реально (сам так делал), но использовать потом полученные результаты для фильтрации порнухи на каком-то своем хабе... вероятность такого использования крайне мала

3) Глядя на список хабов, замечаю, что Atlant75 из Украины, GreiderwQQQee3eet сидит на хабах Румынии и России, у 109.165.8.156 набор хабов тоже довольно уникальный.
Т.е. группировка хабов по юзерам довольно "реалистичная", разные юзеры сидят на разных хабах.
Если бы кусок лога был больше, можно было бы по IP-адресам сделать вывод, как они разбросаны по территориям и провайдерам

4) Хабы по большей части очень небольшие, а небольшие хабы редко отключают передачу тегов


А теги нужно сначала увидеть, вдруг там FlylinkDC_r369_beta82_build_2287 *CRAZY*

Аватара пользователя
Kimbo
 
Сообщения: 772

Сообщение 23 апр 2014, 00:06

flylinkdc писал(а):т.е. он режет запрещенные названия а не сам запрос?

т.е он, скрипт на хабе, сам ищет по ТТН запрещённое и банит юзера.

Аватара пользователя
Kimbo
 
Сообщения: 772

Сообщение 23 апр 2014, 00:11

HackFresse писал(а):2) Крайне маловероятно, чтобы это был какой-то скрипт антипорно.

Код: Выделить всё
[2014-04-21 23:16:53] Error $Search command = Hub:Atlant75 F?T?0?8? Hub: dchub://crysis.myhub.pp.ua:666

за этот хаб я могу только ответить, за остальные нет.
На данном хабе стоит скрипт антипорно FileSearch_1.0j_LUA_5.11__RusHub_.lua
Кстати, большая часть хабов на верли хаб-софт стоит, а crysis.myhub.pp.ua:666 на RusHub (основанном на верли), возможно это в самом софт-хабе что-то?
Последний раз редактировалось Kimbo 23 апр 2014, 00:26, всего редактировалось 1 раз.

Аватара пользователя
flylinkdc
 
Хаб: dchub://dc.fly-server.ru
 
Сообщения: 427
Откуда: Караганда -> Липецк

Сообщение 23 апр 2014, 00:16

HackFresse писал(а):А теги нужно сначала увидеть, вдруг там FlylinkDC_r369_beta82_build_2287


уф! r369 это какой год то был ?
завтра подниму из svn - историю фиксов.
чую ты намекаешь, что я где-то в этом районе облажался и воткнул в клиент багу? :)

Аватара пользователя
HackFresse
 
Сообщения: 507

Сообщение 23 апр 2014, 00:52

Я же написал "А теги нужно сначала увидеть, вдруг там" и рандомный вариант тега предложил..

Но какая разница, если там что-то специфическое (типа чьих-то ботов или скриптов), или старое (неудачная древняя версия всё равно какого клиента)?
Инвалидные запросы всё равно игнорить нужно, а если явление не носит массовый характер, то и заморачиваться особо не стоит

Аватара пользователя
flylinkdc
 
Хаб: dchub://dc.fly-server.ru
 
Сообщения: 427
Откуда: Караганда -> Липецк

Сообщение 23 апр 2014, 01:06

HackFresse писал(а):Инвалидные запросы всё равно игнорить нужно, а если явление не носит массовый характер, то и заморачиваться особо не стоит


они всегда и сейчас игнорятся.
я просто решил это скидывать в лог на бетках
чтобы админам показали что с их хаба идет мусор в некоторых случаях.

Аватара пользователя
HackFresse
 
Сообщения: 507

Сообщение 23 апр 2014, 13:19

а админы такие "ну и что мне с этим делать? пускай разработчики клиентов/хабсофта этим занимаются. а я ничего делать не умею/не знаю/не буду ".

И формат лога непонятный, чтобы какие-то выводы админы (или кого там это может заинтересовать) могли сделать

Лично мне нужно увидеть, как именно пришла подозрительная команда в общем потоке текстовых команд изначально, а не то, как она была записана после каких-то непонятных преобразований.
т.е. кусок простого текста, полученного из сокета хаба, без обработки вообще или с добавлениями дополнительных пояснений (вроде метки времени и направления передачи вместо стандартного разделителя команд)
Код: Выделить всё
1396788859 | TX: $GetNickList
1396788859 | RX: $Search 176.197.56.197:6308 F?T?0?9?TTH:E6CLC5EFX64NXXFPHSZMZ22RRVQAFIBYPMDLWBY
1396788859 | RX: $Search 46.181.160.145: F?T?0?9?TTH:JAPXJICFNLNOKA7CFETGRDKWQQLKDX6POXBUHDY
1396788859 | RX: $Search 176.196.80.13:6308 F?T?0?9?TTH:VH5RKYYBWSEWAFGJ3RPMJIUQXWBTHVMUPJEXCBY
1396788859 | RX: $Search 178.171.53.106:6308 F?T?0?9?TTH:YU7R35VHGIC74OGHMFYSSETBIUZWOLCNP4DKDMI
1396788859 | RX: $Search 37.193.217.140:1344 F?T?0?9?TTH:LYMOGQAR6OLIWDCZNEEOGU6EXU4B6GH7KOQVIAY
1396788859 | RX: $MyINFO $ALL WTEMSKWLXTLQ64HW2JF766SIHNUMWTJDO35 [15]<Peers V:(r622),M:P,H:1/0/0,S:15>$ $0.005 $$19715884096$
1396788859 | RX: $Quit FantomAS1694
1396788859 | RX: $Search 46.180.9.207:6308 F?T?0?9?TTH:Z23OSSRSG2I4Z64RDQCFVBH62YIFHET5H4KWKAQ
1396788859 | RX: $Search 158.46.178.235:6308 F?T?0?9?TTH:BEJIEQC4YMJYLIRXQDELRQXKT5PR2IKWXIGXRZQ
1396788859 | RX: $MyINFO $ALL VPJQ5SZAHGUNA2E447S4U6ORI6ZH6623ZU4 [15]<Peers V:(r622),M:A,H:1/0/0,S:15>$ $0.005$$43507016414$
1396788859 | RX: $Search 37.194.35.62:3607 F?T?0?9?TTH:EF5RZGCO527K7ZFZZCZRGGOP4NH5KCHU3HHRTIY
1396788859 | RX: $Search 46.180.247.216:6308 F?T?0?9?TTH:HHYMNLM3MAZDCXEW2JE3BBRHOJ4DG57TW33IUGA
1396788859 | RX: $Search 46.181.132.200:6308 F?T?0?9?TTH:WTRFFI3NH2XOZV7KSCXFQNOREY6ZS5J7KKOPMRI

Аватара пользователя
flylinkdc
 
Хаб: dchub://dc.fly-server.ru
 
Сообщения: 427
Откуда: Караганда -> Липецк

Сообщение 23 апр 2014, 19:33

Такой полный лог вы можете видеть в отладчике CMD
я добавив логирование случаев когда происходит ошибка именно в парсинге команды $Search
и нет никакого преобразования если откусить пояснения то сырая команда выглядит так:

$Search Hub:GreiderwQQQee3eet F?T?0?1?
$Search Hub:GreiderwQQQee3eet F?T?0?1?
$Search Hub:GreiderwQQQee3eet F?T?0?1?

после "?" ничего нет
поэтому клиенты ее и пропускают т.к. клиент просит найти неизвестно чего.
этим маскируют какую-то ошибку софта хаба или клиента.

Аватара пользователя
HackFresse
 
Сообщения: 507

Сообщение 23 апр 2014, 23:00

а какая команда пришла после ? вдруг там вместо
Код: Выделить всё
$Search 109.172.59.181:16261 F?T?0?1?большая$ржака|
$Search 46.146.65.117:21800 F?T?0?9?TTH:4H5SNXJ6CGVRPYUSJPK5BK5S57IGP4VIIWMKESA|

какой-нибудь
Код: Выделить всё
$Search 109.172.59.181:16261 F?T?0?1?|
большая$ржака|
$Search 46.146.65.117:21800 F?T?0?9?TTH:4H5SNXJ6CGVRPYUSJPK5BK5S57IGP4VIIWMKESA|
?

Выловить в CDM-отладчике такой запрос среди других, когда с кучи хабов этих поисковых запросов больше десятка в секунду прилетает, тот еще мазохизм.. А вот после неспешного рассмотрения готовых лог-файлов можно и придумать что-то. или сказать "и так сойдёт"

На их теги посмотреть получилось, по айпи вычислить? Там же в sqlite-базу что-то активно пишется по всем юзерам, вдруг эти записи полезными окажутся?

Аватара пользователя
flylinkdc
 
Хаб: dchub://dc.fly-server.ru
 
Сообщения: 427
Откуда: Караганда -> Липецк

Сообщение 23 апр 2014, 23:09

А параметр поиска разве можно переносить на другую строку после термитора'|' ?

Аватара пользователя
HackFresse
 
Сообщения: 507

Сообщение 24 апр 2014, 10:26

ну так в том-то и весь смысл данной темы, что кто-то неправильно формирует поисковый запрос. или нет?


Вернуться в Помощь & идеи



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron