Верите ли вы в хаб настолько большой, что всего этого хаблиста больше?

[HackFresse]

Т.е. никаких танцев с бубном вокруг локального DNS и его кэша не требуется.

Более подробно можно почитать на википедии http://ru.wikipedia.org/wiki/Round_robin_DNS

Открываю и читаю

Хотя Round robin DNS (RR DNS) легко реализовать, всё же этот алгоритм имеет несколько проблематичных недостатков, связанных с кэшированием записи в иерархии RR DNS самого себя, а также с кэшированием на стороне клиента, выданного адреса и его повторного использования, сочетание которых трудно управляемо. RR DNS не опирается на доступность услуг. К примеру, если сервис на одном из адресов недоступен, RR DNS будет продолжать раздавать этот адрес и клиенты будут по-прежнему пытаться соединиться с неработающим сервером.

Кроме того, оно не может быть лучшим выбором для балансировки нагрузки на самого себя, поскольку он лишь заменяет порядок адресов каждый раз, когда имя сервера запрашивается. Не существует учёта соответствия IP-адреса пользователя и его географического расположения, времени выполнения, нагрузки на сервер, перегрузки сети и т.д. Круговая система DNS нагрузки лучше всего подходит для услуг с большим количеством равномерно распределенных соединений с серверами эквивалентной мощности. В противном случае он просто делает распределение нагрузки.

Ой, что же это? ай-яй-яй, прям так и пишут...

Видно, что совершенно не в курсе как в локалках работает система выкладки видео и иного контента через ftp и медиапорталы.
Существуют внутренние сайты в локалках. На каждом сайте есть ftp сканер, который через заданные промежутки времени обходит внутренние IP-диапазоны в поисках фтп (по 21 порту). На некоторых сайтах такие фтп добавляют сами пользователи или админы. Для средней сети количество фтп серверов может достигать сотен штук.
Сканер собирает данные о всех видео или иных файлах, доступных на серверах, при этом идентифицируя каждый из них (скачивается небольшой фрагмент каждого файла и вычисляется его хеш-сумма). Далее ссылки на найденные файлы поступают в раздел для модераторов сайта, которые их выкладывают вместе с описанием.

Ага, вот прям так всё просто? Где примеры таких сайтов, где эти сканеры? Какая хеш-сумма небольшого фрагмента, что за идентификация? Кто додумается заиспользовать RR DNS, когда "количество фтп серверов может достигать сотен штук" ??

Спойлер

На каждом сайте есть ftp сканер, который через заданные промежутки времени обходит внутренние IP-диапазоны в поисках фтп (по 21 порту).

Сканер собирает данные о всех видео или иных файлах, доступных на серверах, при этом идентифицируя каждый из них (скачивается небольшой фрагмент каждого файла и вычисляется его хеш-сумма).

При этом:
1) Не нужно устанавливать дополнительное программное обеспечение.
2) Нет узкого места в виде хаба или треккера.

Нормально, чо. Сканеры, непонятное хеширование, какие-то автоматические рандомные сортировки на страничке с фильмом.. круто


Это всё прям настолько круто, что прям не FTP, а ДЦ какой-то получается. С файл-листами и хешами. И треккером, который доступность проверяет. И прям без узких мест, всё легко и просто, ну-ну

Я 4 года назад сам с нуля делал такой сканер и портал для своей локалки, с автозаполнением, идентификацией и т.д., поэтому очень хорошо знаю, что там и как

[LAV ©]

HackFresse
Вы как с Луны свалились. Если у какого-то пользователя что-то закешировалось в его локальном кеше, то он до выключения компьютера будет ходить по этому закешированному IP-адресу. У другого пользователя закешировался другой IP и он будет ходить по нему. Никаких проблем это не создает. Распределение работает без проблем. В том числе даже при кешировании на каком-то локальном DNS. Даже у одного провайдера предусматривается система DNS серверов, которые попеременно обращаются к корневым DNS серверам, и получают от них разные последовательности одних и тех же IP. Т.е. разные сегменты сети провайдера будут ходить по разным IP.
Разжевывать такие детали уже, честно говоря, лень.

Сайтов много, но они локальны и доступ к ним из внешки закрыт. Закрыт, понимаете? Возьмем, например, один из первых сайтов подобного рода - http://kino.local.pp.ru - провайдер Матрикс. Ему уже более 10 лет. Тоже самое было у провайдера Тиера, Ниеншанц, и т.д. Практически у любого провайдера в Питере были или есть такие сайты. Движков достаточно много, они отличаются алгоритмом своей работы.
Обычно скачиваются последние сколько-то десятков килобайт файла, по ним и рассчитывается хэш-сумма.
По хэш сумме идентифицируется файл. Т.е. файлы с разными названиями на разных ftp-серверах, но с одинаковой хеш-суммой будут опознаны как идентичные.
Мало того, эти порталы часто умеют находить в DC эти же файлы и добавлять к ссылкам на ftp магнет ссылки, в том числе и для торрента.
Естественно, что среди сотен серверов лишь несколько являются системообразующими и по шаре значительно превышают объемы остальных. Для них и используется распределение с помощью доменного имени. Если вы этого не применяли, ну что ж... не додумались значит

И если локальные DC сейчас совсем в жопе - там никого нет, кроме нескольких хабов крупных провайдеров, то с фтп еще качают и весьма интенсивно. Народ-то уходит не туда, где сложнее и надо что-то ставить в компьютер, а где проще - щелкнул и оно уже качается или воспроизводится.

Сомневаюсь, что вы что-то делали, иначе бы не было столько совсем не в тему вопросов

Узких мест при фтп только одно - это канал к фтп серверу. Но узким оно было 10 лет назад. Сейчас гигабит уже внутри квартир.

[HackFresse]

Ну и какой же провайдер додумался сделать RR DNS на сотню фтп своих клиентов?
А если никто не додумался сделать даже для "системообразующих", то, может, не всё там так хорошо?
Ладно, IP каждый раз разный, но путь к файлу и имя файла должны на всех FTP быть одинаковыми, куда вдруг слилась

3) Виртуальная файловая система - снимаем проблему с неизменностью структуры папок.

?

Существуют внутренние сайты в локалках. На каждом сайте есть ftp сканер, который через заданные промежутки времени обходит внутренние IP-диапазоны в поисках фтп

?
Все движки эти тайные и закрытые, а продаются всего несколько однотипных с функционалом, очень далёким от расписываемого, но у всех провайдеров прям есть такие волшебные комбайны, что прям сказка какая-то.

Народ-то уходит не туда, где сложнее и надо что-то ставить в компьютер, а где проще - щелкнул и оно уже качается или воспроизводится.

Эпичная фраза
битторрент - "щелкнул и оно уже качается или воспроизводится"
дц - "щелкнул и оно уже качается или воспроизводится"
фтп - "щелкнул и оно уже качается или воспроизводится". или нет, если рандомно отданный фтп-сервер загружен и ограничил количество потоков (или имеет превышение по количеству юзеров). А узким местом у фтп издавна были жесткие диски и одновременное с них чтение (разными юзерами разных файлов/разными юзерами одного файла)

И если локальные DC сейчас совсем в жопе - там никого нет, кроме нескольких хабов крупных провайдеров, то с фтп еще качают и весьма интенсивно.

Я открою большую тайну - на Луне в локалках поднимают битторрент-трекеры. и поднимают ретрекеры интернет-трекеров.

Фтп некоторые тоже пытаются поднимать, да, но там скука и уныние. Потому что за содержимым фтп нужно следить, постоянно что-то туда новое закачивать (отдельный тупняк с правами на запись), удалять старые ненужные файлы и т.д. А потом еще на сайте как-то ссылки модерировать, идентифицировать и что они там еще делают. Да и качать/смотреть(?) файлы с фтп не так уж прям и удобно

А с торрент-трекером - любой юзер делает раздачу, модератор проверяет-утверждает, несколько скачиваний с компа раздающего - и всё, вот файл уже по всей локалке и разошелся.

Если до этого не додумались некоторые провайдеры не на Луне - нужно посоветовать им посмотреть на p2p-сети, что-ли..


Ладно, что по поводу

1) Не нужно устанавливать дополнительное программное обеспечение.
2) Нет узкого места в виде хаба или треккера.

?

[Мультик©™]

Ну есть какое то небольшое количество пользователей на хабе, остальные генерируются с реальной шарой, которая на серве прова, и не придерёшься, вроде есть пользователь, а в итоге только ник.

[переподвыподверт]

они просто вырубили показ юзеров вообще

А зачем их собственно показывать вообще? Пирс был бы кошерным клиентом, если бы не баннеры.

[slav]

А зачем их собственно показывать вообще?

Для пиару. Чтобы все считали как много народу покупают такие приставки.

Ну есть какое то небольшое количество пользователей на хабе, остальные генерируются с реальной шарой, которая на серве прова

А вот в этом вся и суть. Основная раздача идёт только с "определенных пользователей" (серверов прова). Но, правообладателям доказать это сложно. Правообладатель просит прова заблокировать один IP и он блокируется провайдером, но тут же этот провайдер (продавец приставок) открывает другой сервер, откуда идёт такая же раздача. Результат на лицо: у владельца приставки есть контент, который он может легко скачать, а провайдер ничего не платит правообладателям, т.к. доказать что сервера с которых качаются принадлежат продавцу приставок сложно, ибо он всегда отмажется, что это компьютеры пользователей ДЦ.

[flylinkdc]

Хаб большой нашли и обсудили...
а я вот ищу большой файл
http://www.flylinkdc.ru/2014/05/8-589-934-592.html
Кто встречал подобное - отпишите версии.
раньше я встречал что создавали на NTFS с компрессией файл пустышку большого размера и шарили
чтобы надуть себе шару без затрат...
но тут явно не тот случай.

[HackFresse]

Прислали глючную базу данных с очередью закачек FlylinkDC.sqlite
в которой один файл никогда не мог скачаться

Качался ли файл (отдавал ли кто-то якобы его куски), или он просто болтался в очереди закачек?

Версии
Ошибка во флайлинке и он где-то портит размер файла.
поле TempTarget - пустое... это означает, что флай не смог создать временный файл такого размера.
Возможно кто-то создал фейковый файл-лист и заставил юзера скачать такой файлик (повторить еще не пробовал)
Думаю для начала нужно наложить ограничение на размер файла в 16Tb? (лимит размера тома NTFS)
какие еще будут предложения по защите от подобного, или может есть более точные версии как такое могло произойти?

Я могу в поисковом ответе(или файл-листе, нету разницы) сгенерировать любую строку, т.е. любые комбинации TTH, имени файла и размера.
Команда "добавить в очередь закачек" запишет в базу некий TTH и параметры файла вроде имени и размера.

TTH обязательно неизменным, чтобы файл скачать, имя обязательно неизменным, чтобы юзер получил именно то название файла, которое ставил на закачку.
Размер не является обязательным, чтобы скачать файл (он однозначно будет известен после скачивания файла), но всё равно будет использоваться в дц-клиенте, чтобы рисовать всякие там проценты скачано/осталось, ожидаемое время окончания закачки и т.д.

Т.е. варианты:
1) в очередь закачки попал файл, который никогда не будет скачан (его не существует в действительности), но который будет постоянно требовать дополнительные запросы к хабам на поиск альтернативных источников закачки.

Нормальное поведение

2) в очередь попал реально существующий файл, но по которому была сохранена некорректная информация о размере (при постановке в очередь).

Если источник только один, и файл нормально качается - беда будет только с отображением счетчика скачано/осталось.

Если источников несколько, но все они дают различный размер файла по одному ТТХ - нужно смотреть "самый популярный" размер файла и корректировать запись в таблице закачек (чтобы исправить отображение счетчиков).

3) в очередь попал файл, который внезапно действительно существует (или каким-то волшебным образом генерируется во время отдачи кусков).


По поводу " поле TempTarget - пустое... это означает, что флай не смог создать временный файл такого размера." - могло не быть источников, место на диске всё равно резервируется?

При большом размере файла/отсутствующей инфе о размере файла на скачивание место не резервировать заранее, а использовать по мере скачивания

[переподвыподверт]

Для пиару. Чтобы все считали как много народу покупают такие приставки.

При чём здесь пиар? В сообщении http://dchublist.ru/forum/viewtopic.php?p=22966#p22966 идёт речь о том, что их экзотический клиент при входе на хаб не показывает список пользователей.
А я говорю, что это правильно и его показ в привычных клиентах для большинства пользователей бесполезен.

[slav]

А я говорю, что это правильно и его показ в привычных клиентах для большинства пользователей бесполезен.

А что же надо показывать тогда в обычных клиентах?

При чём здесь пиар? В сообщении viewtopic.php?p=22966#p22966 идёт речь о том, что их экзотический клиент при входе на хаб не показывает список пользователей.

Пиар нужен для "обычных" клиентов.

[переподвыподверт]

А что же надо показывать тогда в обычных клиентах?

Активные передачи и поиск. В фоне - список избранных хабов с опциями "подключиться/отключиться". Окна хабов по умолчанию не показывать (либо открывать в фоне без никлистов), но в настройках предусмотреть возможность показа как просто чатов, так и чатов со списками пользователей (того, что имеем сейчас).
ИМХО естественно.

[slav]

А может вам просто в настройках клиента поковырятся? Поиск чтобы открывался первым можно поставить, чат тоже можно отключит и т.д.

Но,для меня DC - это не только качалка, но ещё и иногда общалка и мне интересно видеть кто сейчас в сети.

[переподвыподверт]

А может вам просто в настройках клиента поковырятся?

Меня то как раз всё устраивает как есть. Речь об удобстве для неофитов.

[Chavy]

После реконнекта хаб перестал выдавать полный список пользователей. Что именно он порезали - не известно. Статистики до реконнекта само собой не сохранилось.
Вот графики на эту субботу:



И отдельно по клиентам:

Спойлер

Получается приставки светятся как NcPikachu?
Если есть возможность - проверьте адекватность графиков. По середине получилась какая-та выбоина, не могу понять где сбойнуло. На графиках других хабов такого не наблюдается.

[HackFresse]

Круто, спасибо.

NcPikachu точно приставки (коммент на их форуме http://www.cn.ru/forum/showthread.php?t=275646), по графику я бы еще к приставкам Pikachundr отнёс (они как будто тоже не выключаются на ночь)

Интересно, как выглядит OGODC.. Кто нашел-скачал-поставил?

[Chavy]

Вид закачек:

Всё весьма лаконично, яб даже сказал интерфейс абсолютно на любого пользователя.
А вот поиск:

http://client.o-go.ru/downloads/ogo2_setup_blogs.exe
Сам я его не качал и не ставил, в этом файле может быть всё, что угодно.

[flylinkdc]

Сам я его не качал и не ставил, в этом файле может быть всё, что угодно.

И исходный код клиента они тоже держат закрытым?

[HackFresse]

У меня не качается по ссылке, быстро найти установщик тоже не получается..
Судя по скринам - сделали некое подобие uTorrent, новичкам более привычное, чем эти ваши "поцаны а как тут кочать"

[Chavy]

И исходный код клиента они тоже держат закрытым?

Две картинки и ссылка на клиент - всё, что получилось нагуглить.
Еще есть список изменений версии от 28 января 2011, которая, похоже, является последней:

Теперь клиент открывает файлы формата .filelist
Оптимизирован движок программы. Теперь программа быстро обрабатывает большую очередь загрузки.
В клиенте реализована история поиска в табличном поиске
Исправлена ошибка, когда было невозможно удалить некоторые папки
Теперь смена ника проходит более плавно
Добавлена проверка портов при запуске клиента. Теперь клиент автоматически переходит в пассивный режим, если невозможно использовать активный, и наоборот.
Исправлена ошибка при быстром нажатии Esc во время загрузки.
Баннер на системах с Windows XP мог появляться некорректно. Это было исправлено.
Теперь клиент перед хешированием файлов проверяет их на наличие записи из другой программы. Если файл открыт для записи хеширование файла не производится.
Смена вида закачек производится без перезагрузки клиента.
В результаты поиска табличного вида добавлен пункт контекстного меню «Копировать-Имя файла»
Ранее невозможно было скопировать больше одной магнет ссылки в табличном поиске. Это было исправлено.
При создании шары клиент мог некорректно расставить папки в своем списке файлов, что могло привести к «невидимым» файлам. Это было исправлено.
Сортировка по количеству источников и по имени пользователя в табличном поиске исправлена.
При первом запуск клиент предлагает включить табличный вид поиска.

Интерфейс кстати очень похож на QT/QML

[Chavy]

Вот интерфейс Peers r622:

Спойлер

И еще:

Спойлер

Помоему очень интересно в плане интерфейса и юзабилити

[HackFresse]

Прикольно, нашелся на одном хабе, скачивается с другого. Да с другого непростого, а ..

Спойлер

[Chavy]

Можно tth?

[HackFresse]

я скачал UYEALKV4CUIHSD4FHAUENHHOTKHW7P3UUUYLHNY , https://yadi.sk/d/p4H3pWcoRdXx3

в очереди закачек болтаются еще

Спойлер

Код: Выделить всё

<Download Target="g:\grey\Downloads\ogo2_setup_dev.exe" Size="16748496" Priority="3" Added="1401306058" TTH="J447Y6KB2DPGZ3MOH7XKF674UJUAIYR2UUFQWRA" AutoPriority="0" MaxSegments="3">
  <Source UID="ERNVLS6UMN3VJ2U7KRU3NI2WP7M3JIOTB7ALOPY" Nick="andruhazzz" /> 
  </Download>
 <Download Target="g:\grey\Downloads\ogo2_setup_blogs.exe" Size="6509330" Priority="3" Added="1401306065" TTH="5U5QENYK47USWGQYNEHANZT3ERAU66QUZ4ZWHLI" AutoPriority="0" MaxSegments="2">
  <Source UID="G7OD46DOT2DVXYMCAK7CZXEL6H27Y72YZ57FFYI" Nick="dem_ageev" /> 
  </Download>
 <Download Target="g:\grey\Downloads\ogo2_setup-2.4.75.701 ot 04.03.2011.exe" Size="6536242" Priority="3" Added="1401306084" TTH="35VRT52C43R4ZYNK2SRWGZMU3GM6KWC6MG6PE7Y" AutoPriority="0" MaxSegments="2">
  <Source UID="MSK4UHZRPCSPFYHJBUXJIDKPLSW7CU4UGDXE5KI" Nick="Шурави" /> 
  </Download>

Штука эта требует .NET Framework 2.0 , после запуска просит авторизации на сайте a42.ru ... но на моей Windows XP оно падает

Спойлер

[flylinkdc]

после запуска просит авторизации на сайте a42.ru ... но на моей Windows XP оно падает

вечером тоже попробую.
получается без авторизации не работает вообще?
p.s.
а почему на XP - я давно на 7-ке 64 бита живу
памяти у тебя сколько в системе? или XP это у тебя песочница в виртуалке

[flylinkdc]

Вот интерфейс Peers r622:

Подписи к кнопкам там действительно с матом?