Верите ли вы в хаб настолько большой, что всего этого хаблиста больше?

Общение админов хабов и их юзеров.
Аватара пользователя
HackFresse
Сообщения: 507
Зарегистрирован: 02 фев 2010, 19:23

Сообщение HackFresse »

flylinkdc писал(а):HackFresse писал(а):они качают по nmdc-протоколу

Откуда знаешь, что они качают именно по этому протоколу?
есть скрин где в отдачах видно, что с тебя качают приставки что-то?

HackFresse писал(а):вход на этот хаб через "известные" дц-клиены вызывает затруднения

так в их клиенте (Peers 3) они просто вырубили показ юзеров вообще
вот у них и нет затруднений
Ха-ха-ха..

Хаб, о котором уже 5 страниц написано, ВНЕЗАПНО работает на nmdc
Приставки, о которых вопрос (даже если не смотреть описаний на сайте производителя), работают с хабом, который работает на nmdc.

И на каком же протоколе будут работать приставки?
Ой, про них же даже кейс открывали 2 года назад https://code.google.com/p/flylinkdc/iss ... ail?id=850 ... Какие такие могут быть приставки? (пацан.jpg)

Даже если там ADC, даже если они только качают -- эти приставки всё равно являются DirectConnect-клиентами.
Аватара пользователя
LAV ©
Сообщения: 89
Зарегистрирован: 08 ноя 2009, 03:12

Сообщение LAV © »

Во-первых, хаб не фейковый, т.к. по графикам видно, что приставки работают круглосуточно и их общее число около 120 тысяч (а не 600 тысяч). Это вполне реальное количество пользователей.
Во-вторых, никакого чудо-сервера для поддержания такого хаба не нужно, т.к. основная нагрузка на обычном хабе без приставок - это исходящий трафик ответов на поисковые запросы, исходящий трафик обновления списка пользователей, обновление главного чата, нагрузка на процессор для производства поиска по запросам пассивных пользователей.
Здесь же ничего подобного не происходит. Приставки никаких поисковых запросов не генерят, список пользователей не запрашивают, главный чат не читают, тупо висят на хабе.
Как с помощью них можно просматривать видеоконтент из DC, отображая его в форме иллюстрированной афиши (каталога) - вопрос. Скорее всего, на хабе висит раздающий афишу сервер. Т.е. с него качается список файлов и иконки к этим файлам. Далее, при запуске скачивания видеофайла, он качается с определенных файловых серверов, которые висят на хабе, и распределены между участвующими в проекте провайдерами.
Непонятно, зачем для этого использовать DC, ведь тоже самое можно реализовать без хаба, но...
Аватара пользователя
flylinkdc
Сообщения: 427
Зарегистрирован: 15 дек 2013, 10:26
Хаб: dchub://dc.fly-server.ru
Откуда: Караганда -> Липецк
Контактная информация:

Сообщение flylinkdc »

Отписал вопрос в тему
https://code.google.com/p/flylinkdc/iss ... ail?id=850
в ней пишут что это тоже левые дц-клиенты и хотят забанить:)
Аватара пользователя
flylinkdc
Сообщения: 427
Зарегистрирован: 15 дек 2013, 10:26
Хаб: dchub://dc.fly-server.ru
Откуда: Караганда -> Липецк
Контактная информация:

Сообщение flylinkdc »

LAV © писал(а):тупо висят на хабе.
Они поедают коннект на сервере только для того, чтобы отметиться что приставку включили?
чем и как делались графики?
вы имеете доступ к хосту хаба? там действительно висят столько соединений?
Аватара пользователя
Chavy
Сообщения: 46
Зарегистрирован: 12 май 2014, 13:10

Сообщение Chavy »

slav писал(а):Сложите их сумму и вы увидите реальное число пользователей.
Там еще были другие клиенты и еще были пользователи с неопределенным клиентом. Весь список я не стал выкладывать. Поэтому лучше отнять от общего количества пользователей топовые.
HackFresse писал(а):а можно нарисовать графики по каждому типу тегов за день? как оно меняется в течение дня
Можно, потом построю.
Аватара пользователя
Chavy
Сообщения: 46
Зарегистрирован: 12 май 2014, 13:10

Сообщение Chavy »

flylinkdc писал(а):там действительно висят столько соединений?
Через epoll без особой нагрузки держал 100к соединений на одном потоке при трафике сравнимом с трафиком от обычного хаба. Полагаю на последнем ядре в многопоточном режиме на i5 можно держать хаб на 500к соединений. А тут от приставок трафика нет, они подключаются и просто держат соединение. По сути хаб нагружен только относительно небольшим количеством пользователей, которое мы сейчас пытаемся определить. На мой взгляд это где-то 10-15к, что под силу даже select'у.
Аватара пользователя
flylinkdc
Сообщения: 427
Зарегистрирован: 15 дек 2013, 10:26
Хаб: dchub://dc.fly-server.ru
Откуда: Караганда -> Липецк
Контактная информация:

Сообщение flylinkdc »

Chavy писал(а):они подключаются и просто держат соединение.
зачем они это делают?
Аватара пользователя
HackFresse
Сообщения: 507
Зарегистрирован: 02 фев 2010, 19:23

Сообщение HackFresse »

по поводу Пикачу и его висящих соединений из кейса есть очень простое объяснение - http://cimg.hostel.nstu.ru/forum/showth ... 1856645849
LAV © писал(а):Во-первых, хаб не фейковый, т.к. по графикам видно, что приставки работают круглосуточно и их общее число около 120 тысяч (а не 600 тысяч). Это вполне реальное количество пользователей.
Во-вторых, никакого чудо-сервера для поддержания такого хаба не нужно, т.к. основная нагрузка на обычном хабе без приставок - это исходящий трафик ответов на поисковые запросы, исходящий трафик обновления списка пользователей, обновление главного чата, нагрузка на процессор для производства поиска по запросам пассивных пользователей.
Здесь же ничего подобного не происходит. Приставки никаких поисковых запросов не генерят, список пользователей не запрашивают, главный чат не читают, тупо висят на хабе.
Как с помощью них можно просматривать видеоконтент из DC, отображая его в форме иллюстрированной афиши (каталога) - вопрос. Скорее всего, на хабе висит раздающий афишу сервер. Т.е. с него качается список файлов и иконки к этим файлам. Далее, при запуске скачивания видеофайла, он качается с определенных файловых серверов, которые висят на хабе, и распределены между участвующими в проекте провайдерами.
Непонятно, зачем для этого использовать DC, ведь тоже самое можно реализовать без хаба, но...
Ну-ну, как же..
1) какой сервер/хабсофт может держать столько подключений? у Verlihub it can hold more than 20.000 users , а тут 120 тысяч одних только приставок, постоянно висящих на хабе.
Откуда уверенность, что там всё на VPS за 5 баксов в месяц?

2) >> т.к. основная нагрузка на обычном хабе без приставок - это исходящий трафик ответов на поисковые запросы, исходящий трафик обновления списка пользователей, обновление главного чата, нагрузка на процессор для производства поиска по запросам пассивных пользователей.
"исходящий трафик ответов на поисковые запросы" и " нагрузка на процессор для производства поиска по запросам пассивных пользователей" - одно и то же
"обновление главного чата" - пыль, по сравнению с десятками поисковых запросов в секунду, аргумент вообще никакой

3) >>Приставки никаких поисковых запросов не генерят
Это пять! *ROFL* Как можно качать/смотреть фильмы из дц, не генерируя поисковых запросов на хабе?

4) Приставки не получают поисковых запросов, потому что у них нечего шарить, т.е. нету смысла у них что-то и спрашивать.
Какой хабсофт может разделять юзеров для рассылки поисковых запросов ? Проблема всего "обычного" хабсофта, про которую я уже указывал

5) >> Как с помощью них можно просматривать видеоконтент из DC, отображая его в форме иллюстрированной афиши (каталога) - вопрос
Ни разу не вопрос. Обычный сайт с обычными магнет-ссылками.

6) >>Непонятно, зачем для этого использовать DC, ведь тоже самое можно реализовать без хаба, но...
Ага, можно. На торрентах (или полностью отказаться от p2p, что глупо). Приставки те умеют и битторрент, кстати.
С технической точки зрения закачка больших одиночных файлов через DirectConnect более оптимальна, чем через битторрент.
Аватара пользователя
LAV ©
Сообщения: 89
Зарегистрирован: 08 ноя 2009, 03:12

Сообщение LAV © »

flylinkdc
У меня нет доступа к хосту хаба. Похоже, приставка через встроенный браузер показывает афишу с фильмами с веб-сервера, на котором крутится медиапортал cn.ru. Слабо верится, что приставка будет качать со случайных пользователей всего лишь одного хаба и сможет обеспечить бесперебойное воспроизведение фильма без его полного предварительного скачивания. Точно есть спецсервера с видеоконтентом.
Пробовал туда вывесить сервер с большой видеошарой (13ТБ) - ни одна приставка с меня ничего не качала, слоты не занимала и через шпион поиска никаких поисковых запросов не присылала.
Новотелеком - самый крупный провайдер Новосибирска, в котором полтора миллиона человек живут. Поэтому меня не удивляет количество приставок.
http://sib.adme.ru/novotelekom/elektron ... ta-133705/
http://business.ngs.ru/article/1481588/
Тут они сами говорят про 120 тысяч пользователей в файлообменной сети http://www.youtube.com/watch?v=xXRiPOkJ7as
Аватара пользователя
LAV ©
Сообщения: 89
Зарегистрирован: 08 ноя 2009, 03:12

Сообщение LAV © »

HackFresse
Обновление главного чата рассылается всем и это весьма заметная прибавка к исходящему трафику. А именно в исходящий трафик упираются ограничения на крупном хабе. Поэтому не очень понимаю крупные хабы с огромными MOTD.
На счет количества соединений... тут упирается в pps (количество пакетов в секунду), которые разрешает провайдер на своих цисках.
Пользователь не каждую секунду шлет пакеты хабу, поэтому от 120 тысяч пользователей с приставками может приходить ~10 тысяч пакетов в секунду, а это мизер и легко тянется сетевой аппаратурой :) Про сервер вообще молчу. Он это не заметит :)
Аватара пользователя
Chavy
Сообщения: 46
Зарегистрирован: 12 май 2014, 13:10

Сообщение Chavy »

flylinkdc писал(а):зачем они это делают?
HackFresse писал(а):Это пять! Как можно качать/смотреть фильмы из дц, не генерируя поисковых запросов на хабе?
Полагаю перед инженерами была поставлена задача - реализовать масштабируемую систему по скачиванию фильмов. И выбор пал на DC, которая позволяет добавлять сколько угодно раздающих серверов. В dc можно одновременно качать хоть с 200 источников, а в приставках возможно это значение увеличено, может быть добавлено чередование.
Эти приставки вероятно ничего не ищут, хаб определяет их и не отправляет поисковые запросы, юзерлист и все остальные стандартные команды. По сути весь обмен с ними ограничен запросом на скачивание данных с определенного юзара на хабе по требованию пользователя приставки. 100 тысяч неактивных соединений на epoll это ерунда.
Аватара пользователя
flylinkdc
Сообщения: 427
Зарегистрирован: 15 дек 2013, 10:26
Хаб: dchub://dc.fly-server.ru
Откуда: Караганда -> Липецк
Контактная информация:

Сообщение flylinkdc »

Chavy писал(а):По сути весь обмен с ними ограничен запросом на скачивание данных с определенного юзара на хабе по требованию пользователя приставки
Вы знаете как работает dc протокол?
Расскажите как приставка узнает с какого пользователя скачать что-то?

Никто не может кинуть скрин когда стандартный клиент DC++ начинает отдачу файла клиенту - приставке.
для этого ведь достаточно расшарить что-то свежее и популярное которое сейчас смотрят?
или может у кого-то есть эта приставка живьем в той сети?
Аватара пользователя
Chavy
Сообщения: 46
Зарегистрирован: 12 май 2014, 13:10

Сообщение Chavy »

flylinkdc писал(а):Вы знаете как работает dc протокол?
Иначе как бы я построил такие графики?
flylinkdc писал(а):Расскажите как приставка узнает с какого пользователя скачать что-то?
Полагаю либо там ники зашиты, либы передаются отдельно, например по http. Или там сидит отдельный клиент, ник которого известен приставкам и с него они скачивают список ников/ip адресов работающих на хабе контент серверов.
flylinkdc писал(а):для этого ведь достаточно расшарить что-то свежее и популярное которое сейчас смотрят?
Тут все пишут что приставки вообще не используют поиск и ничего не качают с пользователей. Сам я не проверял.
Аватара пользователя
HackFresse
Сообщения: 507
Зарегистрирован: 02 фев 2010, 19:23

Сообщение HackFresse »

эх, такой простой вопрос... основной даже, "как работает поиск в DC"

Рассказываю:
1) есть магнет-ссылка (файл, который хочет скачать дц-клиент)
2) дц-клиент отправляет поисковый запрос на хаб, к которому подключен, что-то вроде "мне нужен такой-то файл"
3) хаб пересылает этот поисковый запрос другим подключенным к нему клиентам
4) другие клиенты, если файл у них имеется, формируют ответ "эй, этот файл есть у меня".
тут 2 варианта:
если запрашивающий был в пассивном режиме -- отвечают через хаб, т.е. отправляют хабу команду "передай такому-то, что у меня для него что-то есть, и со мной можно связаться на такой-то IP:port". Далее запрашивающий, получив от хаба инфу, что у другого есть что-то, связывается с этим самым другим дц-клиентом напрямую

если спрашивающий был в активном режиме, то он изначально сообщает в запросе "мне нужен такой-то файл, я на таком-то IP:port". Другие клиенты шлют инфу-ответ о наличии у них нужного файла сразу напрямую в IP:port запросившего, без участия хаба

Ответы на поисковые запросы для активных клиентов передаются без участия хаба вообще, отследить их на хабе невозможно.
Ответы на поисковые запросы для пассивных клиентов передаются через хаб, но их количество лимитируется.
Пассивные клиенты могут качать только у активных

Если хаб не рассылает поисковые запросы - никто не сможет ничего скачать
Аватара пользователя
HackFresse
Сообщения: 507
Зарегистрирован: 02 фев 2010, 19:23

Сообщение HackFresse »

по поводу "Тут все пишут что приставки вообще не используют поиск и ничего не качают с пользователей"
Так могут писать только "эксперты", которым верить вообще не нужно, потому что они зачастую "не специалисты".

В соседней теме я писал, почему на этом хабе так, и почему на всех других есть проблема.

Всё дело в том, что приставки эти стоят где-то далеко в локальной сети каких-то провайдеров.
Дц-клиент из интернетов не может просто так взять и установить соединение с каким-то адресом во внутренней локалке провайдера.
Дц-клиент на компе из локалки провайдера может соединиться с инет-юзером, но это уже внешний интернет трафик (через всякие NAT)
Дц-клиенту для проигрывания видеофайлов из локалки не нужно тратить внешний интернет-трафик

Т.е. дц-клиенты из интернетов не должны получать поисковые запросы от дц-приставок, предназначенных по большей части для потокового воспроизведения видео из локалки.
Были многочисленные запросы на скрипты разделения диапазонов, чтобы юзер при скачке не попал на инет-трафик, тут абсолютно та же ситуация.

Качать приставки будут только у юзеров этой далёкой локалки
Аватара пользователя
LAV ©
Сообщения: 89
Зарегистрирован: 08 ноя 2009, 03:12

Сообщение LAV © »

Клиенты-приставки сидят в пассиве и их запрос хаб может запросто не рассылать по остальным клиентам, а сразу возвращать ответ откуда качать.
Вот с меня ничего не качают. Чтобы вызвать особую привлекательность для приставок, хотел покачать новинки с их кинопортала, но он даже после регистрации прячет от меня магнет-ссылки. Видимо, фильтрует от инетных IP. Так что не повезло.
Возникает несколько вариантов:

1) Приставки сидят в локалке, не имеют доступа в инет, поэтому с меня ничего не качают и невозможно даже запросить их IP. Но при этом они качают с локальных пользователей.
2) Приставки не качают с обычных пользователей, а соединяются только с конкретными служебными серверами, с которых получают список источников для скачки.
3) Приставки вообще не умеют качать через DC, а вся лабуда про DC служит маркетинговым ходом рекламной кампании для привлечения новых пользователей.
Аватара пользователя
LAV ©
Сообщения: 89
Зарегистрирован: 08 ноя 2009, 03:12

Сообщение LAV © »

HackFresse

С локалкой большой вопрос, т.к. по официальной информации на хабе находятся юзеры и приставки из разных, удаленных друг от друга городов. Поэтому локалки там быть не может - трафик идет по общим с инетом каналам. И как они вычленяют с кого качать, а с кого - не качать? В каждом городе у приставок прописаны свои IP-фильтры? Сомнительно, т.к. фильтры сильно ограничивают возможности для скачивания этих приставок. Если они будут качать только со своего города, то в мелких городах не с кого качать. Группы пользователей из таких городов будут состоять сплошняком из пассивных пользователей в виде приставок.
Аватара пользователя
LAV ©
Сообщения: 89
Зарегистрирован: 08 ноя 2009, 03:12

Сообщение LAV © »

Их клиент поставил. Ищет, качает и даже воспроизводит

http://www.cn.ru/apps/peers/download/
Аватара пользователя
HackFresse
Сообщения: 507
Зарегистрирован: 02 фев 2010, 19:23

Сообщение HackFresse »

Про структуру той сети и пиринг ничего сказать не могу, какие там скорости/ограничения и т.д. между связанными городами
SergSat больше в этом вопросе знать будет, "я смотрю со стороны, из совсем другой страны" =)

Хаб peers.cn.ru долгое время был исключительно локальным (за что был забанен на этом хаблисте), потом вдург выплыл под другим доменом, вчера даже по основному домену отзывался

Управлять поисковыми запросами в разных городах очень просто, если хабсофт написан с возможностью сегментирования юзеров. Т.е. разделение диапазонов вместо скриптов (которые будут очень сильно тормозить на большом онлайне) запилить в логику самого хаба

А потом просто набор правил типа
"юзеры с такой-то меткой1 качают только между собой"
"юзеры с другой меткой2 могут соединяться между собой и с юзерами с меткой3"
"юзеры с меткой4 могут соединяться только с меткой9, но не могут соединяться между собой"

Имея функционал "рассылать поисковый запрос только определённому типу клиентов" можно много чего полезного наворотить, фича мастхэвная


По поводу "качать не у кого"
Вот были давно когда-то в одной далёкой маленькой локалке большие такие FTP-сервера, на которые фильмы-игры всякие заливались, и постоянно с фтп этих юзеры что-то качали. И была нагрузка большая у фтп-серверов этих, и скорость отдачи маленькая, и все были недовольны. А потом на серваки эти кроме FTP-клиента был установлен еще и торрент-клиент, и на форуме локальном вместо ссылок на фтп описания к торрент-файлам выкладывались

И о чудо - нагрузка у серваков упала резко, потому что новый файл качается только "несколько первых раз"(вместо каждой) с раздающего сервера, запрос на скачивание популярного файла может вообще не поступить на некогда загруженный под завязку сервер

Это я к тому, что у них там на странице закачки клиента есть фраза
Чтобы поиск в сети был более удобным, мы создали тематические каталоги самых популярных и проверенных файлов: Фильмы, ТВ, Музыка, Игры и другие. У каждого файла есть своя страница с актуальным описанием, скриншотами, комментариями пользователей и другой информацией. Загружайте «Пирс» и смотрите только самое лучшее и интересное!
Т.е. установив в каждом городе на площадке провайдера несколько серверов с дц-клиентами, шарящими последние и популярные файлы, можно обеспечить проигрывание приставками контента даже без необходимости качать фильм из другого города (и у простых юзеров).

Качают ли приставки у обычных юзеров? Я думаю, что качают. Лень уже сегодня их форум читать, но чем больше источников у файла - тем меньше нагрузка на каждого раздающего.
Аватара пользователя
LAV ©
Сообщения: 89
Зарегистрирован: 08 ноя 2009, 03:12

Сообщение LAV © »

Сегодня случилось чудо и приставки стали с меня качать :) Скрин: http://hubdc.ru/ogo.png

HackFresse
Теория про распределенную файлоотдачу хороша, но не для этих приставок, т.к. они только качают и ничего не раздают. Т.е. если исключить остальных немногочисленных клиентов хаба, то при файлораздаче приставкам мы имеем модель того самого ftp-сервера.
Последний раз редактировалось LAV © 16 май 2014, 11:02, всего редактировалось 1 раз.
Аватара пользователя
HackFresse
Сообщения: 507
Зарегистрирован: 02 фев 2010, 19:23

Сообщение HackFresse »

Нет, "несколько ftp" никак не равны "несколько серверов с p2p раздачей".

Балансировку нагрузки на фтп-сервера еще нужно придумать, а вот в отдачу через p2p она уже встроена, "кто свободный - тот и ответил". Если ресурсов 3-х раздающих серверов мало - ничего не стоит добавить 3, просто скопировав нужные файлы

И если при раздаче через битторрент нужно заморачиваться с торрент-файлами и определённой структурой папок и файлов в них (причем пути и имена файлов должны быть неизменными), то для дц файлы достаточно "абы как" свалить в расшаренную папку


DirectConnect в плане массовой раздачи ... итторрента, о чем я многократно повторяю.

Я согласен с выбором тех далёких админов между битторрентом и дц для прокачки внутренних ресурсов. Сам принцип дц шикарен, вся проблема только в дц-клиентах.

Позиция "не давать качать тем, кто не раздаёт, они убивают файлообмен" равна позиции битторрентовых трекеров по учету рейтинга "нету отдачи - не дам качать".
Но вот только дц изначально был сделан безрейтинговым, а на торрент-трекерах (изначально ярых борцах со скачиванием без отдачи) последнее время учет скачанного всё чаще и чаще отключается. Безрейтинговые трекеры вроде как вредят файлообмену, но пришли к ним неспроста.


То, что на данный момент данные модели приставок контент не раздают, вовсе не значит, что подобные приставки раздавать не будут никогда.
http://dchublist.ru/forum/viewtopic.php?p=22483#p22483, при повышении аппаратных ресурсов (увеличение оперативки, из которой можно раздавать только что скачанное, или при подключении/встраивании ноутбучного винта) с приставок можно будет и раздавать.

Конкретно эти приставки (на слабой по нынешним меркам аппаратной платформе) и этот хаб в целом - первый (я считаю, что удачный) опыт по массовому внедрению DirectConnect.
Юзеры довольны, у провайдера прибыль, всем хорошо. А то, что для этого был использован именно DirectConnect вместо BitTorrent -- круто, я рад
Последний раз редактировалось HackFresse 16 май 2014, 13:29, всего редактировалось 2 раза.
Аватара пользователя
LAV ©
Сообщения: 89
Зарегистрирован: 08 ноя 2009, 03:12

Сообщение LAV © »

Для фтп проблема нагрузки решается не так и сложно:
1) Рандомное расположение ссылок - щелкают всегда по верхней, поэтому больше грузят "верхний" сервер.
2) Привязка на одно доменное имя нескольких IP - опять же увеличиваем элемент случайности.
3) Виртуальная файловая система - снимаем проблему с неизменностью структуры папок.
При этом:
1) Не нужно устанавливать дополнительное программное обеспечение.
2) Нет узкого места в виде хаба или треккера.

С данного хаба с моего сервера люди и приставки качают в 10 раз меньше, чем с хаба Пикник, при этом количество пользователей на хабе Пикник в 10 раз меньше, чем на огогошнем :)
Т.е. активность пользователей этого мегахаба в 100 раз ниже, чем Пикника.
Отсюда вывод: лишь небольшой процент пользователей приставок (в пределах 1-5%) использует возможность скачивания через DC. Остальные просто так висят на хабе.
Не верю что они встроят в приставку накопитель и сделают раздачу - это выходит за рамки закона и может грозить владельцам приставок уголовным преследованием. Возможно, появится (или уже есть) опция подключения внешнего USB накопителя.
Аватара пользователя
HackFresse
Сообщения: 507
Зарегистрирован: 02 фев 2010, 19:23

Сообщение HackFresse »

Ну ок, вот есть некий список файлов на каком-то фтп.. Тот, кто оформляет раздачу/новость, пишет, что "новый сезон крутого сериала теперь на наших фтп" по адресу "ftp: //superftp.local/2/odyssey_5/". Сразу всё пачкой скачать нельзя, ну да ладно, берём по пунктам:

1) раздающий выкладывает ссылку на файл ftp: //superftp.local/2/odyssey_5/Odyssey_5_-_1x11_-_Kitten.(HDTVRip.624x352x25.Rus.by.NTV.LostFilm.tv.RSFDrive.com).avi , это некая последняя ожидаемая всеми серия
1) Рандомное расположение ссылок - щелкают всегда по верхней, поэтому больше грузят "верхний" сервер.
Какое такое рандомное расположение ссылок? Какой сервер тут верхний?
2) Привязка на одно доменное имя нескольких IP - опять же увеличиваем элемент случайности.
Ок, нагрузка разруливается только через дополнительный dns-сервер, который выдаёт рандомные IP вне зависимости от загрузки сервера.
Ладно, сделали некую волшебную дополнительную хрень, которая меряет загрузку сервера на данный момент и говорит dns "выдавай именно такой IP", заморочки с настройкой и кешированием опускаем
3) Виртуальная файловая система - снимаем проблему с неизменностью структуры папок.
Ну и каким же это чудесным образом проблема снимется с добавлением некой дополнительной системы управления виртуальными файлами?

есть файл, лежащий на всех фтп-серверах по адресу /2/odyssey_5/Odyssey_5_-_1x11_-_Kitten.(HDTVRip.624x352x25.Rus.by.NTV.LostFilm.tv.RSFDrive.com).avi
На одном сервере я его удалил, а на втором сервере просто перенёс в папку /23/2/tmp.avi
Что и каким образом по этому поводу сделает "Виртуальная файловая система"?

При этом:
1) Не нужно устанавливать дополнительное программное обеспечение.
2) Нет узкого места в виде хаба или треккера.
Узкое место в виде
1)дополнительного программного обеспечения в виде DNS-сервера, который должен быть настроен одинаково и правильно у всех
2)дополнительного мониторинга загрузки, умеющего при этом управлять dns-сервером
3) дополнительной виртуальной файловой системой, которая никак не может влиять на неизменность структуры папок. Хотя, если добавить дополнительный инструмент для мониторинга файловой системы и выполняемых команд, и дополнительно настроить его на управление виртуальной файловой системой

Ага-ага, совсем никакой разницы между
1) сгенерить магнет-ссылку вида name=Красивое_имя_файла&tth=ттх
2) на любом количестве произвольных серверов с дц-клиентами открыть файл с таким ттх в доступ (под любым названием в любом месте, файл можно переименовывать/переносить/менять расширение и даже удалить с произвольного числа серверов).
Последний раз редактировалось HackFresse 16 июн 2014, 10:21, всего редактировалось 1 раз.
Аватара пользователя
LAV ©
Сообщения: 89
Зарегистрирован: 08 ноя 2009, 03:12

Сообщение LAV © »

HackFresse
Видно, что совершенно не в курсе как в локалках работает система выкладки видео и иного контента через ftp и медиапорталы.
Существуют внутренние сайты в локалках. На каждом сайте есть ftp сканер, который через заданные промежутки времени обходит внутренние IP-диапазоны в поисках фтп (по 21 порту). На некоторых сайтах такие фтп добавляют сами пользователи или админы. Для средней сети количество фтп серверов может достигать сотен штук.
Сканер собирает данные о всех видео или иных файлах, доступных на серверах, при этом идентифицируя каждый из них (скачивается небольшой фрагмент каждого файла и вычисляется его хеш-сумма). Далее ссылки на найденные файлы поступают в раздел для модераторов сайта, которые их выкладывают вместе с описанием.
В итоге имеем: страничка какого-нибудь фильма и на ней ссылки на несколько фтп-серверов, на каждом из которых лежит один и тот же файл фильма. Обычно ссылки сортируются в порядке возрастания IP и по алфавиту. В итоге во всех описаниях фильмов один и тот же фтп-сервер будет ВСЕГДА наверху списка ссылок. Чтобы это предотвратить вводят рандомную сортировки ссылок на фтп.
В случае, если владелец фтп меняет название файла или даже папки, в которой он хранится, сканер при повторном обходе фтп без каких-либо проблем идентифицирует файл фильма и изменит хранимую в базе данных ссылку.
Виртуальная файловая система нужна только владельцу фтп, если он самостоятельно раздает ссылки на свой фтп и хочет, чтобы они всегда работали. Через виртуальную систему он может запросто добавлять на свой фтп новые диски, менять реальное название папок, производить даже манипуляции с названиями, при этом для пользователей фтп структура папок не изменится и все старые ссылки будут работать.

На счет доменного имени. Наверное, и тут не в курсе, что любому доменному имени может быть на корневом DNS присвоено сколько угодно IP адресов. Например, возьмем Яндекс:

Код: Выделить всё

nslookup ya.ru
Сервер:  google-public-dns-a.google.com
Address:  8.8.8.8
Не заслуживающий доверия ответ:
Имя :     ya.ru
Addresses:  2a02:6b8::3
          213.180.193.3
          213.180.204.3
          93.158.134.3
На корневом DNS сервере мы получим тот же ответ:

Код: Выделить всё

nslookup ya.ru ns1.yandex.ru
Сервер:  UnKnown
Address:  213.180.193.1
Имя :     ya.ru
Addresses:  2a02:6b8::3
          213.180.204.3
          93.158.134.3
          213.180.193.3
Возникает вопрос: а какой-же IP при резольвинге получит конкретный пользователь?
Ответ: случайный

Т.е. никаких танцев с бубном вокруг локального DNS и его кэша не требуется.

Более подробно можно почитать на википедии http://ru.wikipedia.org/wiki/Round_robin_DNS
Последний раз редактировалось LAV © 16 май 2014, 18:48, всего редактировалось 1 раз.
Аватара пользователя
Chavy
Сообщения: 46
Зарегистрирован: 12 май 2014, 13:10

Сообщение Chavy »

Сегодня попробовал снять статистику по клиентам. После реконнекта хаб начал выдавать только часть юзерлиста. Какую - не известно.
Ответить