Конференции Usenet. Чтение конференций. Поиск в конференциях Usenet
Система для чтения news-конференций
Поиск информации в системе телеконференций Usenet
Протокол NNTP. Работа с сервером новостей
Usenet — компьютерная сеть, используемая для общения и обмена файлами. Usenet состоит из ньюсгрупп (новостных групп), в которые пользователи могут посылать сообщения. Сообщения хранятся на большом количестве серверов, которые обмениваются ими друг с другом. Usenet оказал большое влияние на развитие Интернет-культуры, дав начало таким широко известным понятиям, как смайлы, FAQ и спам.
Сообщения, которые пользователь публикует (англ. posts) в Usenet, организуются в тематические категории, называемые новостными группами (англ. newsgroups) или конференциями, которые в свою очередь организуются в собственную иерархию, подобную структуре доменных имён.
Основные иерархии Usenet составляют «Большую Восьмерку»:
1. comp.*: обсуждение тем, связанных с компьютерами (comp.software, comp.sys.amiga);
2. misc.*: разнообразные темы (misc.education, misc.forsale, misc.kids);
3. news.*: новости Usenet-a (news.groups, news.admin);
4. rec.*: развлечения и отдых (rec.music, rec.arts.movies);
5. sci.*: научные дискуссии (sci.psychology, sci.research);
6. soc.*: социальные темы (soc.college.org, soc.culture.african);
7. talk.*: разговоры, в том числе на «горячие» темы (talk.religion, talk.politics);
8. humanities.*: искусство, литература, философия (humanities.classics, humanities.design.misc).
Иерархия
alt.* не подвластна
процедурам, контролирующим ньюсгруппы Большой Восьмерки, и, как результат,
менее организована. Группы в этой иерархии гораздо более специализированы:
например, в Большой Восьмерке может быть группа, посвящённая детской
литературе, а в alt-иерархии может быть
группа об одном определённом авторе. Бинарные файлы публикуются в alt.binaries.*, что делает alt самой большой
иерархией. Существуют также иерархии предназначенные для определённого региона
(japan.*), или для обсуждения
продуктов определённой компании (microsoft.*). Иерархия fido7.ru.* включает в себя
эхоконференции сети Фидонет на русском языке.
Серверы Usenet дублируют (частично или полностью) информацию, хранящуюся друг у друга для того, чтобы их пользователи могли общаться между собой. Однако, работают они не синхронно. Каждый из них имеет свои ограничения на объем загружаемой ежедневно информации с других серверов или, по крайней мере, сроки ее хранения (англ. retention rate). Причем администрация сервера определяет сама, какие группы следует синхронизировать, в каком объеме и сколько в той или иной группе должна храниться информация. Каждый сервис в силу собственных возможностей стремится предоставить максимум своим пользователям. Многие платные серверы негласно приветствуют практически любой контент, даже пиратский, отказываясь вести логи (протоколировать действия своих пользователей).
реди прочих ограничений осложняющих файлообмен в Usenet, с которыми невольно столкнется каждый пользователь есть и ограничение на объем одной публикации (кол-во строк / мегабайт
Базисный модуль Usenet-новостей - статья (article). У статьи есть так называемый заголовок. Это очень похоже на формат заголовка почты, установленный в Internet, стандарт RFC 822, в котором он состоит из отдельных строк текста, каждая начинается с имени поля, завершенного двоеточием и значением поля.
Используемый алгоритм маршрутизации называется лавинной (flooding) маршрутизацией. Каждый сайт поддерживает ряд связей с другими абонентами. Любая статья, сгенерированная или полученная локальной системой новостей будет послана к ним (это называется подпиткой новостями, news feeds).
Чтобы отличать статьи и распознавать дубликаты, Usenet-статьи должны нести ID сообщения (заданный в поле заголовка Message-Id:), которое объединяет имя пункта регистрации и серийный номер в виде serial @site. Для каждой обработанной статьи, система новостей регистрирует ее ID в файле history, в котором проверяются все прибывающие статьи.
На сетях UUCP обычно статьи за некоторый период времени объединяются в один файл, который сжимается и посылается удаленному сайту. Это называется пакетированием (batching).
Альтернативная методика: протокол ihave/sendme, который не дает пересылать статьи дважды
Так как дисковое пространство конечный ресурс, Вы должны отбрасывать статьи после некоторого времени. Это называется expiring. Обычно статьи из некоторых групп и иерархий устаревают в течение фиксированного числа дней после того, как они прибывают. Это может быть изменено отправителем с помощью поля Expires: заголовка статьи.
Регистрация учетной записи на примере Google Newsgroups
Для того, чтобы создать учетную запись в Google Groups, надо:
1) Придумать название своей группе
2) Создать адрес электронной почты
3) Описать основное содержание группы.
4) Выбрать уровень доступа
Общий доступ – просматривать архивы может любой пользователь. Присоединиться может каждый, но только участникам разрешается отправлять сообщения, просматривать список участников, создавать страницы и отправлять файлы.
Только для объявлений - просматривать архивы может любой пользователь. Присоединиться может каждый, но только менеджерам разрешается отправлять сообщения, просматривать список участников, создавать страницы и отправлять файлы.
Доступ ограничен - пользователям требуется приглашение, чтобы стать участниками группы. Только участники могут отправлять сообщения, просматривать архивы и список участников, создавать страницы и отправлять файлы. Ваша группа и ее архивы не появляются ни в общедоступных результатах поиска в Google, ни в каталоге.
Fido7 - это иерархия Usenet, несущая русскоязычные эхоконференции Fidonet®. Fidonet - это международная любительская компьютерная сеть. Она не является "обычной" иерархией Usenet, потому что составляющие ее группы создаются не в результате голосования, а являются "отражениями" соответствующих эхоконференций Fidonet.
Принципы работы иерархии fido7 были изменены в начале 1997 г. с целью большего соответствия практике Fidonet. Все группы иерархии были сделаны модерируемыми.
Вместе с телеконференциями ряда других организаций нашего региона они представляют, по-существу, региональное подмножество телеконференций системы Usenet. Основная особенность этой части телеконференций Usenet заключаются в том, что статьи, помещенные в них, представлены на русском языке.
В настоящее время в иерархии relcom существует более 160 конференций.
Для начала рекомендуется подписаться на relcom.newusers, специально предназначенную для вопросов новых пользователей Relcom и ответов на них, relcom.postmasters. Там же можно задать вопрос о том, существует ли конференция по интересующему вопросу, и если нет, то инициировать процедуру ее создания.
Но специально предназначенной для нахождения друзей по переписке является конференция relcom.penpals. Также существует конференция для обсуждения политических тем relcom.politics. Для любителей шуток –relcom.humor. Для любителей головоломок – relcom.rec.puzzles. Существует также новостная группа, посвященная спорту – relcom.talk.sport.
Абоненты сети "Релком" могут получить доступ к еще одной иерархии телеконференций - relis. Эти конференции отличаются тем, что помещать информацию в них могут только информационные агенты, заключившие с ООО "Релком. ДС" соответствующий договор. Значительная часть помещаемой в этих конференциях информации - коммерческая
Google Groups (http://groups.google.com) — позволяет читать и отправлять текстовые сообщения в новостных группах с помощью web-интерфейса.
Google Groups предоставляет архивы групп новостей Usenet, начиная с 11 мая 1981г., и даёт возможность поиска по этим архивам. В частности, Google Groups включает архив эхоконференций Фидонет, полученный через гейты Usenet—Fido. Google Groups является расширением сервиса Deja.com, приобретённого Google в феврале 2001 г. Все Usenet-сообщения, бывшие в архиве Deja.com, включены в состав архива Google Groups.
Gopher – распределенная информационная служба, разработанная в университете штата Миннесота (на гербе этого штата изображен хомяк, по-английски gopher) , которая собирает информацию, доступную через Интернет. По сравнению с FTP-архивами, каждый из которых приходится изучать обычно отдельно, Gopher образует взаимосвязанную систему серверов (Gopher-пространство), распределенную по Интернет.
Для реализации доступа пользователь должен работать в рамках протоколов TCP/IP и иметь на своей машине программу-клиент одной из версий gopher.
При выдаче команды Gopher система свяжет вас с сервером, указанным вами при постановке программы. Можно связаться с любым другим сервером, выдав команду: Gopher <имя_сервера>, где <имя_сервера> имя Gopher-сервера, выбранного вами.
Обычно Gopher имеет также автоматическую систему поиска объектов по ключевым словам в более чем 500 меню.
Система Gopher в настоящее время устарела, многие ее серверы интегрированы в сеть WEB. Но gopher явился прототипом современных интерфейсов WWW и именно это делает его интересным.
Wais
Wais – Wide Area Information Server – глобальный информационный сервер. WAIS замыкает триаду технологических средств, которую возглавляют Gopher и WWW. Она обеспечивает функционально полный набор информационных инструментов для Internet. WAIS реализует концепцию распределенной информационно-поисковой системы. Система состоит из двух основных компонентов: поисковой машины и интерфейса пользователя, которые связаны между собой универсальным протоколом WAIS, базирующимся на стандарте Z39.50.
Поиск производится по базам данных, содержащим текстовые документы (но допустимы также графические, звуковые или видео документы). Тематика баз данных и поиска произвольны. Базы данных могут иметь любую структуру, но пользователю не нужно знать языка управления этими базами. WAIS использует естественный управляющий язык. WAIS доступен в Интернет
Archie
Archie – информационная система с наиболее эффективной системой поиска. Archie - это не самостоятельный сервис, но сервис, облегчающий работу с серверами anonymous ftp, обеспечивающий поиск файлов на таких серверах.Серверы Archie "помнят" списки всех файлов на многих серверах anonymous ftp, и по Вашему запросу могут искать интересующий Вас файл по имени или части имени.
TELA – поиск информации в конференциях RELCOM. Поисковая система TELA, созданная петербургским Интернет-провайдером DUX, ориентирована на поиск русскоязычных страниц в WWW, а также англоязычных страниц на российских серверах. Сбором страниц занимается подсистема-робот, сделанная на базе робота MOMspider, а поисковая часть сервера TELA сделана на базе системы поиска freeWAIS-sf с использованием русской версии системы поддержки морфологии языка ILIAS. Возможно использование метасимволов, задание слов в любой словоформе, поиск документов, содержащих все ключевые слова или лишь одно из них. Проиндексированные документы полностью хранятся на поисковом сервере и могут быть просмотрены, даже если сервер, с которого они получены, недоступен или документ удален. Система TELA имеет часть, предназначенную для поиска по ключевым словам в русскоязычных телеконференциях: иерархии relcom, fido7, медицинские телеконференции medlux, петербургские телеконференции группы spb и др. Предусмотрен отдельный поиск в каждой из коммерческих телеконференций "Релком" (группы relcom.commerce.*).
NNTP (Network News Transport Protocol) — сетевой протокол, используемый для обмена сообщениями в группах новостей.
Протокол NNTP определяет запросно-ответный механизм обмена сообщениями между серверами и сервером и программами-клиентами. Для этой цели в протоколе определен набор команд и ответов на них. Весь диалог осуществляется в текстах ASCII. Каждая команда состоит из идентификатора команды и параметров.
NNTP представляет собой протокол для рассылки, подписки, поиска и доставки новостей на основе надежного протокол поточного типа (например, TCP) с использованием схемы клиент-сервер. NNTP сконструирован так, что статья, записанная в одном из серверов, становится доступной для всех подписчиков-клиентов.
NNTP также обеспечивает активый и пассивный способы передачи новостей, которые называются "pushing" и "pulling". Выталкивание (pushing), в основном, представляет собой то же самое, что и C-News протокол ihave/sendme.
Имеется ряд доступных пакетов NNTP. Один из наиболее широко известных: NNTP daemon. Первоначально, он был написан Stan Barber и Phil Lapsley, чтобы проиллюстрировать подробности RFC-977. Пакет nntpd состоит из сервера и двух клиентов для перемещения и выталкивания новостей, соответственно, и свою версию программы inews. Они живут в среде B-news, но с небольшими дополнениями, они будут работать с C-news. Однако, если планируется использовать NNTP больше, чем для доступа newsreaders к серверу новостей, эта реализация недостаточна