:: |
Автор |
Сообщение |
einstein Монстр форума

Зарегистрирован: 07.12.2006 Сообщения: 463
|
Добавлено: Сб Сен 08, 2010 10:28 pm Заголовок сообщения: создание сайта |
|
|
Нужна помощь опытных сайтописателей..
Есть хорошая идейка, попробую на словах объяснить ее, и в чем проблемы осуществить.
Некоторые поисковики выпустили свои локальные поисковики - устанавливается прога, она индексирует инфу.. при ее заруске появляется окно браузера в котором идет поиск, аналогично в поисковике, но локально.. далее выводит часть текста с найденным словом и ссылку на этот фаил..
Идея в том, что можно создать сайт на своем компе, и с внешки чтоб был доступен к этому индексатору. т.е. как обычным поисковиком..
проблемы.
1) как зделать чтоб страница которая создается на локальном компьютере перебрасывала на внешку.
2).. как чтоб локальные ссылки поиска стали внешним.. можно конечно мускуль поставить.. но база очень большая (только книг 3.2 млн файлов). и безопасней чтоб ссылка выдавалась через фтп доступ.
3) я никогда не создавал сайт. (
Буду рад любому предложению и критике.
|
_________________ Хочешь жить в согласии - соглашайся
|
|
|
|
 |
James_Boo Монстр форума

Зарегистрирован: 26.07.2005 Сообщения: 607
|
Добавлено: Сб Сен 08, 2010 10:59 pm Заголовок сообщения: |
|
|
Не совсем понятно что именно нужно. Вот что я понял (если что-то неправильно понял - исправляй). Создать сайт на внешке, и его полное зеркало на локальной машине. Организовать поиск по сайту с помощью поиска по файлам на локальной машине. То есть человек делает поисковый запрос на сайте на внешке, этот запрос направляется поисковику на локальной машине, поисковик просматривает файлы на локальной машине и выдает ссылку на точно такой же файл на внешке.
Если я правильно понял, то напиши что именно за сайт ты хочешь сделать. Я так понимаю, это обычный каталог книг. А поиск будет производится по тексту книг в этом каталоге.
|
_________________ Не можешь скачать, не мучай канал!
|
|
|
|
 |
einstein Монстр форума

Зарегистрирован: 07.12.2006 Сообщения: 463
|
Добавлено: Сб Сен 08, 2010 11:15 pm Заголовок сообщения: |
|
|
почти правильно, кроме одного.. все делается на одной машине.. т.е есть реальный ип, (если надо будет то доменное имя). и человек заходящий с внешки попадает на этот поиск.. можно назвать и зеркало, т.к. человек с внешки видит тоже самое, словно он сидит за этим компом.
Не только книг. например музыки тоже не мало.. но для нее такой сложной индексации по содержанию явно не надо.
|
_________________ Хочешь жить в согласии - соглашайся
|
|
|
|
 |
KypcaHT Монстр форума

Зарегистрирован: 02.12.2004 Сообщения: 481 Откуда: Система "Спиральная", планета Земля, Евразия, Украина, Одесса, Поскот.
|
Добавлено: Вс Сен 09, 2010 2:05 am Заголовок сообщения: |
|
|
Ну что-то подобное уже есть, правда там нет персональных сайтов. и имя "этому" - eMule
upd*
правда не сильно вчитывался и понял что поиск идет по строкам в файле. нее, так не пойдет - у тебя комп умрет если будет, к примеру, 1000 запросов на поиск слов в книжке
|
|
|
|
|
 |
James_Boo Монстр форума

Зарегистрирован: 26.07.2005 Сообщения: 607
|
Добавлено: Вс Сен 09, 2010 7:08 am Заголовок сообщения: |
|
|
В таком случае использовать поиск по тексту книг - чистое издевательство над компьютером, даже при учете того что сайт будет малоизвестным и 1000 запросов в секунду не будет.
Если бы я занимался подобным сайтом, я бы взял нормальный скрипт-каталогизатор с хорошей системой поиска, и оформил бы все книги с нормальным синопсисом (описание, краткое содержание). Тогда бы поиск проходил бы по названию и синопсису.
Еще как вариант, на сайте можно было бы установить панель поиска яндекса. Все очень просто, раз в некоторое время яндекс индексирует все файлы сайта в том числе файлы формата pdf и doc. При запросе поиск происходит по индексу который хранится на сервере яндекса, а не в режиме реального времени на твоей машине.
|
_________________ Не можешь скачать, не мучай канал!
|
|
|
|
 |
damp Участник

Зарегистрирован: 13.10.2003 Сообщения: 97 Откуда: Отдел механизации умственного труда
|
Добавлено: Вс Сен 09, 2010 7:45 am Заголовок сообщения: Re: создание сайта |
|
|
Без мускула даже и не думай, 2 млн. записей для него не страшно, в противном случае машина захлебнется обрабатывать запросы. Вообщем если еще нужно подробно отпиши в ПМ, что-нибуть намутим.
|
_________________ И да поможет нам F1, и да спасет нас F2
|
|
|
|
 |
einstein Монстр форума

Зарегистрирован: 07.12.2006 Сообщения: 463
|
Добавлено: Вс Сен 09, 2010 7:59 am Заголовок сообщения: |
|
|
не совсем поиск именно по строкам, это ест-но не реально.. Т.к. самое как поисковики, они же не весь сайт себе дублируют а некоторую часть. если верить их описанию, то анализируют фаил на наболее часто встречаюшие словосочетиния.. Яндекс дал мне около 15 гб своего хеша, гугл еще меньше..
как на 1000 запросов в секунду я и не расчитываю. а для тестового испытваю машина очень мошная. Если дело пойдет могу ее еще усоверщенствовать.
Можно подробнее о "скрипт-каталогизатор", он автоматом зделает синопс? тогда это тотже самый *десктоп получится )
|
_________________ Хочешь жить в согласии - соглашайся
|
|
|
|
 |
damp Участник

Зарегистрирован: 13.10.2003 Сообщения: 97 Откуда: Отдел механизации умственного труда
|
Добавлено: Вс Сен 09, 2010 9:19 am Заголовок сообщения: |
|
|
einstein писал(а): |
не совсем поиск именно по строкам, это ест-но не реально.. Т.к. самое как поисковики, они же не весь сайт себе дублируют а некоторую часть. если верить их описанию, то анализируют фаил на наболее часто встречаюшие словосочетиния.. Яндекс дал мне около 15 гб своего хеша, гугл еще меньше..
как на 1000 запросов в секунду я и не расчитываю. а для тестового испытваю машина очень мошная. Если дело пойдет могу ее еще усоверщенствовать.
Можно подробнее о "скрипт-каталогизатор", он автоматом зделает синопс? тогда это тотже самый *десктоп получится ) |
Скрипт-каталогизатор как я его вижу:
на сервере однообразно выкладывются файлы (если книги например - книга в архиве, рядом с ними соответствующие текстовые файлы с автором, названием и аннотацией). Скрипт (скорее на РНР, но это не обязательно) просматривает все каталоги, содержимое текстовых файлов разбирает и складывает в один массив (базу). После этого он строит из массива хтмл странцу (или страницы если нужно создать иерархический каталог). эта процедура может выполняться динамически (при приходе посетителя). Но при большом объеме, как в данном случае, лучше это делать периодически. тогда сформированные хтмл страницы просто сохраняются на диск. В этом случае скрипт запускается периодически, чтобы данные были актуальны.
Касательно поисковиков, они не индексируют онлайн, просто скачивают страницу без графики и т.п. Индексация проводится уже локально на серверах поисковика. Иначе тот же гугл не давал "Сохранено в кэше"
|
_________________ И да поможет нам F1, и да спасет нас F2
|
|
|
|
 |
Glass Монстр форума

Зарегистрирован: 14.04.2006 Сообщения: 621 Откуда: from the network...
|
Добавлено: Вс Сен 09, 2010 9:39 am Заголовок сообщения: |
|
|
Создавай базу хотябы в обычном MS Access из оффиса и не забуть в одном из полей прописать ссылку на файл в любом из интернет-форматов (http://, ftp://, но не file://). Это оптимальный вариант. А на сайте как всегда "SELECT * FROM table WHERE ....." Я на ASP.NET делал браузер файлов, но поиск всё равно осуществлялся с помощью базы на MS SQL.
|
_________________
|
|
|
|
 |
einstein Монстр форума

Зарегистрирован: 07.12.2006 Сообщения: 463
|
Добавлено: Вс Сен 09, 2010 10:32 am Заголовок сообщения: |
|
|
[quote="damp"]если книги например - книга в архиве, рядом с ними соответствующие текстовые файлы с автором, названием и аннотацией). quote]
так делать никто не будет. в ручную не реально название все подпавить, а о создании анотации каждому просто смешно..
2) насчет MS Access - он только даст имена но не будет понятия иметь о содержимом.. да и база будет громадной.
похоже придется делать многое экспериментально, какие есть практические предложения? нежели нет просто переброски страницы которая формируется локально на внешний просмотр.?
|
_________________ Хочешь жить в согласии - соглашайся
|
|
|
|
 |
Glass Монстр форума

Зарегистрирован: 14.04.2006 Сообщения: 621 Откуда: from the network...
|
Добавлено: Вс Сен 09, 2010 10:53 am Заголовок сообщения: |
|
|
MS Access - это грубый пример
Может я не так понимаю, но: ты хочешь реализовать поиск по содержимому документов на твоей машине, причём из сети и дать возможность скачать найденый документ. Так?
|
_________________
|
|
|
|
 |
einstein Монстр форума

Зарегистрирован: 07.12.2006 Сообщения: 463
|
Добавлено: Вс Сен 09, 2010 11:07 am Заголовок сообщения: |
|
|
абсолютно верно!
|
_________________ Хочешь жить в согласии - соглашайся
|
|
|
|
 |
Glass Монстр форума

Зарегистрирован: 14.04.2006 Сообщения: 621 Откуда: from the network...
|
Добавлено: Вс Сен 09, 2010 11:26 am Заголовок сообщения: |
|
|
я догадываюсь как это можно реализовать с помощью .NET, но не уверен на счёт .EXE или архивов...
Есть в фреймворке такой класс: StreamReader. Использовать можно примерно так:
Код: |
........
Dim some As StreamReader = File.OpenText ("путь к файлу из строки поиска")
Dim OutputString As String
OutputString = some.ReadLine()
........ |
Последнюю строку можно загнать в цикл For - Each - Next для поиска по всему документу. Для отображения результата используется переменная OutputString. Но всёже советую создать базу в MySQL или MS SQL.
Что касается даунлоада, тут реализовать не сложно.
|
_________________
|
|
|
|
 |
einstein Монстр форума

Зарегистрирован: 07.12.2006 Сообщения: 463
|
Добавлено: Пн Сен 10, 2010 3:43 pm Заголовок сообщения: |
|
|
а если не имел дело с фреймворком..?
|
_________________ Хочешь жить в согласии - соглашайся
|
|
|
|
 |
Glass Монстр форума

Зарегистрирован: 14.04.2006 Сообщения: 621 Откуда: from the network...
|
Добавлено: Пн Сен 10, 2010 5:40 pm Заголовок сообщения: |
|
|
Не знаю. Я РНР плохо знаю. Пиши базу в ручную, разрабатывай кейворды. Я больше ничего не смогу посоветовать.
|
_________________
|
|
|
|
 |
|
|
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы можете редактировать свои сообщения Вы можете удалять свои сообщения Вы не можете голосовать в опросах
|
|