Платные хостинги     Раскрутка сайта     Книги по программированию

Проблема при парсинге сайта?

- Ребята появилась такая проблемма.Несколько минут назад я парсил один сайт и было всё велеколепно, но сейчас у меня программа пробегает несколько строк и остонавливается.У меня возникло подозрения что на сайт могли поставить какую-то защиту, тобы его не парсили. Типо там кукисы какие-нибудь.Код программы я не менял. на эту страницу с не включёными кукисами не пускают. У кого каие сооброжения????Ребята я тут ещё подума и если это кукисы то где они сохранются?Зарания благодарен. Это сообщение отредактировал unkis - 21.3.2005, 20:50

- Пользуй Commons HTTP clienthttp://jakarta.apache.org/commons/httpclient/tutorial.html

- А чем он мне поможет я не селён в английском?И что у него с лицензией?

- Это опенсорс.Цитата (unkis @ 21.3.2005, 15:15)А чем он мне поможет я не селён в английском?В частности, с куками.

- так проблема в том что я сам не могу понять что мне с куками делать надо.Вы меня извените ведь учусь только, не могли бы по подробнее обяснить.

- Ребята я что-то не могу разабраться я щас пользуюсь вот так Код   URL hp = new URL(Url);    System.out.println("Url= "+Url);    URLConnection hpCon = hp.openConnection();    int len = hpCon.getContentLength();    //System.out.println("len=" + len);    if (len > 0) {      //int i = len;      InputStream input = hpCon.getInputStream();      while (((c = input.read()) != -1) && (--len > 0)) {        s2.append((char)c);      }      input.close();    }    else {      System.out.println("Net sodergimogo ili no connection");    }highlightSyntax('javazYmIwZ','java');а как же мне использовать HttpClient и при этом ещё что-то с кукисами делать.Пожалйста помогите.

- Можо и без HttpClient, но работы большehttp://forum.java.sun.com/thread.jspa?thre...95021&tstart=15

- Domestic CatОбяси пожалуйста как включит/выключить кукисы и скачать страницу.Зарания благодарен

- Ты уж извини, но я нa работе, да и каk-то особо инетерса нет книжку сюда переписывать.На конкретные вопросы - пожлуйста, но общие легкo находяся в любой книге.Например тут:http://java.sun.com/docs/books/tutorial/ne...urls/index.html

- Ты меня извени ведь учусь я.тут проблема вот в чем что когда я конектюсь вот таким образомКод  URL hp = new URL(Url);    System.out.println("Url= "+Url);    URLConnection hpCon = hp.openConnection();    int len = hpCon.getContentLength();    //System.out.println("len=" + len);    if (len > 0) {      //int i = len;      InputStream input = hpCon.getInputStream();      while (((c = input.read()) != -1) && (--len > 0)) {        s2.append((char)c);      }      input.close();    }    else {      System.out.println("Net sodergimogo ili no connection");    }highlightSyntax('javaQxODZl','java');и сохраняю файл в виде index.htmпотом я его открываю и вижу страницу на которой написаночто у вас не включены кукисы.на это сайте они делают проверку включены ли кукисы или нет, если включены(разрешены), то открывается правельная страница, если нет то открывается информационная страница.И по этому когда я конекчусь, про кукисы я ничего не гаворил, то наверное они по умольчанию выключины и поэтому я качаю не правельную страницу.так вот и вопрос как мне включить кукисы чтобы скачать правильную страницу?

- Я ж ссылку давал -http://forum.java.sun.com/thread.jspa?thre...95021&tstart=15

- яа тут нашёл одну ссылку http://martin.nobilitas.com/java/cookies.htmlя немогу понять что имеется ввиду под String cookie = localConnection.getHeaderField("Set-Cookie");может кто-нибудь знает?! А?

- Пробывал просто запустить этот пример которы дали мне по этой ссылке тоже не работаетвыдаёт такой вот ексепшонException in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory at org.apache.commons.httpclient.HttpClient.<clinit>(HttpClient.java:65) at httpclienttutorial.HttpClientTutorial.main(HttpClientTutorial.java:13)Код import org.apache.commons.httpclient.*;import org.apache.commons.httpclient.methods.*;import java.io.*;public class HttpClientTutorial {    private static String url = "http://www.apache.org/";  public static void main(String[] args) {    // Create an instance of HttpClient.    HttpClient client = new HttpClient();    // Create a method instance.    GetMethod method = new GetMethod(url);        // Provide custom retry handler is necessary    DefaultMethodRetryHandler retryhandler = new DefaultMethodRetryHandler();    retryhandler.setRequestSentRetryEnabled(false);    retryhandler.setRetryCount(3);    method.setMethodRetryHandler(retryhandler);    try {      // Execute the method.      int statusCode = client.executeMethod(method);      if (statusCode != HttpStatus.SC_OK) {        System.err.println("Method failed: " + method.getStatusLine());      }      // Read the response body.      byte[] responseBody = method.getResponseBody();      // Deal with the response.      // Use caution: ensure correct character encoding and is not binary data      System.out.println(new String(responseBody));    } catch (IOException e) {      System.err.println("Failed to download file.");      e.printStackTrace();    } finally {      // Release the connection.      method.releaseConnection();    }  }}highlightSyntax('javahMjU2O','java');

Интернет казино     Онлайн игры     Увеличение члена     Купить DVD