Framebrecher Spider

[Worka]

Danke für die Blumen!
Ich dachte mir, wenn ich schon keine Serverscripte coden kann und auch sonst nix Serverseitiges für das VMS, dann Versuche ich mal meine VB Kentnisse sinnvoll einzubringen.

Der Dank gebührt aber auch Gremlin, ohne Ihn wäre der Spider nur eine Idee.

Das mit dem von Anfang anfangen, könnte man vielleicht im Server regeln, so dass man z.B. immer nur 200 Kampangen ausgeben lässt.
Der Spider prüft die Kampangen und wenn er fertig ist, so fordert er eine neue Liste an.
Der Server könnte nun die nächsten 200 Kampangen ausgeben usw.

Aber da ich den Spider noch um ein paar Sinnvolle Optionen erweitern will, kann ich ja mal versuchen eine Option einzubauen, die es erlaubt, dem Spider eine Startposition in der Liste vorzugeben, oder die letzte position zu speichern und später dort weiterzuspidern.

Das erste was ich in Angriff nehmen möchte ist aber ein Zeitplaner, der den Spider dann zu vorgegebenen Zeiten startet und stoppt.

*Edit*
Ich werde die Tage eine neue Version an Gremlin schicken, die aber noch keine neuen Funktionen beinhaltet (nun doch ein paar), sondern erst mal kleinere Bugs behebt (z.B. Anzeige eines Unbekannten Fehlers, obwohl die Fehlerursache bekannt ist), sowie eine verbesserung des Ladezeit Tests.
Der Test sollte dann deutlich weniger abhängig von der eigenen Seitenperformance sein, was ihn zuverlässiger macht.

Hier mal eine Liste der Änderungen. Alle Änderungen werden gearde noch getestet und es ist möglich, dass ich einige Änderungen rückgängig mache, wenn Sie nicht richtig funktionieren.

-Bug fixed:
Javatestscript Offline wird nun erkannt
und als "Java Testscript: 404" angezeigt.

-Bug Fixed
Möglicher Absturz bei Verwendung der Option
"Bei Virenscan Fehler: Retry" behoben.

-Bug Fixed
Fehler behoben, der das Automatische beenden der
Meldungen der Internen Browser verhindert hat.

-Bug Fixed
Probleme beim VScan behoben

-Neu
Fehler 403 wird nun Erkannt und als
"Java Testscript: 403" angezeigt.

-Neu
Erkennung von Langsamladern ist nun weniger
von der eigenen Seitengeschwindigkeit abhängig.
Das bedeutet weniger Fehlmeldungen von
Countdownstoppern.

-Neu
Geschwindigkeit minimal verbessert.

-Neu
Option: "Spider beschleunigen"
Setzt bei allen eingelesenen Kampangen, deren
Aufenthaltszeit länger als 10 Sekunden ist,
die Aufenthaltszeit auf 10 Sekunden.

-Neu
Auswertung eines Weiteren Parameters
nach Viren Scan.

-Neu
Option: Pause/Resume
Stopt den Spider und Speichert die Liste in
eine Datei. Der Spider kann beendet werden und später
an der ursprünglichen Position der Liste weiterabarbeiten.

@carlos99
Das hier könnte für Dich interessant werden, leider ist die Option noch nicht getestet.
-Neu
Erstellung eines Bug Reports bei Absturz
(ich sehe schon klappt nicht so gut, aber ich lasse es mal drin)

...
kann man dies erweitern auf seamonkey da ich eher überwiegend mit seamonkey klicke...

Sorry dass die Antwort so lange auf sich warten liess.
Leider habe ich kein Control gefunden dass man einbauen könnte, so wie ich es gesehen habe, scheint das bei der Entwickelung auch nicht geplant.

Man könnte möglicherweise durch Header Manipulation den IE oder Mozilla als Seamonkey tarnen aber das würde dem Spider ja nichts nützen.

[Xenon]

Ich habe mal nachgeforscht und habe entdeckt das man vill doch den spider für seamonkey nutzen kann indem man in bei ff einschaltet also da einen hacken rein machen da seeamonkey zur der gleichen firma gehörtt

[Hardy]

Ich erhalte öffters folgende meldung:

The information you have entered is to be send over an enencrypted connection and could easily be read by a third party.
Are you sure you want to continue sending information?

Was kann ich dagegen machen?

[Worka]

Ich erhalte öffters folgende meldung:


Was kann ich dagegen machen?

Kannst Du davon mal einen Screen machen?
Eigentlich sollte der Spider alle Meldungen schliessen, die aus seinen Internen Browsern kommen.

[Hardy]

Jo

[Worka]

Was passiert denn wenn Du die Checkbox "Alter me whenever I submit information that is not encrypted" wegklickst.

Aber ich wundere mich, das die Meldung überhaupt kommt, weil es ja bedeuten würde, dass da Informationen zu einer Webseite geschickt werden oder sehe ich das falsch?

Das kommt nicht zufälligerweise vor, sobald der Client eine neue Liste von Server anfordert?

Ich habe in der neuen Version mal eine Kleinigkeit verändert, vielleicht schafft das schon Abhilfe.

Übrigens:
Die neue Version enthält auch eine Option den Spider zu stoppen, wobei die Liste in eine Datei gespeichert wird.
Später kann man dann einfach Resumen und die Liste weiterabarbeiten.

[Gremlin]

@Worka
Ich gehe davon aus das dort irgendeine Firewall alarm schlägt weil der client Informationen zu den PHP Dateien vom Spider egal ob notify.php oder so schickt^^

Gruß
Gremlin

[Hardy]

Wenn ich den hacken weg mache dann kommt die meldung bis zum neustart des spiders nicht mehr.
Allerdings kann ich dir nicht sagen warum die meldung kommt und ob ereine liste anfordert.kommt halt immer so mittendrin beim spidern in unregelmäßigen abständen

[Worka]

Möglich das die Meldung tatsächlich von den internen Browsern verursacht wurde. Ich habe dort gerade noch einen kleinen Bug entdeckt, der verhindert dass Meldungen automatisch geschlossen werden.

Bin im Moment dabei das zu ändern (bzw. teste gerade ob meine Änderung funktioniert).

*Edit*
Soweit scheint alles zu funktionieren und der Spider lief bisher noch nie so zuverlässig wie im aktuellen Testlauf.

Die Option "Pause/Resume", teste ich noch ein bisschen (Prinzipiell funktioniert sie gut, muss nur mal ein paar "Sonderfälle" testen, dann bin ich fertig mit Version 1.0.0.1

*edit2*
Neue Version ist an Gremlin raus.

[Worka]

Mal eine Info zu der Änderung:

-Bug Fixed
Probleme beim VScan behoben

Der Spider hat einen Fehlgeschlagenen Virenscan sowohl als Virus interpretiert als auch als Fehler.
Schlug ein Virenscan fehl, so wurde die Kampange also als Virus gemeldet und zusätzlich die Fehlerbehandelung durchgeführt. (Ignore/Retry/Disable).

Der Fehler ist nun in Version 1.0.0.1 behoben.