🚀 go-pugleaf

On Mon, 11 Sep 2023 10:37:59 Marco Moock wrote:
> TOR könnte die Ursache sein, weil einige Seiten TOR blockieren wollen.
> Die IPs der Exit-Nodes sind mehr oder weniger öffentlich.

Auch IPv6?

V4 ist durch DNS-Lookup unterhalb von ip-port.exitlist.torproject.org
sehr einfach unterscheidbar; für v6 hatte ich vor Jahren, als ich
das einmal benötigt hätte, kein Mittel zur Unterscheidung gefunden.

Servus,
   Stefan

--
http://kontaktinser.at/ - die kostenlose Kontaktboerse fuer Oesterreich
Offizieller Erstbesucher(TM) von mmeike

Stefan, mit dem sanften Formblatt der Verruchtheit.
(Sloganizer)

Am 11.09.2023 um 10:23:00 Uhr schrieb Christian @Soemtron:

> Das Problem: ein Server liefert anderen Inhalt aus, wenn eine Seite
> per curl oder Firefox, genauer gesagt Torbrowser, abgerufen wird,
> obwohl m.E. sämtliche Header der Anfrage übereinstimmen.

Betrifft das nur TOR oder gibt es zwischen curl und FF Unterschiede?
FF kann JS, ob curl das auch macht, weiß ich nicht, KÖNNTE eine Ursache
sein.

TOR könnte die Ursache sein, weil einige Seiten TOR blockieren wollen.
Die IPs der Exit-Nodes sind mehr oder weniger öffentlich.

Christian @Soemtron schrieb am 11.09.2023 um 10:23:

> Das Problem: ein Server liefert anderen Inhalt aus, wenn eine Seite per
> curl oder Firefox, genauer gesagt Torbrowser, abgerufen wird, obwohl m.E.
> sämtliche Header der Anfrage übereinstimmen.

Sicher, dass die komplett übereinstimmen? Manche Webseiten nutzen auch
heute noch vollkommen überflüssige Browserweichen, die gerne solche und
andere Probleme hervorrufen. Meist sind das Altlasten aus dem letzten
Jahrtausend, manchmal liegt es aber auch an unfähigen Webseitenentwicklern.

Du solltest das Problem an den/die Betreiber der betroffenen Webseiten
schildern. Ob das etwas nützt, ist allerdings fraglich.

Gruß
Claus

Am 11.09.2023 um 11:48:42 Uhr schrieb Claus Reibenstein:

> Sicher, dass die komplett übereinstimmen? Manche Webseiten nutzen auch
> heute noch vollkommen überflüssige Browserweichen, die gerne solche
> und andere Probleme hervorrufen. Meist sind das Altlasten aus dem
> letzten Jahrtausend, manchmal liegt es aber auch an unfähigen
> Webseitenentwicklern

Das machen viele, gerade, wenn nur auf Chrome alles funktioniert und
man den User mit anderem Browser gleich auf eine Infoseite lotsen will,
die einem sagt, dass er bitte Chrome nimmt. 

Christian @Soemtron, 2023-09-11 10:23:

> Hallo,
>
> ist ja wenig los hier... hat hier jemand eine hilfreiche Antwort oder wo
> ist man diesbezüglich z.Z. besser aufgehoben?
>
> Das Problem: ein Server liefert anderen Inhalt aus, wenn eine Seite per
> curl oder Firefox, genauer gesagt Torbrowser, abgerufen wird, obwohl m.E.
> sämtliche Header der Anfrage übereinstimmen. Gespeicherte Cookies o.ä.
> gibt es nicht. Was machen die da bzw. wo ist der Fehler im Config-File
> und wie bekommt man mit curl das gleiche Ergebnis wie in Firefox/
> Torbrowser?

Benutzt Du über curl auch Tor? Denn sonst kommt deine Anfrage ja nicht
aus dem Tor-Netzwerk und das wäre unterscheidbar.

> Wenn es mal jemand probieren mag:
>
> curl.exe -K curlrc.txt -o ausgabe.htm https://www.rewe.de/angebote/ginsheim-gustavsburg/1463902/rewe-markt-darmstaedter-landstrasse-66-70/

Und was soll da kommen mit oder ohne Torbrowser?


--
Arno Welzel
https://arnowelzel.de

Am 11.09.2023 um 10:30:52 Uhr schrieb Stefan Froehlich:

> On Mon, 11 Sep 2023 10:37:59 Marco Moock wrote:
> > TOR könnte die Ursache sein, weil einige Seiten TOR blockieren
> > wollen. Die IPs der Exit-Nodes sind mehr oder weniger öffentlich.  
> 
> Auch IPv6?

Ja.

https://metrics.torproject.org/rs.html#search/flag:exit

Da bekommt man das direkt serviert und kann zudem noch filtern und
suchen.

On Mon, 11 Sep 2023 12:37:07 Marco Moock wrote:
> Am 11.09.2023 um 10:30:52 Uhr schrieb Stefan Froehlich:
>> On Mon, 11 Sep 2023 10:37:59 Marco Moock wrote:
>> > TOR könnte die Ursache sein, weil einige Seiten TOR blockieren
>> > wollen. Die IPs der Exit-Nodes sind mehr oder weniger öffentlich.

>> Auch IPv6?

> Ja.

> https://metrics.torproject.org/rs.html#search/flag:exit
> Da bekommt man das direkt serviert und kann zudem noch filtern und
> suchen.

Ah, danke, das hatte ich damals offenbar nicht gefunden. Als
API-Aufruf dafür funktioniert
<https://onionoo.torproject.org/summary?search=flag:exit%20$ipaddress>

Servus,
   Stefan

--
http://kontaktinser.at/ - die kostenlose Kontaktboerse fuer Oesterreich
Offizieller Erstbesucher(TM) von mmeike

Das Lachen der Kinder, oder warum Stefan so zäh brodelt!
(Sloganizer)

Marco Moock schrieb am 11.09.2023 um 11:57:

> Am 11.09.2023 um 11:48:42 Uhr schrieb Claus Reibenstein:
>
>> [Browserweichen]
>
> Das machen viele, gerade, wenn nur auf Chrome alles funktioniert und
> man den User mit anderem Browser gleich auf eine Infoseite lotsen will,
> die einem sagt, dass er bitte Chrome nimmt.

Solche Seiten besuche ich in der Regel genau ein Mal.

Entweder man will gelesen werden, oder man will seine Benutzer gängeln.
Beides gleichzeitig funktioniert nicht. Jedenfalls nicht lange.

Gruß
Claus

On Tue, 12 Sep 2023 09:51:00 Christian @Soemtron wrote:
>> hat hier jemand eine hilfreiche Antwort
>
> Damit war es ja leider nicht weit her, also nochmal langsam:
>
> Als Torbrowser verpackt, benutzt Firefox Tor; curl benutzt Tor (siehe
> config-file). Tor ist ein SOCKS5-Proxy, übernimmt auch die DNS-Anfragen,
> also sollte die Ausgangslage sogar "gleicher" sein als ohne Proxy.
>
> Curl sendet die gleichen Header wie FF. Oder habe ich etwas übersehen??
> Wäre schön, wenn es mal jemand probieren würde.

Tor habe ich nicht installiert, daher kann ich nur direkte Aufrufe
versuchen. Die funktionieren mit curl ebenso gut wie mit dem
Browser.

> Wie kann der Server entscheiden, welcher Client die Anfrage
> abgesetzt  hat?

Wenn Du das, was der Client absetzt, ident gestaltest: Gar nicht.

Servus,
   Stefan

--
http://kontaktinser.at/ - die kostenlose Kontaktboerse fuer Oesterreich
Offizieller Erstbesucher(TM) von mmeike

Geht nicht!? Geht doch: Stefan.
(Sloganizer)

On Tue, 12 Sep 2023 11:26:31 Claus Reibenstein wrote:
> Christian @Soemtron schrieb am 12.09.2023 um 09:51:
>> JS ist deaktiviert, vergaß ich zu erwähnen, da ich das für
>> selbstverständlich halte.

> Das ist alles andere als selbstverständlich und hätte deshalb auf
> jeden Fall erwähnt werden sollen. Ich z.B. habe JavaScript
> selbstverständlich aktiviert.

Selbstverständlich ist das in der Tat nicht, für die Antwort auf den
initialen Request aber vollkommen belanglos - bis zu diesem
Zeitpunkt ist JavaScript ja noch nicht beteiligt.

>> Wie kann der Server entscheiden, welcher Client die Anfrage
>> abgesetzt  hat?

> Dazu hat er sicher einige Möglichkeiten.

Welche?

> Fakt ist wohl, wie bereits erwähnt, dass hier eine der unsäglichen
> Browserweichen ihr Unwesen treibt.

Mit Sicherheit. Und irgendetwas macht Christian offenbar beim Aufruf
mit curl anders, ansonsten würde die Browserweiche ihren Job nicht
so erledigen, wie es gedacht ist.

Servus,
   Stefan

--
http://kontaktinser.at/ - die kostenlose Kontaktboerse fuer Oesterreich
Offizieller Erstbesucher(TM) von mmeike

Einsame Klasse für zweisame Tage - Stefan: beschallen, welch gieraffiges Verzehren!
(Sloganizer)

> hat hier jemand eine hilfreiche Antwort

Damit war es ja leider nicht weit her, also nochmal langsam:

Als Torbrowser verpackt, benutzt Firefox Tor; curl benutzt Tor (siehe
config-file). Tor ist ein SOCKS5-Proxy, übernimmt auch die DNS-Anfragen,
also sollte die Ausgangslage sogar "gleicher" sein als ohne Proxy.

Curl sendet die gleichen Header wie FF. Oder habe ich etwas übersehen??
Wäre schön, wenn es mal jemand probieren würde.

FF bekommt die gewünschte Seite (siehe URL), curl: "Zeig uns, dass du ein
Mensch bist... Javascript...".

JS ist deaktiviert, vergaß ich zu erwähnen, da ich das für
selbstverständlich halte. Das Ergebnis ist konstant, also kein Zufall.

Wie kann der Server entscheiden, welcher Client die Anfrage abgesetzt
hat?

cu,
Christian

PGP Key available.

Christian @Soemtron schrieb am 12.09.2023 um 09:51:

>> hat hier jemand eine hilfreiche Antwort
>
> Damit war es ja leider nicht weit her, also nochmal langsam:

Was hat Dir denn an den bisherigen Antworten nicht gefallen?

> Als Torbrowser verpackt, benutzt Firefox Tor;

Wo hast Du denn diese abenteuerliche Information her? Meines Wissens hat
Firefox nichts, aber auch rein gar nichts mit Tor zu tun.

> JS ist deaktiviert, vergaß ich zu erwähnen, da ich das für
> selbstverständlich halte.

Das ist alles andere als selbstverständlich und hätte deshalb auf jeden
Fall erwähnt werden sollen. Ich z.B. habe JavaScript selbstverständlich
aktiviert.

> Wie kann der Server entscheiden, welcher Client die Anfrage abgesetzt
> hat?

Dazu hat er sicher einige Möglichkeiten.

Fakt ist wohl, wie bereits erwähnt, dass hier eine der unsäglichen
Browserweichen ihr Unwesen treibt.

Gruß
Claus

On Tue, 12 Sep 2023 20:05:43 Arno Welzel wrote:
> Stefan Froehlich, 2023-09-12 11:29:
>> On Tue, 12 Sep 2023 11:26:31 Claus Reibenstein wrote:
>>> Christian @Soemtron schrieb am 12.09.2023 um 09:51:
>>>> JS ist deaktiviert, vergaß ich zu erwähnen, da ich das für
>>>> selbstverständlich halte.

>>> Das ist alles andere als selbstverständlich und hätte deshalb auf
>>> jeden Fall erwähnt werden sollen. Ich z.B. habe JavaScript
>>> selbstverständlich aktiviert.

>> Selbstverständlich ist das in der Tat nicht, für die Antwort auf den
>> initialen Request aber vollkommen belanglos - bis zu diesem
>> Zeitpunkt ist JavaScript ja noch nicht beteiligt.

> JavaScript ist bei Browsern Standard und muss das per manueller
> Konfiguration in about:config etc. oder AddOn abgewöhnen muss.
> Daher würde ich es schon als selbstverständlich ansehen, dass es
> aktiv ist, wenn es jemand nicht explizit anders sagt.

Ja, eh. "In der Tat nicht" hat Deine Aussage ja auch bestätigt, um
im weiteren noch zu ergänzen, dass das für das konkrete Problem aber
gar nicht relevant sein sollte.

Servus,
   Stefan

--
http://kontaktinser.at/ - die kostenlose Kontaktboerse fuer Oesterreich
Offizieller Erstbesucher(TM) von mmeike

Stefan, so leis wie die Dächer der Welt. Lieben ohne Gram.
(Sloganizer)

Stefan Froehlich, 2023-09-12 11:29:

> On Tue, 12 Sep 2023 11:26:31 Claus Reibenstein wrote:
>> Christian @Soemtron schrieb am 12.09.2023 um 09:51:
>>> JS ist deaktiviert, vergaß ich zu erwähnen, da ich das für
>>> selbstverständlich halte.
>
>> Das ist alles andere als selbstverständlich und hätte deshalb auf
>> jeden Fall erwähnt werden sollen. Ich z.B. habe JavaScript
>> selbstverständlich aktiviert.
>
> Selbstverständlich ist das in der Tat nicht, für die Antwort auf den
> initialen Request aber vollkommen belanglos - bis zu diesem
> Zeitpunkt ist JavaScript ja noch nicht beteiligt.

JavaScript ist bei Browsern Standard und muss das per manueller
Konfiguration in about:config etc. oder AddOn abgewöhnen muss. Daher
würde ich es schon als selbstverständlich ansehen, dass es aktiv ist,
wenn es jemand nicht explizit anders sagt.


--
Arno Welzel
https://arnowelzel.de

Stefan Froehlich <Stefan+Usenet@Froehlich.Priv.at> schrieb:

> Tor habe ich nicht installiert, daher kann ich nur direkte Aufrufe
> versuchen. Die funktionieren mit curl ebenso gut wie mit dem
> Browser.

Du erhältst mit beiden die Angebotsseite, mit der Konfiguration aus dem
OP (natürlich ohne Socks-Zeile)? Eigentlich ja erwartungsgemäß, für mich
trotzdem interessant, da es sich hier reproduzierbar immer so verhält wie
bereits geschrieben, mit oder ohne TOR.
Es bleibt mysteriös. Danke jedenfalls fürs Testen, schön daß wenigstens
einer beim Thema bleibt.

cu,
Christian

PGP Key available.