das datenbank-problem

[Archiv]

Ursprünglich gepostet in: scripting
Ursprünglich gepostet von: Andre
Importiert aus MyLittleForum-Archiv (Servo-Forum 2004-2013)
wie du weisst, ist hier inzwischen ein echtes problem: lokal kann ich mehr als 5000 datensätze absuchen und auch anzeigen lassen. online nicht

posten ist nicht betroffen.

aber die search.php baut wohl einen suchstring-array auf, der zu groß wird, wenn es server-seitig vorgaben gibt.

meine vermutung:
1&1 hat definiv keinen vollwertigen apache-server, sondern "nur" ein apache-perl-modul (server-plugin). PERL ist bekanntlich sehr langsam und stark leistungsfressend, wenn es überfordert wird. PERL-prozesse können schnell mal einen ganzen rechner lahmlegen. daher haben die betreiber wohl präventive maßnahmen ergriffen, um einem solchen fall vorzubeugen.

fazit: ein gespräch mit dem support erscheint mir unausweichlich, da ich hier nicht weiter komme ...

ich habe es immer geahnt, aber 1&1 ist keine gute provider-lösung. PERL-cgis sind längst überholt.

egal. lass uns das beste draus machen. sollte 1&1 nicht mitspielen, bekommen wir ein volumen-problem.

[Martin]

Bezieht sich auf Post : 5130
Ursprünglich gepostet in: scripting
Importiert aus MyLittleForum-Archiv (Servo-Forum 2004-2013)
anderer Vorgehensvorschlag ...
bei 1&1 sehe ich ehrlich gesagt Probleme dort irgendwas zu erreichen., könnte es mal versuchen,aber,wie gesagt,halte ich eher für chancenlos ... (müsstendie doch,wenn ichdich richtig verstehedieses echte serverdingens ohne das perl-dingens für uns installieren...)

ich habe die gesamte servo-forum-domain incl.der parsiforen in einer externen Suche, bekomme dort auch immer die logs, wer nach was gesucht hat und ... es ist zum einen nicht allzuviel und häufig das Gleiche ...

wir könntendie interne Suche komplett rausschmeissen und vollauf die externe Suche setzen, oder, wie ich es bisher mit der Suche auf servo160.de gemacht habe, in denalten Forenhalt extrasuchen lassen ...

das würde das eigentliche Problem mit der posting-grenze deutlichweiter hinausschieben, den irgendwann werden wir ja wohl auch hier diese überschreiten,

also, mein Vorschlag, wenn es geht: parsi-archiv-thread rauslöschen und hier ohne diesen Koloss von "altlasten" an

Martin

[Archiv]

Bezieht sich auf Post : 5131
Ursprünglich gepostet in: scripting
Ursprünglich gepostet von: Andre
Importiert aus MyLittleForum-Archiv (Servo-Forum 2004-2013)
» anderer Vorgehensvorschlag ...
» bei 1&1 sehe ich ehrlich gesagt Probleme dort irgendwas zu erreichen.,
» könnte es mal versuchen,aber,wie gesagt,halte ich eher für chancenlos ...
» (müsstendie doch,wenn ichdich richtig verstehedieses echte serverdingens
» ohne das perl-dingens für uns installieren...)
»
» ich habe die gesamte servo-forum-domain incl.der parsiforen in einer
» externen Suche, bekomme dort auch immer die logs, wer nach was gesucht hat
» und ... es ist zum einen nicht allzuviel und häufig das Gleiche ...
»
» wir könntendie interne Suche komplett rausschmeissen und vollauf die
» externe Suche setzen, oder, wie ich es bisher mit der Suche auf
» servo160.de gemacht habe, in denalten Forenhalt extrasuchen lassen ...
»
» das würde das eigentliche Problem mit der posting-grenze deutlichweiter
» hinausschieben, den irgendwann werden wir ja wohl auch hier diese
» überschreiten,
»
» also, mein Vorschlag, wenn es geht: parsi-archiv-thread rauslöschen und
» hier ohne diesen Koloss von "altlasten" an
»
» Martin

hi martin,

das können wir gerne so machen, aber noch gebe ich mich nicht geschlagen. ich habe noch etwas entdeckt, was den unterschied zu meiner lokalen installation ausmacht und möchte das erst noch austesten. es scheint einen zusammenhang zwischen der laufenden id-nummer eines datensatzes und den neuen einträgen durch die user zu geben. ich habe mir alle 6000 datensätze anzeigen lassen und stelle unterbrechungen der id-nummern fest. die 140er datensätze wurden am stück eingelesen. bis dahin gibts keine probleme. dann wurden neue beiträge von beta-testern geschrieben und dann kamen die 160er-importdaten mit niedrigeren id-nummern, bedingt durch den import. leider kann ich die id-nummern-spalte nicht mal eben einfach so gegen neue aufsteigende nummern ersetzen, da sie im zusammenhang mit dem threading-system stehen. daher möchte ich die daten jetzt exportieren, sortieren und wieder importieren, anschließend den id-pointer der datenbank anpassen und noch einmal ein paar testeinträge machen. das ist das programm für heute abend .. und dann wollen wir mal sehen, ob das geklappt hat...

gruß

andre

[Martin]

Bezieht sich auf Post : 5132
Ursprünglich gepostet in: scripting
Importiert aus MyLittleForum-Archiv (Servo-Forum 2004-2013)
» » anderer Vorgehensvorschlag ...
» » bei 1&1 sehe ich ehrlich gesagt Probleme dort irgendwas zu erreichen.,
» » könnte es mal versuchen,aber,wie gesagt,halte ich eher für chancenlos
» ...
» » (müsstendie doch,wenn ichdich richtig verstehedieses echte
» serverdingens
» » ohne das perl-dingens für uns installieren...)
» »
» » ich habe die gesamte servo-forum-domain incl.der parsiforen in einer
» » externen Suche, bekomme dort auch immer die logs, wer nach was gesucht
» hat
» » und ... es ist zum einen nicht allzuviel und häufig das Gleiche ...
» »
» » wir könntendie interne Suche komplett rausschmeissen und vollauf die
» » externe Suche setzen, oder, wie ich es bisher mit der Suche auf
» » servo160.de gemacht habe, in denalten Forenhalt extrasuchen lassen ...
» »
» » das würde das eigentliche Problem mit der posting-grenze deutlichweiter
» » hinausschieben, den irgendwann werden wir ja wohl auch hier diese
» » überschreiten,
» »
» » also, mein Vorschlag, wenn es geht: parsi-archiv-thread rauslöschen und
» » hier ohne diesen Koloss von "altlasten" an
» »
» » Martin
»
» hi martin,
»
» das können wir gerne so machen, aber noch gebe ich mich nicht geschlagen.
» ich habe noch etwas entdeckt, was den unterschied zu meiner lokalen
» installation ausmacht und möchte das erst noch austesten. es scheint einen
» zusammenhang zwischen der laufenden id-nummer eines datensatzes und den
» neuen einträgen durch die user zu geben. ich habe mir alle 6000 datensätze
» anzeigen lassen und stelle unterbrechungen der id-nummern fest. die 140er
» datensätze wurden am stück eingelesen. bis dahin gibts keine probleme.
» dann wurden neue beiträge von beta-testern geschrieben und dann kamen die
» 160er-importdaten mit niedrigeren id-nummern, bedingt durch den import.
» leider kann ich die id-nummern-spalte nicht mal eben einfach so gegen neue
» aufsteigende nummern ersetzen, da sie im zusammenhang mit dem
» threading-system stehen. daher möchte ich die daten jetzt exportieren,
» sortieren und wieder importieren, anschließend den id-pointer der
» datenbank anpassen und noch einmal ein paar testeinträge machen. das ist
» das programm für heute abend .. und dann wollen wir mal sehen, ob das
» geklappt hat...
»
» gruß
»
» andre

klingt gut,
klar teste das ruhig nochmal an ...
wobei natürlich berücksichtigt werden muß, das die Aktion, die du dann machst reproduzierbar sein muß, denn, wenn wir drüben dicht machen, dann müssen ja auch die letzten Datensätze nochmal rübergeholt werden ...

wobei bei denn dann aktuell laufenden Diskusiionen ja sogar zu überlegen wäre, ob die nicht ins Archiv abgelegt werden, sondern als "normale" postings importiert werden, sodaß laufende Diskussionen von drüben hier quasi nahtlos weitergeführt werden können ...

ich werde vermutlich auch heute abend on sein, wenn es klappt auchschon früher als sonst, bin mir aber nich sicher, ob es auch wirklich klappt ...

Martin

[Archiv]

Bezieht sich auf Post : 5133
Ursprünglich gepostet in: scripting
Ursprünglich gepostet von: Andre
Importiert aus MyLittleForum-Archiv (Servo-Forum 2004-2013)
»
» klingt gut,
» klar teste das ruhig nochmal an ...
» wobei natürlich berücksichtigt werden muß, das die Aktion, die du dann
» machst reproduzierbar sein muß, denn, wenn wir drüben dicht machen, dann
» müssen ja auch die letzten Datensätze nochmal rübergeholt werden ...
»
» wobei bei denn dann aktuell laufenden Diskusiionen ja sogar zu überlegen
» wäre, ob die nicht ins Archiv abgelegt werden, sondern als "normale"
» postings importiert werden, sodaß laufende Diskussionen von drüben hier
» quasi nahtlos weitergeführt werden können ...
»
» ich werde vermutlich auch heute abend on sein, wenn es klappt auchschon
» früher als sonst, bin mir aber nich sicher, ob es auch wirklich klappt
» ...
»
» Martin

ich hatte bereits bis einschließlich freitag alle beiträge rübergeholt. es fehlen nur die letzten 1-5 threads aus dem servo140er-forum

ob man allerdings die letzten datein rüberbekommt weiss ich nicht. aber man kann sie als thread anlegen und ein bis 2 postings per copy & paste nachfügen und in der datenbank den verfasser und die farbe und das icon ändern

bis später mal

Andre