Movie Guide und Sky

Tool zum Bereinigen des MovieGuides

Moderator: saggi

Nachricht
Autor
BjoernBorg
Site Sponsor
Site Sponsor
Beiträge: 67
Registriert: Do 02 Mär 2006, 12:31

Re: Movie Guide und Sky

#46 Beitrag von BjoernBorg » Mi 15 Jul 2009, 16:10

Pedant hat geschrieben:Allgemein
Die von Dir genannten Änderungen kann ich bestätigen.

Bei drei Sendungen (ingesamt 3 Regiseure an 20 Stellen), ist der Regiseur mit führendem Leerzeichen versehen.

Code: Alles auswählen

Produktionsland: CHINA/HK - Produktionsjahr: 2006 - Regie:  Zhang Yimou
Das ist aber auch schon in der tvdaten.mdb der Fall.
PMG2SQL interpretiert hier den Regiseur als " Zhang Yimou".
Könntest Du generell aus den Feldwerten der tvdaten.mdb führende, abschließende und doppelte Leerzeichen rausfiltern?
Vermutlich braucht die doch keiner.
Ja werde ich machen - also alle führenden und folgenden Leerzeichen aus den einzelnen Feldern der tvdaten.mdb entfernen.

Pedant hat geschrieben:In der PMG sind allerdings doppelte Leerzeichen an den richtigen Stellen ein Zeichen für leere Feldwerte und gehören damit dahin.
Hier ein Beispiel für Episode ohne Angabe.

Code: Alles auswählen

Episode:  - Genre: Krimiserie - Länge: 00:45 Stunden
Ein abschließendes Ausfiltern aller doppelten Leerzeichen aus der Exportdatei, wäre also der falsche Ansatz.
Richtig. Gerade bei den Episoden ist dies ständig der Fall, da der ClickFinder keine Angaben dazu macht.

Pedant hat geschrieben:Jtg
Das Einlesen in JtG funktioniert.
Ich habe allerdings ein anschließendes Problem:
Wenn ich die Senderauswahl auf die neuen Sender einstellen möchte
JtG -> Movie Guide -> [Senderauswahl begrenzen]
erhalte ich einen .Net-Error:
"Das Feld ist zu klein für die Datenmenge, die Sie hinzufügen wollen.
Versuchen Sie, weniger Daten einzufügen."

Hat das was mit der Länge der Inhaltsbeschreibungen zu tun, die Du ja schon gekürzt ausgibst?
Das muss ich mir noch mal genauer ansehen.
Das liegt an dem Sender "National Geographics Wild". Der Sendername scheint einfach viel zu lang zu sein - er ist auch der Längste von allen. Sobald der Fehler einmal gekommen ist, kommt der auch ständig wieder. Also JtG beenden, neu starten und dann bei der Senderauswahl diesen Sender auslassen. Dann klappt das mit dem Rest der Sender. Woran das genau liegt, weiß ich auch noch nicht. Ich habe den bereits einmal im JtG und Clickfinder manuell umbenannt aber der Fehler kommt trotzdem. An den zwei Leerzeichen kann es auch nicht liegen...
Pedant hat geschrieben:PMG2SQL
PMG2SQL liest die Datei problemlos ein, abgesehen vom Schönheitsfehler " Zhang Yimou".
Fehlende Angaben zum Produktionsjahr sind in der tvdaten.mdb leere Werte bei "Herstellungsjahr".
Du wandelst diese in "0000".
Ob das gut oder schlecht ist, ist in Grunde Geschmacksache.
Bisher waren es im PMG leere Werte, also "" und nicht "0000".
Den einlesenden Programmen scheint es egal zu sein, insofern könnte man sich jetzt streiten was schicker ist.
Ich bin mir da selbst nicht schlüssig, doch mein erster Gedanke dazu ist, dass keine Angabe keine Angabe ist und somit "" der richtige Wert ist.
Das Herstellungsjahr ist in der DB als String gespeichert, trotzdem habe ich da eine Formatierung drin. Wenn da nun ein Leerstring ist, wird automatisch 0000 draus - in dem Fall werde ich diese 0000 mal mit "" an der Stelle ersetzen :)
Pedant hat geschrieben:Sherlock
Datei -> Movie Guide einlesen -> Aus JtG
funtkioniert

Datei - Movie Guide einlesen -> Aus Datei...
liefert sofort einen Fehler:
'' is not a valid integer value.
Dieser Fehler kommt aber auch bei anderen Dateien, beispielweise einige original PMG und bereinigten PMG, aber nicht bei allen Dateien.
Der letzte original PMG den ich habe (12.07./07:00 - 21.07./03:30) wird anstandslos eingelesen.
Wieviele Dateien funktionieren und wieviele nicht, habe ich jetzt noch nicht ausprobiert.
Das sollte sich aber auch Gag nochmal ansehen, da es scheinbar nichts mit CF-Converter zu tun hat.
Mal schauen, was Sherlock macht, wenn ich die anderen Fehler hier bereinigt habe. Eventuell liegt es ja an den 0000 beim Jahr oder etwas ähnlichem. Mal schauen...
Pedant hat geschrieben:u-grabber
Der Download sagt es wäre Version 0.3.3.5, das Programm meldet aber Version 0.2.3.5.

Das Einlesen der Exportdatei funktioniert.

Das Einlesen der tvdaten.mdb funktioniert auch.
(Hier werden fehlende Jahresangaben als "" interpretiert.)
:)
Pedant hat geschrieben:XMG
XMG scheint die Export-Datei nicht zu mögen.
Da XMG aber andere bereinigte Dateien auch nicht mag, wäre es an z3r0 eine Anpassung vorzunehmen.
Schauen wir auch mal, wenn die obrigen Fehler weg sind. Ich schau mir dann auch nochmal alle Datensätze an, wo mindestens ein Feld nicht oder anders belegt ist, als gewöhnlich.



Denke mal dass ich morgen eine Version fertig bekomme, in der dann das Interface soweit funktioniert und die Senderauswahl genutzt werden kann. Die Einstellungen behält das Programm jetzt schon :)

Benutzeravatar
Pedant
admin-c
admin-c
Beiträge: 4285
Registriert: Mo 04 Aug 2003, 16:22
Wohnort: Bad Vilbel
Kontaktdaten:

Re: Movie Guide und Sky

#47 Beitrag von Pedant » Do 16 Jul 2009, 11:14

@Alle,
den Tipp von saggi und den von BjoernBorg umgesetzt und Jack fühlt sich wohl.
Also das Feld "moviekenner" der intern.mdb geleert und "National Geographics Wild" nicht bei "Senderauswahl begrenzen" angekreuzt.

@BjoenBorg,
am Jahre 0000 scheitert es bei Sherlock nicht, das ließt er als Jahr 0000 ein.
Gag schrieb aber schon, dass er sich den Import ansehen wird.

@Gag,
Ich weiß ja nicht, wie ihr das handhabt, aber ich schau bei meiner "Aufnahmemaschine" so einmal die Woche rein und "ernte", was er aufgenommen hat. Da sollte das dann eigentlich ausreichen.
Bisher habe ich, wenn ein neuer Guide zur Verfügung stand, den manuell runtergeladen, bereinigt, in JtG und in MySQL eingelesen, dann archiviert und Sherlock die Infos aus JtG übernehmen lassen.
Dann habe ich in Sherlock meine Auswahl getroffen, also die Aufnahmen für die kommenden vier Wochen geplant.

Da die Aufnahmen auf meinem Rechner landen und zu DVD-R werden, verarbeitet ich die Aufnahmen möglichst zeitnah, damit nicht die Platte vollläuft und sich die Arbeit stapelt.
Wenn es nur acht Tage sind, so wäre die Planung halt wöchentlich, statt monatlich fällig, was auch kein Problem wäre.
Ändern würde sich dann nur, dass der Download nicht manuell wäre, sondern von Sherlock übernommen werden würde und dass die Daten dann aus Sherlock den Weg in JtG und MySQL finden müssten.
Dazu wäre in Sherlock die Funktion "Export als PMG-Datei" nötig, was Du ja schon als Feature in Aussicht gestellt hast.
Nach eines am Rande:
Sherlock würde ein größeres oder scrollbares Fenster für den Bereich "Beschreibung" gut tun.
Platz auf dem Bildschirm gibt's ja eigentlich genug.

Gruß Frank
Sagem 1xi + HDD Kabel, JtG-Team Image v2.4.6 (19.12.2015), avia600vb028, ucode int., cam_01_02_105D
Coolstream Neo, FW 2.10 (leider kaputt)
Win 10 Pro x64, i7 920, 12 GB, SSD
u-Grabber 0.2.7.6-> TS -> PX 0.91.0.08 -> IfoEdit 0.971 -> ImgBurn 2.5.0.0 -> DVD-R

BjoernBorg
Site Sponsor
Site Sponsor
Beiträge: 67
Registriert: Do 02 Mär 2006, 12:31

Re: Movie Guide und Sky

#48 Beitrag von BjoernBorg » Do 16 Jul 2009, 11:41

Hier eine neue Version, in der die folgenden Punkte geändert wurden:

- Führende und folgende Weißraumzeichen bei den Importfeldern entfernt
- Herstellungsjahr angepasst: "" statt "0000"

Dann habe ich das Layout geändert und nicht verfügbare Funktionen deaktiviert:

- Einstellungen alle auf erster Registerkarte
- Senderauswahl und Konfigurationen (werden erst in einer späteren Version nutzbar sein) auf der zweiten Registerkarte
- Vorschau und Export auf der dritten Registerkarte

Auf der ersten Seite sind bis jetzt der Import aus der ClickFinder-DB und der Export in eine TXT Datei möglich. Nächster Punkt wäre dann der Export in die JtG Datenbank. Den PDF Import werde ich dann etwas später machen.

Der Funktionsablauf sollte soweit klar sein. Sollte es Fehler bei der Bedienung geben oder etwas unerwartetes passieren, bitte ich um einen Bugreport. Auch wenn etwas verbessert oder hinzugefügt werden sollte, bitte ich um kurze Rückmeldung.
Dateianhänge
CF-Converter_0.1.1.2.zip
(16.67 KiB) 205-mal heruntergeladen

Benutzeravatar
Pedant
admin-c
admin-c
Beiträge: 4285
Registriert: Mo 04 Aug 2003, 16:22
Wohnort: Bad Vilbel
Kontaktdaten:

Re: Movie Guide und Sky

#49 Beitrag von Pedant » Fr 17 Jul 2009, 11:48

Hallo BjoernBorg,

vom Programm hier ist mir nichts Fehlerhaftes aufgefallen.

Nur eine Bemerkung dazu:
Die Verarbeitung bei "Vorschau" und bei "Export" kann durchaus etwas länger dauern, was dazu führt, dass das Programm einen abgestürzten Eindruck macht, da in der Zeit der Verarbeitung auch der Bildschirm nicht refreshed wird. Das merkt man, wenn man das Programmfenster verschiebt.

Der Funktion tut das keinen Abbruch, insofern kann man es auch so lassen.
Eine Alternative wäre, die Verarbeitung in einem neuen Thread zu starten und im GUI-Thread ein Message-Fenster zu zeigen:
"Vorgang in Arbeit. [Abbrechen]"
Wobei dann "Abbrechen" einen Bool setzen müsste, der vom Verarbeitungs-Thread auch abgefragt und als Abbrechen interpretiert wird.

Da Threads unabhängig voneinander und gleichzeitig laufen, muss man selbst darauf achten, dass die Threads sich nicht gegenseitig die Daten und Variablen vermurksen, weil sie nicht wissen, was der andere gerade tut.
Trennt man also GUI und Verarbeitung, muss man verhindern, dass die Verarbeitung erneut gestartet wird, während sie schon läuft oder aber genau darauf achten, dass sowas trotzdem funktioniert, wenn es irgendwie sinnvoll erscheint, das zuzulassen.

JtG
aus meiner "alle-Sender"-tvdaten.mdb mit 191 MB hat CF-Converter eine Datei mit 42 MB erzeugt.
Laut PMG2SQL sind das 79243 Datensätze und das scheint auch zu stimmen.
In den Tabellen "Sendungen" und "SendungenDetails" in der tvdaten.mdb sind allerdings jeweils 79350 Datensätze vorhanden.

JtG lässt sich komischerweise nicht dazu bewegen, aus der Exportdatei Sendung in die intern.mdb zu schreiben die nach den 17.07. 3:00 starten, auch dann nicht wenn ich die Systemuhr vor dem JtG-Start auf 17.07. 2:00 stelle.
(JtG liest generell keine vergangenen Sendungen ein.)
Was es mit dieser Zeitgrenze (17.07. 3:00) auf sich hat, konnte ich noch nicht ermitteln.

HTML-Ersatzzeichen
an 1293 Stellen in der Exportdatei sind HTML-Ersatzzeichen vorhanden.
die meisten in dezimal, zwei davon in hexadezimal.
&#xxx;
Diese Ersatzzeichen sind natürlich schon in der tvdaten.mdb vorhanden, die denkt sich nicht der CF-Converter aus.
In der Exportdatei sind diese Ersatzzeichen teilweise mit Komma, statt Semikolor terminiert und teilweise gar nicht terminiert.
Da aber im "TV Movie Clickfinder"-Programm die Datensätze (eine Stichprobe bei Sonderzeichen in der Darstellerliste) korrekt angezeigt werden, kann es auch sein, dass die fehlende oder falsche Terminierung durch das Ersetzen der Semikola durch Kommata, bei der Darstellertrennung, dafür die Ursache ist.

Hier die Liste, der in meiner Exportdatei vorkommenden Ersatzzeichen:

Code: Alles auswählen

#261 = ą
#263 = ć
#269 = č
#280 = Ę
#281 = ę
#283 = ě
#287 = ğ
#299 = ī
#321 = Ł
#322 = ł
#324 = ń
#345 = ř
#346 = Ś
#347 = ś
#353 = š
#378 = ź
#379 = Ż
#380 = ż
#381 = Ž
#382 = ž
#8218 = ‚
#8224 = † (Das war eingesetzt um anzuzeigen, dass ein Darsteller verstorben sei.)
#8260 = ⁄
#65533 = �
#xA = linefeed
#xD = carriage return
Beim Import in die diversen Tools werden sie nicht in die zugehörigen Sonderzeichen übersetzt, sondern einfach als feste Zeichenfolge (&#xxx;) übernommen.
All diese Zeichen und auch die, die irgendwann noch verwendet werden könnten, mit "suchen/ersetzen" umzuwandeln und zwar so, dass sie Ansi-kompatibel sind, scheint mir erstmal recht aufwändig.

Hat jemand eine Idee dazu oder muss man diese Unschönheit einfach hinnehmen?

Weitere Untersuchungen folgen dann am WE.
Gruß Frank
Sagem 1xi + HDD Kabel, JtG-Team Image v2.4.6 (19.12.2015), avia600vb028, ucode int., cam_01_02_105D
Coolstream Neo, FW 2.10 (leider kaputt)
Win 10 Pro x64, i7 920, 12 GB, SSD
u-Grabber 0.2.7.6-> TS -> PX 0.91.0.08 -> IfoEdit 0.971 -> ImgBurn 2.5.0.0 -> DVD-R

BjoernBorg
Site Sponsor
Site Sponsor
Beiträge: 67
Registriert: Do 02 Mär 2006, 12:31

Re: Movie Guide und Sky

#50 Beitrag von BjoernBorg » Fr 17 Jul 2009, 15:20

Pedant hat geschrieben:Die Verarbeitung bei "Vorschau" und bei "Export" kann durchaus etwas länger dauern, was dazu führt, dass das Programm einen abgestürzten Eindruck macht, da in der Zeit der Verarbeitung auch der Bildschirm nicht refreshed wird. Das merkt man, wenn man das Programmfenster verschiebt.

Der Funktion tut das keinen Abbruch, insofern kann man es auch so lassen.
Eine Alternative wäre, die Verarbeitung in einem neuen Thread zu starten und im GUI-Thread ein Message-Fenster zu zeigen:
"Vorgang in Arbeit. [Abbrechen]"
Wobei dann "Abbrechen" einen Bool setzen müsste, der vom Verarbeitungs-Thread auch abgefragt und als Abbrechen interpretiert wird.

Da Threads unabhängig voneinander und gleichzeitig laufen, muss man selbst darauf achten, dass die Threads sich nicht gegenseitig die Daten und Variablen vermurksen, weil sie nicht wissen, was der andere gerade tut.
Trennt man also GUI und Verarbeitung, muss man verhindern, dass die Verarbeitung erneut gestartet wird, während sie schon läuft oder aber genau darauf achten, dass sowas trotzdem funktioniert, wenn es irgendwie sinnvoll erscheint, das zuzulassen.
Das Problem habe ich auf einem Rechner hier auch bemerkt ;) Mein Entwicklungsrechner ist dagegen so schnell, dass das kaum auffällt :) Ich werde daher die Funktionen in einen Asynchronen Thread einbetten. Mit threadsicherer Programmierung und Synchronisation kenne ich mich gut aus, beruflich bin ich in der Softwareentwicklung tätig.
Pedant hat geschrieben:JtG
aus meiner "alle-Sender"-tvdaten.mdb mit 191 MB hat CF-Converter eine Datei mit 42 MB erzeugt.
Laut PMG2SQL sind das 79243 Datensätze und das scheint auch zu stimmen.
In den Tabellen "Sendungen" und "SendungenDetails" in der tvdaten.mdb sind allerdings jeweils 79350 Datensätze vorhanden.

JtG lässt sich komischerweise nicht dazu bewegen, aus der Exportdatei Sendung in die intern.mdb zu schreiben die nach den 17.07. 3:00 starten, auch dann nicht wenn ich die Systemuhr vor dem JtG-Start auf 17.07. 2:00 stelle.
(JtG liest generell keine vergangenen Sendungen ein.)
Was es mit dieser Zeitgrenze (17.07. 3:00) auf sich hat, konnte ich noch nicht ermitteln.
Ich vermute mal, dass das was mit dem "Jahreswechsel" zu tun hat. Da ja keine Jahresangaben bei den Sendeterminen vorhanden sind, kann JtG maximal 365 Tage im Voraus die Sendungen einlesen. Vergangene machen ja auch keinen Sinn. Ich denke mal, dass man dort gesagt hat, dass eine Sendung, die am Vortag noch begonnen hat, bis spätestens 3:00 Uhr fertig ist. Somit zählen dann ab dem aktuellen Datum (z.B. 17.07.) insgesamt 365 Tage (bis zum 16.07. ein Jahr später) als die einzulesenden Tage. Is nur so eine Vermutung von mir ;)
Pedant hat geschrieben:HTML-Ersatzzeichen
an 1293 Stellen in der Exportdatei sind HTML-Ersatzzeichen vorhanden.
die meisten in dezimal, zwei davon in hexadezimal.
&#xxx;
Diese Ersatzzeichen sind natürlich schon in der tvdaten.mdb vorhanden, die denkt sich nicht der CF-Converter aus.
In der Exportdatei sind diese Ersatzzeichen teilweise mit Komma, statt Semikolor terminiert und teilweise gar nicht terminiert.
Da aber im "TV Movie Clickfinder"-Programm die Datensätze (eine Stichprobe bei Sonderzeichen in der Darstellerliste) korrekt angezeigt werden, kann es auch sein, dass die fehlende oder falsche Terminierung durch das Ersetzen der Semikola durch Kommata, bei der Darstellertrennung, dafür die Ursache ist.

Hier die Liste, der in meiner Exportdatei vorkommenden Ersatzzeichen:

Code: Alles auswählen

#261 = a
#263 = c
#269 = c
#280 = E
#281 = e
#283 = e
#287 = g
#299 = i
#321 = L
#322 = l
#324 = n
#345 = r
#346 = S
#347 = s
#353 = š
#378 = z
#379 = Z
#380 = z
#381 = Ž
#382 = ž
#8218 = ‚
#8224 = † (Das war eingesetzt um anzuzeigen, dass ein Darsteller verstorben sei.)
#8260 = /
#65533 = ?
#xA = linefeed
#xD = carriage return
Beim Import in die diversen Tools werden sie nicht in die zugehörigen Sonderzeichen übersetzt, sondern einfach als feste Zeichenfolge (&#xxx;) übernommen.
All diese Zeichen und auch die, die irgendwann noch verwendet werden könnten, mit "suchen/ersetzen" umzuwandeln und zwar so, dass sie Ansi-kompatibel sind, scheint mir erstmal recht aufwändig.

Hat jemand eine Idee dazu oder muss man diese Unschönheit einfach hinnehmen?
Danke für den Hinweis. Die werde ich dann in der nächsten Version auch mit umsetzen. Die, die mit Komma abgeschlossen sind, sind sicher alle aus der Darsteller Zeile. Ich werde das Ersetzen dieser Ersatzzeichen vor der Semikolon-Ersetzung durchführen. Mit Hilfe von regulären Ausdrücke ist das kein Problem :) Und wenn es für einige nicht möglich ist, sie Ansi Kompatibel zu machen, dann nehme ich an dessen Stelle halt normale Buchstaben als Ersatz - halt ohne Akzent oder sonstwas...

BjoernBorg

Benutzeravatar
Pedant
admin-c
admin-c
Beiträge: 4285
Registriert: Mo 04 Aug 2003, 16:22
Wohnort: Bad Vilbel
Kontaktdaten:

Re: Movie Guide und Sky

#51 Beitrag von Pedant » Fr 17 Jul 2009, 16:08

Hallo BjoernBorg,
Ich vermute mal, dass das was mit dem "Jahreswechsel" zu tun hat.
guter Gedanke, doch das Problem mit derselben Grenze, also Sendungsbeginn 17.07. 3:00, tritt auch dann auf, wenn ich das Systemdatum auf den 16.07. zurücksetze bevor ich JtG startet und damit alle Sendungen der Exportdatei in der nahen Zukunft liegen.
Ich schau mir das aber noch genauer an. Im Moment finde ich meinen Befund noch etwas zu vage.
... Die werde ich dann in der nächsten Version auch mit umsetzen.
...
... als Ersatz - halt ohne Akzent oder sonstwas...
Ja, prima und völlig ausreichend.

Gruß Frank
Sagem 1xi + HDD Kabel, JtG-Team Image v2.4.6 (19.12.2015), avia600vb028, ucode int., cam_01_02_105D
Coolstream Neo, FW 2.10 (leider kaputt)
Win 10 Pro x64, i7 920, 12 GB, SSD
u-Grabber 0.2.7.6-> TS -> PX 0.91.0.08 -> IfoEdit 0.971 -> ImgBurn 2.5.0.0 -> DVD-R

BjoernBorg
Site Sponsor
Site Sponsor
Beiträge: 67
Registriert: Do 02 Mär 2006, 12:31

Re: Movie Guide und Sky

#52 Beitrag von BjoernBorg » Fr 17 Jul 2009, 17:37

Pedant hat geschrieben:guter Gedanke, doch das Problem mit derselben Grenze, also Sendungsbeginn 17.07. 3:00, tritt auch dann auf, wenn ich das Systemdatum auf den 16.07. zurücksetze bevor ich JtG startet und damit alle Sendungen der Exportdatei in der nahen Zukunft liegen.
Vielleicht schaut er ja auch in der Box nach, welches Datum wir grad haben? Dann müßte man dort auch mal das Datum umsetzen :)


Nun habe ich auch noch eine Neuigkeit bezüglich der Fehlermeldung bei der Senderauswahl - es gibt dort drei Beschränkungen seitens JtG:

1. Das Feld "moviekenner" in der Datenbanktabelle Einstellungen ist maximal 255 Zeichen lang. Ist die Summe aller Sendernamen, die ausgewählt wurden, plus die trennenden und abschliessenden "#" Zeichen größer als 255 Zeichen, gibts eine Fehlermeldung. Die Sendernamen werden dann auch nicht in die Datenbank geschrieben.

2. Es dürfen maximal 30 Sender ausgewählt werden. Wird ein weiterer Sender ausgewählt, obwohl noch freie Zeichen in "moviekenner" vorhanden sind, gibts auch eine Fehlermeldung. Treffen nun die beiden Umstände "Zu viele Zeichen" und "zu viele Sender" aufeinander, stürzt JtG ab und man kann es neu starten. Ist aber die Senderanzahl größer 30 und die Größe von "moviekenner" noch kleiner als 255, wird in die Datenbank geschrieben. Startet man JtG nun neu, kommt man garnicht erst in die Senderauswahl und es werden auch keine Sendungen angezeigt. Dann muss wie oben schon einmal erwähnt das Feld "moviekenner" entweder gelöscht oder gekürzt werden.

3. Ein einzelner Sender darf selbst auch eine bestimmte Größe nicht überschreiten - das haben wir ja an "National Geographics Wild" gesehen. "Turner Classic Movies" ist auch sehr lang, funktioniert aber. Die Grenze liegt also irgendwo zwischen 21 und 25 Zeichen.

Da wir JtG leider nicht ändern können, müssen wir also mit den Beschränkungen leben. Die unumgängliche Beschränkung ist Nr.2 - das mit den 30 Sendern. Mehr darf man also nicht auswählen. Ich kann nun einmal eine Senderauswahlgrenze von 30 in den CF-Converter als Option einbauen - so exportiert man halt nur so viel, wie möglich ist in JtG. Für alle anderen Programme kann man das ja deaktiviert lassen.

Die Längenbeschränkungen kann man umgehen, indem man die Sender entsprechend umbenennt, so dass die nicht so viel Platz brauchen. Das bringt mich dann auf ein weiteres Problem:

Ich habe in der Box den Sender Bayern 3 "Bayrisches FS Süd" benannt. Im Clickfinder hat der Sender die Senderkennung "B3", die BezeichnungKurz "BR" und die von mir eingestellte Bezeichnung "Bayrisches FS Süd". Der CF-Converter gibt im Moment aber die Senderkennung des ClickFinders aus. In diesem Fall wird der Sender im PMG "B3" benannt, wodurch ein Doppelklick auf eine Sendung zum Hinzufügen zur Timerliste darin endet, dass die Sendung einfach nicht eingetragen wird, weil JtG den Sender nicht zuordnen kann. Ich muss nun entweder die Ausgabe des CF-Converters auf die "Bezeichnung" ändern, so dass man die Sender im Clickfinder so benennen kann (muss) wie in der Box, oder der CF-Converter braucht eine weitere Möglichkeit, die Sendernamen und deren Zugehörigkeit zu editieren. Der Einfachheit halber tendiere ich erst einmal zur ersten Lösung ;)

Wenn das angepasst ist, muss man sich einfach nur noch auf max. 30 Sender beschränken und die Summe aller (Sendernamenlängen+1)+1 unter 255 halten. Wenn das nicht hinhaut, müssen ein paar lange Sendernamen in der Box wie auch im Clickfinder gekürzt werden.

Für die Clickfinder Lösung funktioniert das dann. Problem kann es dann nur mit dem PDF Download geben, da dort keine Senderbezeichnungen vorhanden sind. Die Sendernamen werden dort dann ja anhand der Position in der Liste bzw. aufgrund der Senderbilder (weiss ich noch nicht, wie genau ich das da lösen werde) benannt. Spätestens dort bräuchte mann dann im CF-Converter eine Möglichkeit, die Sender umbenennen zu können, sollte man in der Box andere als die Standardnamen der Sender verwenden.

Was meint Ihr dazu?

BjoernBorg

Benutzeravatar
Pedant
admin-c
admin-c
Beiträge: 4285
Registriert: Mo 04 Aug 2003, 16:22
Wohnort: Bad Vilbel
Kontaktdaten:

Re: Movie Guide und Sky

#53 Beitrag von Pedant » Fr 17 Jul 2009, 20:25

Hallo BjoernBorg,

JtG hat ja auch eine native Clickfinder-Unterstützung als Alternative zum EPG.
http://doku.jackthegrabber.de/programm.htm
http://doku.jackthegrabber.de/cf.htm

Auch hier ergibt sich das Problem, dass eine Sendung aus dem "Programm"-Reiter nicht per Doppelklick zur Timer-Liste hinzugefügt werden kann, wenn es Namensunterschiede zwischen Clickfinder und der dbox gibt.

Da hier der Vergleich zwischen der tvdaten.mdb und der services.xml gemacht wird und man auf die tvdaten.mdb keinen echten Einfluss hat, muss die Namensanpassung in der services.xml erfolgen.
Diese Notwendigkeit ist unabdingbar, wenn man den Clickfinder als EPG Alternative in JtG ohne Einschränkung einsetzen möchte.

Wenn man für den "Movie Guide" in JtG, die Namen aus der tvdaten.mdb durch den CF-Converter ändern lässt und die Namen in der services.xml entsprechend anpasst oder umgekehrt, die services.xml als Vorgabe betrachtet und den CF-Converter die Namen gemäß der services.xml ändern lässt, dann hat man die Funktionalitäten des "Movie Guide" in JtG zur Verfügung, aber mit dem Clickfinder als EPG-Ersatz funktioniert es dann nicht bei den umbenannten Sendern.

Wer ein zahlender Clickfinder-Abonnent ist, möchte eventuell beides in JtG nutzen, also Clickfinder statt EGP und Movie Guide.
Andere User nutzen den CF-Converter vielleicht ohne JtG zu benutzen oder es ist ihnen nicht wichtig beide Funktionalitäten zu haben.

Viele Möglichkeiten, also helfen nur Einschränkungen oder viele Lösungen.

Viele Lösungen würde bedeuten, dass alle JtG-Restriktionen seitens des Movie Guides und des Clickfinder-EPG schon im CF-Converter abgefangen werden:

- Umbenennen einzelner Sender, wenn der Einzelname zu lang ist.

- Umbenennen mehrerer Sender, wenn die Auswahl insgesamt zu lang ist.
Meldung: "Wähle weniger Sender oder benenne ein paar mit kürzeren Namen. (Ingesamt um xx Zeichen kürzen)"

- Umbenennen mehrerer Sender, wenn einem einfach nur die Namen nicht gefallen.

- Lesen und Schreiben der services.xml und bouquets.xml direkt von und auf der dbox

- Optionaler, schreibender Sync. zwischen den Namen der tvdaten.mdb und den dbox-xmls

- Warnhinweis, dass bei Namensänderung in den dbox-xmls, gegenüber den Vorgaben der tvdaten.mdb, alle umbenannten Sender nicht als EPG Alternative in JtG benutzt werden können (Anzeige ja, Timersetzen nein)

- Warnhinweis, dass bei Namensänderung in der Exportdatei, gegenüber den Vorgaben der dbox-xmls, alle umbenannten Sender nicht in JtG im "Movie Guide" zum Timersetzen genutzt werden können.

Alternativ zum Schreiben der dbox-xmls kann auch eine myservices.xml generiert werden, die, wenn man schon mal dabei ist, gleich die Unterkanäle für "Premiere Direkt" oder wie es jetzt auch immer heißt, anlegt oder man überläßt dem User das Umbenennen der Sender in der dbox als manuelle Aufgabe und gibt vielleicht netterweise eine Liste aller Unstimmigkeiten aus, die der User als ToDo-Liste verwenden kann.

Und so kommt man vom Hölzchen auf's Stöckchen.

Wenn es Dir jetzt Leid tuen sollte überhaupt damit angefangen zu haben, dann würde es zur Nutzbarkeit des CF-Convertes auch genügen Aufklärung zu betreiben:

Was gilt es zu beachten, damit der CF-Converter-Output mit dem kompatibel ist, das man tatsächlich nutzen möchte und welche Einschränkungen ergeben sich aus welcher Änderung?
Wie Drücke ich im Notepad <Strg>+H um Sender vom CF-Converter-Output umzubenennen?

Das Verfassen der Aufklärungstexte kann das Forum übernehmen.
Da der volle Clickfinder-Support von JtG nicht mit dem maximal möglichen "Movie Guide"-Support von JtG vereinbar ist, muss ohnehin Aufklärung betrieben werden.

Es gäbe noch die theoretische Alternative die Sendernamen schon in der tvdaten.mdb zu ändern und zwar nach jedem Sync und vielleicht auch vor jedem Sync wieder zurück zu ändern, falls es da weitere Probleme geben sollte, aber ich glaube auf die tvdaten.mdb hat man keinen Schreibenden Zugriff.
Da man sie aber Lesen kann, könnte man die Struktur in einer neuen ungeschützen mdb nachbilden und einen Sync zwischen den mdb-Dateien ausführen.
Die neue, "eigene" mdb könnte dann beliebige Sendernamen haben und als Daten-Basis für den CF-Support in JtG und für den CF-Converter darstellen.

So, spätestens jetzt sollte das geöffnete Fass aber groß genug sein.

Gruß Frank
Sagem 1xi + HDD Kabel, JtG-Team Image v2.4.6 (19.12.2015), avia600vb028, ucode int., cam_01_02_105D
Coolstream Neo, FW 2.10 (leider kaputt)
Win 10 Pro x64, i7 920, 12 GB, SSD
u-Grabber 0.2.7.6-> TS -> PX 0.91.0.08 -> IfoEdit 0.971 -> ImgBurn 2.5.0.0 -> DVD-R

BjoernBorg
Site Sponsor
Site Sponsor
Beiträge: 67
Registriert: Do 02 Mär 2006, 12:31

Re: Movie Guide und Sky

#54 Beitrag von BjoernBorg » Fr 17 Jul 2009, 23:16

Ich sach erstmal BOAH EY und schlaf ne Nacht drüber ;)

Aber zur Beruhigung - all diese Dinge sind mir bereits durch den kopf gegangen :roll:

Gag Halfrunt
Sherlock Dev
Beiträge: 540
Registriert: Mo 04 Aug 2003, 16:22
Wohnort: Frankfurt
Kontaktdaten:

Re: Movie Guide und Sky

#55 Beitrag von Gag Halfrunt » So 19 Jul 2009, 17:11

So, Freunde, es gibt was erstes zum Testen.

Sherlock lädt sich jetzt den MG der nächsten 10 Tage automatisch aus dem Netz herunter. Dazu setzt man in den Settings unter "Automatik" die entsprechende Checkbox.

Manuell lässt sich der MG über das Hauptmenü "Movieguide einlesen > online" herunterladen.

Die Export-Funktion hab ich noch nicht fertig, da ich den Fokus erstmal auf den Basisfunktionen gelegt hatte.
Dateianhänge
Sherlock.rar
Sherlock 0.1.3.47 BETATEST
(577.25 KiB) 161-mal heruntergeladen

Gag Halfrunt
Sherlock Dev
Beiträge: 540
Registriert: Mo 04 Aug 2003, 16:22
Wohnort: Frankfurt
Kontaktdaten:

Re: Movie Guide und Sky

#56 Beitrag von Gag Halfrunt » Mo 20 Jul 2009, 6:25

Verdammt... schon den ersten Bug entdeckt: Wenn beim Runterladen ein Verbindungsfehler auftritt, ist der gesamte MG weg, was dann zu hässlichen Effekten bei der Aufnahmeplanung führt.

BjoernBorg
Site Sponsor
Site Sponsor
Beiträge: 67
Registriert: Do 02 Mär 2006, 12:31

Re: Movie Guide und Sky

#57 Beitrag von BjoernBorg » Di 21 Jul 2009, 6:33

Nur zur Info: Ich habe im Moment sehr viel um die Ohren auf der Arbeit, wodurch ich nicht viel Zeit für den Converter habe. Die Arbeiten gehen aber vorwärts :)

Trotzdem habe ich mir nochmal so meine Gedanken gemacht. Da JtG ja Probleme mit der Anzahl und Namenslänge der Sender in der Auswahl im MG hat und öfters mal abstürzt bei der Auswahl, kam mir in den Sinn den MovieGuide als Teil des CF-Converters zu realisieren. JtG trägt nach Doppelklick auf eine Sendung im MG diese ja nur in seine eigene Datenbank ein und startet die Aufnahme dann von sich aus. Nun könnte der CF-Converter ja die selbe Funktionalität anbieten wie der MG im JtG - also Auswahl der Sender und Kategorien (direkt aus der CF-Datenbank bzw. aus dem später hinzukommenden sky-TV-Guide) incl. Filterfunktionen sowie Hinzufügen von ausgewählten Sendungen zu einer temporären Aufnahmeliste. Diese könnte dabei auch die bereits im JtG gespeicherten Aufnahmen anzeigen (um sehen zu können, ob es Überschneidungen gibt). Anschliessend überträgt man dann die neuen Aufnahmen nach JtG.

Es könnten dann auch noch eine ganze Menge weiterer Funktionen eingebaut werden, die im Moment noch nicht enthalten sind:
- Markierung von Sendungen in der Auswahl, die sich mit Sendungen in der Aufnahmeliste überschneiden würden
- Falls vorhanden Anzeige des Episodentitels neben der Sendezeit
- Erweiterte Möglichkeiten zur Filterung der Sendungen in der Auswahlliste
- Direkte Anpassung und Zuweisung der Sendernamen zwischen Box und Datenquelle
- ...

Wozu nun ein neues Programm für den MovieGuide? - Ganz einfach um zunächst die o.g. Einschränkungen des JtG MGs zu umgehen. Mann könnte damit mehr als die 30 Sender gleichzeitig auswählen und die Namenslänge wäre in dem Moment auch egal. Zum anderen um die ebenfalls o.g. Erweiterungen zu ermöglichen. Es ist keinesfalls gedacht um JtG zu ersetzen - um die Aufnahmefunktionen möchte ich mich nicht kümmern müssen :) Es dient also lediglich dazu die Aufnahmeliste aus einer oder mehreren Datenquellen zu füllen und dem Nutzer dabei ein paar extra Funktionen zur Verfügung zu stellen.

Die Frage ist nur, ob Bedarf an einem solchen Programm besteht? Sicher - es gibt bereits das ein oder andere Programm, welches in etwa gleichwertige Funktionen anbietet, nur bisher keines, was meinen Bedürfnissen entspricht. Ich möchte JtG auch nicht ersetzen, sondern nur um eine komfortablere Aufnahmelistenbestückung erweitern - und zwar so, dass ich alles mit einem Programm machen kann - vom Import der Datenquelle bis zur Speicherung der Aufnahmen in JtG. Vielleicht ist der ein oder andere ja auch noch auf der Suche nach einer solchen Möglichkeit ...

Gag Halfrunt
Sherlock Dev
Beiträge: 540
Registriert: Mo 04 Aug 2003, 16:22
Wohnort: Frankfurt
Kontaktdaten:

Re: Movie Guide und Sky

#58 Beitrag von Gag Halfrunt » Di 21 Jul 2009, 9:14

BjoernBorg hat geschrieben:Die Frage ist nur, ob Bedarf an einem solchen Programm besteht?
Bitte nicht falsch verstehen, ich möchte dazur nur eine Meinung abgeben:

Ich nutze JtG schon seit geraumer Zeit nicht mehr. Der Grund ist, dass ich mir in meine D-Box eine Festplatte eingebaut hab, über die ich jetzt aufzeichne. Die Netzwerkverbindung von der Box zum PC war einfach nicht mehr schnell genug, um die Filme von ARD und ZDF fehlerfrei zu streamen. Aber auch bei Premiere-Aufnahmen brauchte ich immer mehrere Anläufe, bis mal eine fehlerfreie Aufnahme im Kasten war.
Diese Probleme hab ich mit der internen Festplatte nun nicht mehr.

Zur Aufnahmeautomatisierung nutze ich nach wie vor "mein Baby" Sherlock, hab mir zusätzlich noch ein kleines Tool gebastelt, dass in Intervallen prüft, ob auf der Festplatte der Box neue Filme vorhanden sind und diese dann mit Project X runterzieht und wandelt.

Ich bin mit dieser Lösung wesentlich zufriedener als mit JtG, da ich dort eben massive Probleme mit der Stabilität beim Streamen hatte.

Benutzeravatar
Pedant
admin-c
admin-c
Beiträge: 4285
Registriert: Mo 04 Aug 2003, 16:22
Wohnort: Bad Vilbel
Kontaktdaten:

Re: Movie Guide und Sky

#59 Beitrag von Pedant » Di 21 Jul 2009, 12:26

@BjoernBorg,

in einer ähnlichen Weise, wie die von Dir beschrieben, nutzte ich Sherlock, um meine Timer in JtG zu setzen. Direkt in JtG setze ich nur recht selten Timer und wenn dann eher aus dem EPG heraus, denn aus dem MovieGuide.

Ob der CF-Converter also wirklich die Einschränkungen, die JtG hat, berücksichtigen muss, ist berechtigterweise fraglich. Ich könnte darauf verzichten, obwohl ich immer noch JtG als Hauptaufnahmeprogramm benutze. Wie der Bedarf bei anderen Usern aussieht, kann ich aber darüber höchstens nur spekulieren.
Es gibt allerdings auch Programme, die die MovieGuide-Dateien ohne Einschränkungen nutzen können, wie z.B. Sherlock, u-grabber und XMG, da diese Programme alle noch aktiv weiter entwickelt werden.

Ob es notwendig ist, den CF-Converter zu einem Timerverwaltungsprogramm zu entwickeln ist auch fraglich, da die erwähnten Programme alle oder viele, der von Dir beschriebenen Features schon abdecken.
Es liegt mir allerdings fern, Dir irgendwas ausreden zu wollen.

Mir persönlich liegen die PMG-Dateien sehr am Herzen, da ich PMG2SQL intensiv nutze.

Ich hatte am Wochenende leider auch nicht die Zeit mich weiter mit den PMG-Dateien und JtG zu beschäftigen, da ich beide Tage arbeiten musste.
Ich hab allerdings einen Versuch gestartet rauszubekommen warum ich nicht alle Sendungen aus meiner kompletten PMG-Datei (also alle Sender mit allen Tagen) in JtG importieren kann.
Es landen maximal zirka 14500 Datensätze in der intern.mdb, wobei diese Zahl keine feste Grenze darstellt und ich keinen Datensatz finden konnte, an dem es irgendwie scheitern würde.
Ein Rauslöschen diverser Blöcke aus der Textdatei oder ein Halbieren der Datei brachte keine Änderung.
Ich werd es aber weiter ver- und untersuchen.


@Gag

Sherlock 0.1.3.47
Datei -> Movie Guide einlesen -> Online

Bei ersten Versuch kam ziemlich schnell die Meldung:
Socket Error # 10060
Connection timed out.


Danach versuchte ich die zweite Option
Datei -> Einstellungen ... -> Automatik -> [x] Sky Movie Guide automatisch über das Internet aktualisieren -> [OK]
doch da passiert scheinbar nichts, auch nach Programmneustart keine gab es keine Netzwerkbewegung.
Wann und wie oft passiert die automatische Aktualisierung?

Dann ein zweiter manueller Versuch
Datei -> Movie Guide einlesen -> Online
Jetzt hat es erstaunlich lange gedauert, bis in die Windows-Anzeige "Netzwerkstatus" etwas Bewegung kam. Der Download hat insgesamt ungefähr 15 Minuten gedauert.
Aber einerseits gibt es keinen Grund für Eile und andererseits mussten ja beim ersten Mal alle Tage eingesammelt werden.

15 Minuten Sanduhr bei Sherlock, ohne einen Hinweis darauf was gerade passiert und wie lange es noch dauern wird, waren allerdings etwas langweilig.
Hier wäre es auch schick, es gäbe einen Statusthread mit [Cancel]-Button, statt 15 Minuten Sanduhr.
(Vergl. Mein Beitrag vom Fr. 17. Juli 2009, 11:48 an BjoernBorg)

Kontaktiere sky.de
Suche Sendungen für 21.07.2009
1 Sendung geladen
...
15 Sendungen geladen
...
Suche Sendungen für 22.07.2009
148 Sendungen geladen
...
514 Sendungen geladen
Suche Sendungen für 30.07.2009
keine weiteren Sendungen gefunden
...
Insgesamt 2408 Sendungen für 21.07.-29.07. geladen
Vorgang erfolgreich abgeschlossen [OK]


Bei Sherlock im "Premiere Movie Guide" links bei "Filme", ist für einige Filmtitel nicht genug Breite vorhanden.
Rechts bei "Beschreibung" ist ebenso für einige Filmtitel nicht genug Breite vorhanden.
Ein größeres Programmfenster, Scrollbalken oder Skalierbarkeit täten hier gut.

Immernoch im "Premiere Movie Guide":

- Zwischen "Genre" und "Inhalt" steht eine Zahl.
Was bedeutet die, vielleicht der Datenbank-Index des Datensatzes?

- Hinter den Sendeterminen steht immer ein default, statt der Angabe zu Bild- und Tonformat.
Beispiel: Sky Cinema: 23.07.2009 18:15 default
Sind die Daten nicht zu ermitteln oder ist das ein Verarbeitungsfehler?

- Rechts bei "Filter" sind die Reiter "Jahr", "Land" und "Format" verschwunden.
Ich hab sie nicht wirklich vermisst, aber aufgefallen ist es doch.

Die Timerübertragung zu JtG funktioniert wie gewohnt.
Mein Eindruck, abgesehen von meiner Unkenntnis, wie sich die Automatik verhält, ist, dass das Programm funktioniert und nutzbar ist.
Es fehlt also nur etwas Kosmetik und natürlich die Funktion "PMG speichern unter ..."

Gruß Frank

PS: Danke an Bjoern, saggi und Gag für's fleißige Coden.
Sagem 1xi + HDD Kabel, JtG-Team Image v2.4.6 (19.12.2015), avia600vb028, ucode int., cam_01_02_105D
Coolstream Neo, FW 2.10 (leider kaputt)
Win 10 Pro x64, i7 920, 12 GB, SSD
u-Grabber 0.2.7.6-> TS -> PX 0.91.0.08 -> IfoEdit 0.971 -> ImgBurn 2.5.0.0 -> DVD-R

Gag Halfrunt
Sherlock Dev
Beiträge: 540
Registriert: Mo 04 Aug 2003, 16:22
Wohnort: Frankfurt
Kontaktdaten:

Re: Movie Guide und Sky

#60 Beitrag von Gag Halfrunt » Di 21 Jul 2009, 13:36

Servus, danke für dein Feedback.

Dass Sherlock während der Übertragung nicht sonderlich geschwätzig ist, weiß ich. Da bastel ich noch was. Momentan ist es auch noch so, dass er immer alle Tage (!) neu liest. Das werde ich noch umstellen, so dass nur inkrementelle Updates erfolgen. Auch lässt sich noch nicht einstellen, wann er die automatische Aktualisierung vornimmt. In der hier zur Verfügung gestellten Testversion hab ich fest "täglich, ab 3 Uhr" eingetragen. Dabei ist mir auch der o.g. Fehler aufgetreten.

Auch muss ich mal prüfen, inwieweit ich das im Hintergrund machen kann, ohne den Rest des Programms durcheinander zu bringen.

Bei mir (DSL 16k) dauert die Aktualisierung übrigens nur zwei Minuten.

Zu deinen Fragen:

- Ich hab's jetzt nicht vor den Augen, aber könnte die ominöse Zahl die Spieldauer in Minuten sein? ;)

- Die Ausgabe des Bild- und Tonformats erfolgt zur Zeit noch nicht, da dies in einem Bitfeld in den Daten abgelegt ist, das ich erst selber analysieren muss, welcher Wert für was steht.

- Bei den Filtern hab ich die erwähnten rausgeworfen, da ich sie für unnötig angesehen habe. Zudem bremst jedes weitere Filterkriterium den Aufbau der Liste ab, so dass ich das auch aus Performance-Gründen gekegelt habe. Ich glaube auch, dass das niemand schmerzlich vermissen wird.

Ansonsten drehe ich gerne nochmal eine Runde bei dem Programmfenster. Sherlock ist ja schon ein paar Jährchen alt. Mittlerweile hab ich hier einen einen dicken Monitor stehen, so dass Platz da keine so große Rolle mehr spielt. ;)

Gag

Antworten