ZIP Dateien indizieren

[platten_kratzer]

Hi Leute,

wir möchten neben dem Standard Content auch Zip Dateien indizieren, die wiederum PDF/DOC usw. enthalten.
Ich habe zu diesem Thema einen älteren Thread gefunden, der auf den IFilter Zip Präparator verweist. Dieser ist aber nur unter Windows lauffähig und wir haben Regain unter Linux laufen.

Gibt es also eine Möglichkeit, Zip Dateien mit der aktuellen Regain Version 1.6.6 unter Linux zu indizieren?

[reka]

Hallo,

ich habe schon erfolgreich Apache Tika über den externen Präparator eingebunden. Ist Java basierend und kann mehr als nur zip's extrahieren.
Vielleicht könnte man ja Apache Tika in Regain ganz implementieren?

Beispielimplementierung:

CrawlerConfiguration.xml

Code: Alles auswählen

    <preparator enabled="true" priority="2">
      <class>.ExternalPreparator</class>
      <config>
        <section name="command">
          <param name="urlPattern">\.zip</param>
          <param name="commandLine">./tika2txt.sh ${filename}</param>
          <param name="checkExitCode">true</param>
        </section>
      </config>
    </preparator>

tika2txt.sh

Code: Alles auswählen

java -server -Djava.awt.headless=true -Xms512M -Xmx1024M -jar tika.jar -t "${*}"



Meine Dateien waren entsprechend gross

Apache Tika

h t t p : / / lucene . apache . org / tika / index . h t ml

Grüsse reka

[thtesche]

Das ist wieder etwas für Container-Dokumente. Wenn man den ganzen Text aus allen Dokumenten eines ZIPs in ein Lucene-Doc packt, geht der Zusammenhang zum eigentlichen File, also z.B. der Worddatei, aus welcher der Text stammte, verloren. Ich habe es auf dem Schirm, bin leider noch nicht dazu gekommen.