iPlug SE (Search Engine)

Allgemeines¶

Das iPlug dient dem Indexieren von Webseiten. Die zu indexierenden Webseiten werden über eine komfortable Administration gepflegt. Die Webseiten werden zeitgesteuert über einen Crawler heruntergeladen, analysiert und indexiert. Dabei kommt für den Web Crawler die OpenSource Software Apache Nutch zum Einsatz.

Es können mehrere Instanzen mit jeweils unterschiedlicher Konfiguration und unterschiedlichen URL Räumen, die durch Start- Limit und Exclude-URL Muster definiert werden, konfiguriert werden. Jede Instanz kann unabhängig gestartet und indexiert werden.

Über eine mächtige Metadaten Funktionalität können für URL Räume Metadaten mitgegeben werden. Diese werden mit indexiert und können in der Suche verwendet werden. Die Metadaten werden dabei auf alle weiteren URLs übertragen, die mit der Start-URL beginnen.

Ein Indexierungsdurchlauf besteht aus mehreren Phasen:

Systemvoraussetzungen¶

Installation¶

Docker¶

services:

  crawler:
    image: docker-registry.wemove.com/ingrid-iplug-se
    restart: unless-stopped
    depends_on:
      - "ibus"
    environment:
      - TZ=Europe/Berlin
      - JAVA_OPTS=-Dfile.encoding=UTF8 
      - NETWORK_HOST=elastic  
    volumes:
      - ./crawler/conf/config.override.properties:/opt/ingrid/ingrid-iplug-se/conf/config.override.properties
      - ./crawler/conf/web.xml:/opt/ingrid/ingrid-iplug-se/webapp/WEB-INF/web.xml
      - ./crawler/instances:/opt/ingrid/ingrid-iplug-se/instances
      - ./crawler/database:/opt/ingrid/ingrid-iplug-se/database
      - ./crawler/logs/ingrid-iplug-se:/opt/ingrid/ingrid-iplug-se/logs
    deploy:
    resources:
        limits:
        memory: 512M
    networks:
      - informationgrid-network

From Installer¶

Um den InGrid Web Crawler direkt auf einem System zu installieren, müssen folgende Vorbedingungen erfüllt sein:

• Java (>= v21)

Die Installation des InGrid Web Crawler (z.B. nach /opt/ingrid/crawler) erfolgt dann mit diesen Schritten:

Download¶

Download: https://distributions.informationgrid.eu/ingrid-iplug-se/

Um die Installationsroutine zu starten, doppel-klicken Sie auf das Installationsprogramm oder geben Sie folgenden Befehl auf der Kommandozeile ein:

Install¶

java -jar ingrid-iplug-se-VERSION-installer.jar

Der Installer ist sowohl per graphischer Oberfläche als auch Kommandozeileneingabe ausführbar. Bitte folgen Sie den Anweisungen des Installationsprogrammes. Das Installationsprogramm installiert die Komponente im gewünschten Verzeichnis und passt die Konfigurationsdateien an.

Sie können nun das iPlug mit

sh start.sh start

starten.

Konfiguration¶

Das iPlug besitzt eine Administrationsoberfläche über die die angeschlossenen iPlugs eingesehen und verwaltet werden können.

http://localhost:PORT

Anstelle von localhost können Sie auch die IP-Adresse des Computers eingeben. Authentifizieren Sie sich als 'admin' mit dem von Ihnen vergebenen Passwort.

Aktualisierung¶

Neues Release von https://distributions.informationgrid.eu/ingrid-iplug-se/ herunterladen.

iPlug stoppen.

sh start.sh stop

Aktuelles Installationsverzeichnis sichern:

cp -r /opt/ingrid/ingrid-iplug-se BACKUP_DIRECTORY

Die Aktualisierung erfolgt über den Installer.

java -jar ingrid-iplug-se-NEW-VERSION-installer.jar

Während der Installation bitte "Upgrade" auswählen und das Installationsverzeichnis Verzeichnis angeben.

iPlug starten.

sh start.sh start

Betrieb¶

start.sh [start|stop|restart|status]

Die LOG Ausgaben finden sich in der Datei log.log und console.log.

Konfiguration¶

Elasticsearch Konfigurationen¶

./conf/default-mapping.json - Definition der Felder im Elasticsearch Index. Mit diesem Field Mapping werden neue Index erstellt. Bitte berücksichtigen, dass diese Einstellungen mit der Suche zusammenpassen müssen.

./conf/default-settings.json - Definition grundlegende Einstellungen für den Elasticsearch Index. Mit dieser Konfiguration werden neue Index erstellt.

Logging¶

Die Konfiguration des LOG Levels befindet sich hier: ./conf/log4j2.xml.

Die LOGs des iPlug-SE Prozesses werden unter ./logs/log.log geschrieben.

Die LOGs für die Instanzen liegen unter ./instances/<INSTANZ_NAME>/logs/hadoop.log.

FAQ¶

mkdir analyse_<DATE>
cd analyse_<DATE>
# export aller URLs aus der CrawlDB
bash ../apache-nutch-runtime/runtime/local/bin/nutch readdb ../instances/websites/crawldb -dump dump -format csv
# alle gefetchten URLs filtern
grep db_fetched dump/part-00000 > fetched_urls.txt
# alle URLs nach der Signatur sortieren
sort -t\; -k10 fetched_urls.txt > fetched_urls_sorted.txt
# alle Zeilen mit gleicher Signatur ausgeben (inkl.  der ersten)
cat fetched_urls_sorted.txt | awk '{if (x[$10]) { x_count[$10]++; print $0; if (x_count[$10] == 1) { print x[$10] } } x[$10] = $0}' FS=";" > result.txt

webapp/WEB-INF/web.xml

<security-constraint>
    <web-resource-collection>
        <web-resource-name>Free</web-resource-name>
        ...
        <url-pattern>/rest/urlerrors/*</url-pattern>
        <url-pattern>/rest/status/*</url-pattern>
        <url-pattern>/iplug-pages/instanceReports.html</url-pattern>
    </web-resource-collection>
</security-constraint>

User-agent: ingrid
Crawl-delay: 3