Harvester

Allgemeines¶

Der InGrid Harvester ist eine eigenständige Softwarekomponente, die Daten aus diversen Quellen „erntet“ und sie in verschiedenen, konfigurierten "Katalogen" bereitstellt. Diese Kataloge umfassen Elasticsearch-Indizes, CSW-Server oder Piveau-Kataloge.

Leitfaden¶

Sie haben die Installation bereits abgeschlossen? Diese Leitfaden könnten Sie interessieren.

Systemvoraussetzungen¶

Installation¶

Die Installation des Harvesters kann mit Docker, per RPM (in Arbeit) oder direkt aus dem github-Repository erfolgen. Im Folgenden sind Beispiele und Anleitungen dazu aufgelistet.

Docker¶

services:

  harvester:
    image: docker-registry.wemove.com/ingrid-harvester:latest
    restart: unless-stopped
    environment:
     - NODE_ENV=production
     - IMPORTER_PROFILE=ingrid
     - ADMIN_PASSWORD=admin
     - ELASTIC_URL=http://elastic:9200
     - ELASTIC_VERSION=8
     - ELASTIC_USER=elastic
     - ELASTIC_PASSWORD=
     - ELASTIC_ALIAS=harvester-alias
     - ELASTIC_PREFIX=harvester_
     - DB_URL=postgres
     - DB_PORT=5432
     - DB_NAME=harvester
     - DB_USER=admin
     - DB_PASSWORD=admin
    volumes:
       - /etc/localtime:/etc/localtime:ro
       - ./harvester/config/config.json:/opt/ingrid/harvester/config.json
       - ./harvester/config/client_config.json:/opt/ingrid/harvester/app/webapp/assets/config.json
       - ./harvester/logs:/opt/ingrid/harvester/logs
    ports:
      - 8090:8090
    working_dir: /opt/ingrid/harvester
    command: node app/index.js
    networks:
      - ingrid-network

  postgres:
    image: postgres:15.7
    restart: unless-stopped
    environment:
      - POSTGRES_USER=admin
      - POSTGRES_PASSWORD=admin
      - POSTGRES_DB=harvester
      - PGDATA=/pgdata
    volumes:
      - ./postgres/_data/pgdata:/pgdata
      - ./postgres/init-db:/docker-entrypoint-initdb.d
    networks:
      - ingrid-network

  elastic:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.14.1
    restart: unless-stopped
    environment:
      - cluster.name=ingrid
      - discovery.type=single-node
      - cluster.routing.allocation.disk.threshold_enabled=false
      - http.host=0.0.0.0
      - transport.host=0.0.0.0
      - http.cors.enabled=true
      - xpack.security.enabled=false
      - "ES_JAVA_OPTS=-Xms2g -Xmx2g -Dlog4j2.formatMsgNoLookups=true"
      # Hotfix #3292
      - "LOG4J_FORMAT_MSG_NO_LOOKUPS=true"
    deploy:
      resources:
        limits:
          memory: 3072M
    networks:
      - ingrid-network

networks:
  ingrid-network:
    driver: "bridge"

RPM¶

TODO

From Source¶

Um den Harvester direkt auf einem System zu installieren, müssen folgende Vorbedingungen erfüllt sein:

• Elasticsearch (>= v8)
• PostgreSQL (>= v14)
• NodeJS (>= v20)

Die Installation des Harvesters (z.B. nach /opt/ingrid/harvester) erfolgt dann mit diesen Schritten:

Harvester clonen und bauen¶

git clone https://github.com/informationgrid/ingrid-harvester
cd ingrid-harvester/server
npm ci
npm run build
cd ../client
npm ci
npm run prod

Harvester installieren¶

mkdir -p /opt/ingrid/harvester
cp server/package*.json /opt/ingrid/harvester/
cp -r server/build/* /opt/ingrid/harvester/
cp -r client/dist/webapp /opt/ingrid/harvester/app/webapp
cd /opt/ingrid/harvester
npm run install-production

Harvester starten¶

Zuerst eine Datenbank erstellen und die nötigen Umgebungsvariablen für Elasticsearch und PostgreSQL einrichten, siehe Umgebungsvariablen. Danach:

export IMPORTER_PROFILE=ingrid
node app/index.js

Konfiguration¶

Wenn der InGrid Harvester unter einem Unterpfad (z. B. nicht direkt unter dem Root) erreichbar sein soll, müssen beide der folgenden Einstellungen vorgenommen werden:

• BASE_URL auf den gewünschten Pfad setzen (Umgebungsvariable)
• contextPath in der Client-Konfigurationsdatei auf denselben Wert setzen

Gegebenenfalls muss ein existierender Reverse-Proxy entsprechend konfiguriert werden.

Authentifizierung¶

Benutzer und Passwort wird über die Konfigurationsdatei users.json gesetzt. Das Admin-Password kann mit der Umgebungsvariable ADMIN_PASSWORD überschieben werden.

[
    {
        "firstName": "Global",
        "lastName": "Admin",
        "password": "**********************",
        "username": "admin"
    }
]

Konfigurationsdateien¶

In einem Docker-Setup sollten diese Dateien vom Hostsystem in den Container gemappt werden.

Umgebungsvariablen¶

Einige allgemeine Einstellungen können auch über Umgebungsvariablen konfiguriert werden. Diese Einstellungen haben Vorrang vor den Konfigurationsdateien.

Keycloak Konfiguration¶

Damit der Harvester mit Keycloak authentifiziert werden kann, muss ein Client mit dem Namen harvester eingerichtet werden. Wird der bereitgestellte vorkonfigurierte Keycloak von wemove verwenden, dann ist dieser Client schon vorhanden und kann über Umgebungsvariablen angepasst werden. Für die manuelle Konfiguration muss wie folgt vorgegangen werden:

• neuen Client mit der ID harvester anlegen
• Redirect-URIs: /*
• Client authentication: An
• Authentication flow: Standard flow
• unter Roles müssen die folgenden drei Rollen angelegt werden
  • admin
  • editor
  • viewer

Um einem Benutzer Zugang zum Harvester zu geben, muss diesem Benutzer eine dieser Rollen zugewiesen werden. Der Benutzer kann dann auf den Harvester zugreifen.

FAQ¶