Hinweise zur Benutzung

Submitted by Andreas Felix on Tue, 21/03/2006 - 12:09.

Nach dem Booten des Instant-Grid (IG) steht Ihnen eine automatisch konfigurierte Grid-Funktionalität zur Verfügung. Hier werden einige Hinweise zum IG gegeben. Im Folgenden wird der Rechner, der mit der CD gestartet wurde als Frontend bezeichnet, alle anderen Rechner als Clients. Die Grid-Funktionalität steht dem Benutzer knoppix und den mit dem Grid Admin Portlet erstellten Benutzern zur Verfügung.

Allgemeine Hinweise

Clusterwork

Es existiert ein Verzeichnis namens /clusterwork, das auf allen Rechnern des IG per NFS eingebunden wird. Dateien in diesem Verzeichnis stehen allen Rechnern des IG zur Verfügung. Des Weiteren ermöglicht dieses Verzeichnis eigene Daten in das IG einzubinden. Befindet sich ein Verzeichnis /clusterwork auf einer beliebigen Partition einer Festplatte des Frontends (z.B. /clusterwork auf /dev/hda3), so wird dieses Verzeichnis innerhalb des IG in /clusterwork/<partition> (z.B. /clusterwork/hda3) eingebunden und steht allen Rechnern des IG zur Verfügung. Des Weiteren befinden sich im Verzeichnis /clusterwork/home/ die Home-Verzeichnisse der mit dem Grid Admin Portlet erstellten Benutzer.

Globus-Toolkit 4

Nach dem Start werden auf dem Frontend und den Clients Dienste des Globus-Toolkit 4 (GT4) gestartet. Folgende Dienste des GT4 werden gestartet: Auf dem Frontend GSISSH, GRAM, WS-GRAM, GridFTP, RFT, MyProxy und Web-MDS. Auf den Clients: GSISSH, GRAM, WS-GRAM, GridFTP, RFT und Web-MDS. Informationen zu den einzelnen GT4-Diensten befinden sich auf den Seiten der »Globus-Alliance«.

Weitere Serverdienste

Neben den GT4-Diensten werden weitere Serverdienste gestartet: Auf allen Rechnern sind dies PostgreSQL (Datenbank), chrony (Zeitserver) und Ganglia (Monitoring). Zusätzlich werden auf dem Frontend ein DHCP- und NFS-Server gestartet, sowie ein Web- und Applikations-Server (Apache 2 und Tomcat).

Firewall auf Frontend

Auf dem Frontend ist ein iptables-basierter Paketfilter aktiv, der Zugriffe auf das externe Interface von außerhalb des IG verhindert und somit die Sicherheit des IG erhöht. Dieser Paketfilter wird beim Booten automatisch gestartet. Wollen Sie den Paketfilter deaktivieren ist dies durch Aufruf (als root) von /usr/local/lib/NOP_TS-4.02/debug/rc.flush-iptables möglich. Eine erneute Aktivierung kann durch Aufruf (als root) von /usr/local/lib/NOP_TS-4.02/rc.firewall erfolgen.

Hinweise zu den Webseiten

Nach dem Booten erscheint auf dem Frontend ein Firefox-Browser mit der Startseite des IG. Auf der linken Seite befinden sich Links zu einzelnen Webseiten:

Ganglia Monitor

Ganglia setzt ein Multicast-fähiges Netzwerk voraus. Es zeigt Informationen über die vorhandenen Rechner des IG in einer selbsterklärenden Webseite an. Neu hinzukommende oder entfernte Rechner werden automatisch von IG erkannt und in Ganglia integriert.

Grid Port Report

Mit dieser Webseite kann auf allen Rechnern des IG ein Portscan durchgeführt werden. Dazu sind zwei Schritte nötig. Zuerst muss mit einem Klick auf "run test" der Portscan gestartet werden, anschließend zeigt ein Klick auf "view results" das Ergebnis des Portscans an. Hiermit kann auf schnelle Weise überprüft werden, ob die Clients korrekt gebootet haben. Ist ein Client richtig gebootet, sollte der Portscan erfolgreich die sechs Ports globus-gatekeeper, globus-ssh, globus-ftp, postgresq, globus-container und ganglia-gmond finden. Sollte ein Port nicht erreichbar sein, empfiehlt es sich, diesen Client gegebenenfalls neu zu booten.

Globus Toolkit Services

Diese Webseite führt einen Test der GT4-Dienste durch. Beim Aufruf der Seite wird der Test der GT4-Dienste gestartet. Je nach Größe des IG kann dieser Test einige Zeit in Anspruch nehmen. Ist der Test durchgelaufen, kann das Ergebnis durch Klicken auf den Link "test result" am Ende der Seite dargestellt werden. Sollte einer der Test ein "failed" ergeben, empfiehlt es sich, mit Hilfe des Grid Port Report nachzusehen, ob der entsprechende Dienst überhaupt erreichbar ist.

Dokumentation

Hier befindet sich die auf der CD verfügbare Dokumentation zum IG. Diese ist noch in einem sehr frühen Stadium. Bitte benutzen Sie auch die Online-Dokumentation auf der »Homepage des IG-Projekts«.

Gridsphere

Gridsphere ist das Portal-System, welches für das IG benutzt wird. Hier werden zukünftig die Anwendungen als Portlets implementiert werden. Zur Zeit beinhaltet das IG-Portal die Portlets "Gridportlets" und die "GT4-portlets". Das Portalsystem und insbesondere die Gridportlets und GT4-Portlets sind in intensiver Entwicklung. Eine vollständige Funktionalität kann nicht garantiert werden. Neu hinzugekommen ist in dieser Version das Grid Admin Portlet, mit dem neue gridweite Benutzer erstellt werden können.
Zur Benutzung von Gridsphere wählen Sie als Sprache Englisch aus (Deutsch funktioniert nicht, siehe Bugliste in den Release-Notes) und melden sich als User "knoppix" mit dem Passwort "noppen" an (Benutzer und Passwort sind bereits eingetragen). Nach dem Anmelden erscheint das Portalsystem. Die bereits verfügbaren Portlets sind als Tabs an der oberen Leiste zu erkennen und werden im Folgendem beschrieben:

Gridsphere - Welcome

Hier befindet sich die Möglichkeit, mit dem Profilmanager das eigene Profil anzupassen. Unter anderem lassen sich an dieser Stelle zusätzlich zu den Gridportlets auch die GT4-Portlets aktivieren, indem im Feld "configure group membership" ein Haken bei den GT4-Portlets gesetzt wird und dann auf "save" geklickt wird. Unter Layout kann das Aussehen von Gridsphere beeinflusst werden.
Bitte ändern Sie hier nicht das Passwort für "knoppix", da dann die Ressourcen in Gridsphere nicht mehr automatisch aktualisiert werden können.

Gridsphere - Administration

In diesem Kernportlet von Gridsphere können neue User, Gruppen und deren Rollen erstellt werden, sowie Portlets installiert werden. Der User knoppix ist standardmäßig als Portal-Administrator konfiguriert und kann alle Einstellungen vornehmen. Für eine detailierte Beschreibung dieses Portlets schauen Sie bitte in der »Dokumentation zu Gridsphere« nach. Wurden mit Hilfe des Grid Admin Portlets neue gridweite Linux-Benutzer erstellt, können mit Hilfe dieses Portlets auch neue Gridsphere-Benutzer erstellt werden. Sofern der Gridsphere-Benutzer denselben Namen und dasselbe Passwort wie der mit dem Grid Admin Portlet erstellte erhalten, kann dieser Benutzer die vollen Funktionen der Grid Portlets nutzen.

Gridsphere - Grid

Dieses Portlet stellt Gridfunktionalität zur Verfügung. Es folgt eine Übersicht über die Unterpunkte:
In dem Punkt "Registry" kann die Ressourcen-Datei von Gridsphere eingesehen werden. Diese Datei wird vom IG automatisch aktualisiert, sobald neue Ressourcen zum IG hinzukommen.
Bei "Credentials" kann das Zertifikat des angemeldeten Benutzers eingesehen werden. Der bei Gridsphere angemeldete Benutzer hat automatisch ein Grid-Zertifikat erhalten, sofern es sich um den Benutzer knoppix oder um einen mit dem Grid Admin Portlet erstellten Benutzer handelt. Dieses Zertifikat ist standardmäßig zwei Stunden gültig. Sollte die Zeit abgelaufen sein, lässt sich an dieser Stelle ein neues Zertifikat erstellen. Das zu benutzende Passwort lautet hierbei "noppen".
Unter "Resources" können die Ressourcen des IG betrachtet werden. Die Ressourcen werden vom IG automatisch aktualisiert. Beachten Sie bitte, dass hier auch MDS2 zur Auswahl steht, dieses jedoch nicht installiert ist und dementsprechend keine Funktion zeigt.
Unter "Files" befindet sich das File Browser Portlet, mit dem Dateien zwischen den Rechnern hin- und hergeschoben werden können.
Im Job Submission Portlet unter "Jobs" können Jobs submittiert werden. Hierbei ist anzumerken, dass aufgrund eines Fehlers in den Gridportlets Jobs nur über GRAM (Globus Resource Allocation Manager Service) und nicht über WS-GRAM (Globus Resource Allocation Management Web Service) submittiert werden können. Die Submittierung erfolgt in drei Schritten, in denen die benötigten Parameter abgefragt werden. Als Job-Scheduler steht in der momentanen Version "fork" zur Verfügung, welcher auch als Default eingetragen ist.

Gridsphere - Grid Admin

Mit diesem neu hinzugekommenen Portlet können neue Linux-Benutzer erstellt werden, die im gesamten IG zur Verfügung stehen. Nach Angabe eines Benutzernamens und klicken auf "OK" wird der Linux-Benutzer auf allen Rechnern des IG erstellt. Das Home-Verzeichnis befindet sich in /clusterwork/home/<benutzername>. Für diesen Benutzer wird automatisch ein gültiges Grid-Zertifikat erstellt. Dadurch kann mit diesem Benutzer die volle Grid-Funktionalität des IG genutzt werden. Soll auch das Arbeiten in Gridsphere mit diesem Benutzer möglich sein, so muss dieser im Administrations Portlet von Gridsphere mit dem Passwort "noppen" erstellt werden. Danach kann man sich als dieser Benutzer bei Gridsphere anmelden und hat automatisch auch hier ein gültiges Zertifikat.
Hinweis: Momentan ist die Anzahl der möglichen Grid-Benutzer auf zwei limitiert.

Gridsphere - GT4-Portlets

Innerhalb des GT4-Portlets ist eine Abfrage des Web-MDS von GT4 integriert. Hier kann beispielsweise der DefaultIndexService des Frontends abgefragt werden, indem auf den Button "Query All Properties" geklickt wird. Zur übersichtlichen Darstellung sollte "servicegroupxls" als XLS-Source gewählt werden.

POV-Ray

»POV-Ray« ist in der Version 3.5 installiert und kann über die Webseite zum gridweitem Rendern eingesetzt werden. Geben Sie hierzu die zu rendernde Szenendatei mit komplettem Pfad an, wählen eine beliebige Auflösung oder eine Voreinstellung und klicken dann auf "Berechnung starten". Die Szene wird automatisch auf alle verfügbaren Rechner im Grid verteilt und berechnet. Es stehen außerdem mit POV-Ray mitgelieferte Beispielszenen zur Auswahl. Sollten Sie eigene komplexe Szenen berechnen wollen, die neben der Szenendatei weitere Dateien benötigt (Texturen, Include-Dateien), so verwenden Sie hierfür bitte das /clusterwork-Verzeichnis, um sicherzustellen, dass alle Rechner im Grid auf diese Dateien zugreifen können.
Haben Sie zusätzlich Antialising gewählt, wird eine Kantenglättung durchgeführt, wodurch sich jedoch auch die Berechnungsdauer erhöht. Während die Szene berechnet wird, muss das Browserfenster, in dem die Berechnung stattfindet, geöffnet bleiben. Ebenfalls darf kein zweites Berechnungsfenster geöffnet werden. Es ist nicht möglich, zwei Berechnungen gleichzeitig durchzuführen. Sollten Sie die Berechnung abbrechen wollen, so klicken Sie bitte auf "Die Berechnung abbrechen", da ein einfaches Schließen des Fensters ein Zurückbleiben von temporären Dateien zur Folge hat.
Ist die Berechnung beendet, so wird zu einer Ausgabeseite gewechselt. Hier kann das Bild im PNG, JPG oder TGA Format gespeichert werden. Hinweis: Trotz Deaktivierung des Caches erscheint hier manchmal das vorherige berechnete Bild. Dies scheint ein Problem von Firefox zu sein. Nach einem Reload der Seite oder durch Klicken auf die Links zum PNG, JPG oder TGA-Format wird das korrekte Bild dargestellt.

Web-MDS

Web-MDS ist über »http://server:8080/webmds« zu erreichen. Web-MDS ermöglicht die Einträge des MDS von GT4 in mit Hilfe des Browsers abzufragen. Standardmäßig werden alle registrierten Dienste des GT4 von allen Rechnern des IG dargestellt.

Das Instant-Grid über die Kommandozeile

Es folgt eine kurze Zusammenstellung von Kommandozeilenbefehlen. Alle Globus-Toolkit 4 spezifischen Befehle setzen hierbei die Benutzung des Users knoppix oder eines mit dem Grid Admin Portlet erstellten Benutzers voraus, da für diese Benutzer die Zertifizierung durchgeführt wurde.

Ermitteln der Rechner im IG:

Mit dem Befehl cat /usr/bin/machines können die Namen der Rechner im IG angezeigt werden. Diese Datei wird alle 30 Sekunden aktualisiert. Eine Ausgabe der momentanen Last ist mittels gstat -a möglich.

Benutzen der Testskripte

Auf dem Frontend befinden sich im Ordner /home/knoppix zwei Testskripte, welche die Funktionsweise von GT4 testen. Diese können mit /home/knoppix/gt-test und /home/knoppix/grid-status.sh aufgerufen werden.

Job-Submittierung mittels WS-GRAM

Eine Job-Submittierung lässt sich mit dem Befehl globusrun-ws durchführen. Auf allen Rechnern im IG ist WS-GRAM gestartet und konfiguriert. Eine Submittierung ist mit globusrun-ws -submit -F https://<host>:8443/wsrf/services/ManagedJobFactoryService -c <command> möglich, wobei der Befehl <command> auf dem Rechner <host> ausgeführt wird. Um z.B. das IG-Logo mittels POV-Ray auf dem Rechner karachi zu berechnen und auf karachi als IG_Logo.png ins dortige /tmp-Verzeichnis zu legen, ist folgender Befehl nötig, wobei die Angaben hinter -c POV-Ray-spezifisch sind:
globusrun-ws -submit -F https://karachi:8443/wsrf/services/ManagedJobFactoryService -c /usr/bin/povray /usr/share/doc/povray-3.5/examples/gwdg_grid.pov +O/tmp/IG_Logo.png
Weitere Hinweise entnehmen Sie bitte der »Anleitung zu WS-GRAM auf der GT4-Webseite«.

Datenaustausch mit GridFTP

Das Kommandozeilentool von GridFTP heisst globus-url-copy. Mittels globus-url-copy gsiftp://<host1/pfad/dateiname1> gsiftp://<host2/pfad2/dateiname2> kann eine Datei namens <dateiname1> von Rechner namens <host1> auf den Rechner mit dem Namen <host2> als Datei mit Namen <dateiname2> in den Pfad <pfad2> geschoben werden. Um z.B. die Datei /tmp/IG_Logo.png vom Rechner karachi in das home-Vrz. von knoppix auf dem Frontend zu schieben ist folgender Befehl nötig:
globus-url-copy gsiftp://karachi/tmp/IG_Logo.png gsiftp://server/home/knoppix/
Weitere Hinweise entnehmen Sie bitte der »Anleitung zu GridFTP auf der GT4-Webseite«.

Einloggen auf den Clients per GSISSH

Vom Frontend aus kann man sich als Benutzer knoppix per gsissh auf allen Clients ohne Passwort einloggen. Hierzu muss der Port 2222, auf dem der GSI-SSHD horcht, angeben werden. Z.B. ist ein Einloggen auf karachi mittels gsissh -p 2222 karachi möglich. Möchten Sie sich von einem Client aus auf einen anderen Rechner im IG einloggen, so müssen sie sich zuerst mit myproxy-logon -s server ein Proxy-Zertifikat zustellen lassen (Passwort: noppen). Anschließend ist ein Einloggen mit gsissh von diesem Rechner aus ebenfalls passwortlos möglich.