High Performance Computing even for document production

“Big Data”-Quiz

3.) “High Performance Computing” techniques are moving into business applications. “Normal-made” programs simply take longer with more and more data. For example, banks and insurance companies send quarterly reports, account statements etc. to their customers.Bisher war das Erzeugen von 4.000.000 Dokumenten eine fehleranfällige Prozedur, die sich über mehrere Tage dahinzog. Durch Techniken des High-Performance-Computing konnten wir die Durchlaufzeit auf derselben Hardware reduzieren
a) to 10 hours instead of several days
b) to 35 minutes instead of several days
c) to 5 seconds instead of several days
Unser Extra ist, dass wir mit unseren High-Performance-Computing-Erfahrungen auch in normalen Projekten bei mittelständischen Kunden Quantensprünge realisieren.

Beispiel: Banken und Versicherungen verschicken mehrmals pro Jahr Quartalsberichte, Kontoabschlüsse usw. an ihre Kunden. Je mehr Kunden, desto mehr Dokumente. Je länger die Dokumentenerzeugung läuft, desto schwieriger wird es allerdings auch, sie überhaupt durchzuführen. Untertags sind in einem typischen Bankenrechenzentrum die Server mit dem Tages-Geschäft gut ausgelastet.
Einen Job, der die Server für mehrere Tage blockieren würde

  • kann man nicht einfach so starten, sondern
  • muss man in kleinere Jobs aufteilen,
  • die entweder neben dem Tages-Geschäft laufen können
  • oder dann in der Nacht bzw. am Wochenende ausgeführt werden

Durch solche langlaufenden Jobs entstehen unnötige Aufwände in der Planung und Durchführung, sowie Extra-Kosten (Wochenendarbeit, Überstunden).

Besonders unangenehm wird es, wenn langlaufende Jobs auch noch instabil sind, d.h. wenn sie abstürzen und jemand eingreifen muss, um Teil-Ergebnisse zu retten usw.

Wir fanden so eine Situation bei einem unserer Kunden vor: Das Erzeugen von 4.000.000 Briefen (inkl. der Berechnung der zukünftigen Raten und Restlaufzeit) war eine fehleranfällige Prozedur, die sich über mehrere Tage dahinzog.

Durch Techniken des High-Performance-Computing konnten wir die Durchlaufzeit auf derselben Hardware von mehreren Tagen auf 35 Minuten reduzieren. Die neue Lösung läuft stabil. Sie ist außerdem in Hinblick auf die Rechnerarchitektur sehr flexibel mit derselben Durchlaufzeit

  • auf einem starken Server sowie
  • auf 10 normalen PCs.

Was steckt dahinter?

  • Wir strukturieren die Daten mitunter anders als in der Datenbank-Welt üblich
  • Wir bringen Daten und Logik in parallelisierbare Einheiten
  • Wir weisen die Rechenpakete dynamisch auf zur Verfügung stehende Rechner zu
  • Wir bringen somit monolithische Programme bzw. Client-Server-Programme zu einer Master-Worker-Konstellation (und nicht bloß Master-Slave)

Das Ergebnis hat einige interessante Vorteile:

  • Die Lösung skaliert zukunftssicher auf Commodity Hardware
  • Die Rechen-Hardware kann heterogen sein.
  • Dadurch kann man bestehende Hardware weiternützen – auch gemeinsam mit neuer Hardware

 

Interessiert? Vereinbaren Sie mit uns
eine Web-Konferenz bzw. ein persönliches Treffen
Zurück zum Quiz

 

 

Previous Post
Catalysts beschleunigt die Suche in Unternehmensdaten mit Apache Solr
Next Post
Mit “Machine Learning” die Nadel im Heuhaufen finden

Related Posts

No results found

Leave a Reply

Your email address will not be published. Required fields are marked *

Fill out this field
Fill out this field
Please enter a valid email address.
You need to agree with the terms to proceed

Menu