FU-ZEDAT (Langzeit-)Archivierung wissenschaftlicher Daten
Aufgaben des zentralen Archivierungs- und Backup-Services
Der Backup-Service stellt im wesentlichen folgende Dienstleistungen zur Verfügung:
- Backup von Servern innerhalb des Campus-Netzes.
- (Langzeit-)Archivierung wissenschaftlicher Daten.
- Begutachtung von vermeintlich defekten Speichermedien bzw. Datenwiederherstellung im Rahmen unserer Möglichkeiten.
Anfragen
Fragen an den Backup-Service richten Sie bitte an: fab-service@zedat.fu-berlin.de
Backup
Ein zentraler und zugleich automatisierter Backup-Service wie der FU-Archiv- und Backup-Service (FAB-Service) gehört heute zu den Regel- oder Basisdiensten für Forschung, Lehre und Verwaltung. Seine Aufgabe ist, teure Datenverluste, die bei Dateisystem- und Festplattendefekten oder diversen Anwenderfehlern entstehen können, zu verhindern. Im schlimmsten Fall kann ein Verlust von Daten Forschungsprojekte vorzeitig beenden oder Verwaltungsabläufe lahm legen. Der zentrale Backup-Service ermöglicht, verloren gegangene Daten rasch und umfassend - gleichsam auf Knopfdruck - zu rekonstruieren. Dadurch erhöht er in den Fachbereichen, Zentraleinheiten, Zentralinstituten und Verwaltungen der Freien Universität die Datensicherheit und kann die Produktivität bei der Nutzung von DV-Systemen steigern. Die individuelle Datensicherung vor Ort ist eine schlechtere Alternative, da sie zeitaufwändig und vom Erfahrungsstand einzelner Personen abhängig ist.
Archivierung
Der zentrale Archivierungs-Service dient dazu, große Datenmengen, die bei Messreihen, Langzeituntersuchungen usw. anfallen oder von Satelliten empfangen werden, auf eine für die Nutzer komfortable und zeitsparende Weise zu speichern und langfristig zur Verfügung zu halten. In Bereichen wie Meteorologie oder Chemie kommt einem automatisierten Archivierungs-Service eine besondere Bedeutung zu. Manche Drittmittelprojekte werden unter der Voraussetzung bewilligt, dass an der betreffenden Universität eine langfristige und zuverlässige Speicherung großer Datenbestände möglich ist. Zu Recht gehört für die DFG ein zentraler Archivierungs-Service zur Grundausstattung einer Hochschule. Ferner empfiehlt die DFG in ihren Vorschlägen zur Sicherung guter wissenschaftlicher Praxis: "Primärdaten als Grundlagen für Veröffentlichungen sollen auf haltbaren und gesicherten Trägern in der Institution, wo sie entstanden sind, für zehn Jahre aufbewahrt werden." Unser Service ergänzt bzw. ermöglicht erst die Umsetzung dieser Empfehlung.
Datenwiederherstellung
Wir begutachten vermeintlich defekte Speichermedien (meist Festplatten) aus Servern, PCs und Laptops. Anhand des Befundes wird die Diagnose gestellt, ob ein physikalischer Defekt der Platte vorliegt oder ein logischer Defekt in Filesystem oder Partitionstabelle. In beiden Fällen wird beurteilt:
- ob die gesuchten Daten noch vorhanden sind.
- ob und mit welchem Aufwand die Daten noch zu retten sind.
- ob wir die Daten selbst retten können.
- ob es sich lohnt, einen kommerziellen Dienstleister zur Datenrettung zu beauftragen.
Zu unseren bisherigen Kunden zählte u.a. die Bundeswehr. Dieser Service steht allen Studenten und Mitarbeitern der Freien Universität kostenlos zur Verfügung, soweit die betroffenen Daten in einem Zusammenhang mit dem Studium oder der Tätigkeit an der Universität zu tun haben..
Betrieb des Dienstes
Mit dem Betrieb des Backup-Servers wird an der Freien Universität die Datensicherheit für die am automatischen Backup-Service teilnehmenden Rechner gewährleistet. Beispielsweise sichert der Backup-Server die Daten der großen, an der ZEDAT betriebenen Kommunikationsserver.Um mit dem kontinuierlich wachsenden Datenaufkommen mitzuhalten, wird die Hardware des Backup-Services regelmässig erneuert. Aus Kostengründen kann das System jedoch nicht überdimensioniert sein. Wir sind daher bei größeren Datenmengen darauf angewiesen, dass diese uns möglichst lange vorher angemeldet werden. Zuletzt wurde Mitte 2011 die verwendete Bandtechnologie von Ultrium-2 auf Ultrium-5 Bänder umgestellt. Ihre Daten werden in zwei Kopien auf verschiedenen Magnetbändern gespeichert. Die Bänder stehen in einer ADIC-Scalar-10000 Tape-Library, die zweiten Kopien werden zeitweise in einem Lampertz-Datentresor aufbewahrt. Die bisherigen und geplanten Modernisierungsmaßnahmen im Überblick:
Zeitpunkt | Massnahme | Verbesserung |
---|---|---|
November 1995 | SNI-Server Challenge L (MIPS/IRIX) "Pangaea" und Grau-ABBA/E Tape-Library mit VHS-Bändern | Erstbeschaffung; speichert 15 GB mit 3? MB/sec pro Band; Netzanbindung mit 100MBit-Fddi |
August 1999 | SGI-Server Origin 200 (MIPS/IRIX) "Hoover" und Ablösung der VHS durch DLT-IV Bänder, DLT-7000 Bandlaufwerke | Fast-Wide SCSI; speichert 50 GB mit 7 MB/sec pro Band; Netzanbindung mit 1GBit-Ethernet |
Juli 2002 | Ergänzung der DLT-IV Bänder durch Ultrium-1-Bänder und -Bandlaufwerke | LVD-160 SCSI; speichert 140 GB mit 21 MB/sec pro Band |
November 2003 | SGI-Server Altix 350 (Itanium/Linux) "Hoovix" und Neubeschaffung einer Tape-Library ADIC Scalar 1000 mit Ultrium-2-Bändern und -Bandlaufwerken | LVD-160, LVD-320 SCSI und 2 GBit Fiberchannel; speichert 318 GB mit 48 MB/sec pro Band; Netzanbindung mit 10GBit-Ethernet |
August 2008 | Einstieg in die Ultrium-4-Bandtechnologie als Ergänzung zu Ultrium-2 | speichert ~1,1TB mit ~200 MB/sec pro Band |
August 2011 | Ablösung des Altix 350 Servers durch eine SGI UV-10 (Viersockel Intel Server) | vielfache I/O Bandbreite |
November 2011 | Ablösung der Ultrium-2 durch Ultrium-5 Bandtechnologie | zusammen vier Ultrium-5 Laufwerke, 2,2 TB pro Bandkassette |
Juni 2014 | Datenbestand im Backup-System erreicht 2 Petabyte | - |
Juni 2016 | Neubeschaffung der Tape-Library, Erneuerung der Bandtechnologie: Ultrium-6/7 | Vervierfachung der Speicherkapazität |
Als Backup-Clients werden UNIX-Server mit den Betriebssystemen AIX, SUN-Solaris, Linux (x86 und x86-64) und FreeBSDbedient, außerdem Server mit Mac OS X, Windows-2003/2008/2012 (x86, x86-64 und ia64) jedoch keine Arbeitsplatz-PCs oder Windows-9x/Me/Vista/7/8/10 -Clients. Es werden Server aus der gesamten Freien Universität bedient. Vorraussetzung ist jedoch, daß der Datendurchsatz (Festplattenperformance und Netzanbindung) dem Datenvolumen angemessen ist und keine anderen technischen Hürden (Downtimes, schlechte oder falsch konfigurierte Firewalls, ...) der Sicherung entgegenstehen.
Warum werden keine Arbeitsplatzrechner vom Backup-Service bedient?
Auf dem FU-Campus sind viele tausend Rechner im Netz. Der Aufwand und die Kosten (Lizenzen und Speicherkapazität) für die Sicherung aller derer Daten wäre immens. Dabei stellt sich oft heraus, dass die unwichtigsten Rechner den höchsten Wartungsaufwand verursachen. In einer handhabbaren IT-Infrastruktur werden deshalb unwiederbringliche Daten zentral auf fachgerecht gewarteten SAN/NAS/File-Servern abgelegt, die dann auch gerne vom Backup-Service bedient werden. Für die Datensicherung Ihres Windows-PCs benutzen Sie bitte Ihren CD/DVD-Brenner, USB-Sticks und ntbackup.exe, (cw)rsync, Zip- oder vergleichbare Programme.Möchten Sie Clients neu in den Backup-Service aufgenommen haben, wenden Sie sich bitte an Ihren Systembetreuer und lesen Sie hier weiter.
Dokumentationen der Software
finden Sie hier.
Daten-Services der ZEDAT
- Betrieb des Backup-Systems (Server und Tape-Library) und Betreuung der dazu erforderlichen Software
- Backup- und Archivierungsdienste für Server, Workstations und Messrechner in den Fachbereichen, Zentraleinrichtungen, Zentralinstituten und der Verwaltung
- Beratung in Fragen der Datensicherung und Datenwiederherstellung
- Web-Space, Home-Space u.a. (Kommunikations-Dienste)
Aufgaben des Arbeitsfeldes FAB
- Administration von Backup-Server und Backup-Software
- Administration der Tape-Library und Migrations-Software
- Koordinierung mit den Fachbereichen
- Bereitstellung der Backup-Client-Software und Installationshilfe
- Beratung in Fragen der Datenhaltung, Datensicherung und Datenwiederherstellung
- Planung der Backup-Infrastruktur
- Erhebung und Auswertung statistischer Daten zum FAB-Dienst
Der Backup-Service der ZEDAT
- Eine genauere Beschreibung des Backup-Service finden Sie hier
- Ein Bild zur Veranschaulichung des Backup-Datenflusses sehen Sie in dieser Schautafel
- Die FAB-gruppe im Einsatz (ohne Ton)
Statistiken
Der Backup-Service veröffentlicht aktuelle Statistiken über den Dienst. Weitere umfangreiche Daten erhalten Sie auf Anfrage.
Technische Kennzahlen, Historie
Die technischen Daten des Ende 2004 in Betrieb genommenen Backup-Systems konnten sich damals sehen lassen: Der interne Cache des Backup-Servers betrug 3,3 TB und konnte dauerhaft etwa 600 MByte/sec umsetzen (lesen und schreiben zusammen). Die Netzwerkinterface (optisch 10 GBit/sec) schafft etwa 250 MByte/sec je Richtung. Jedes der Ultrium2-Bandlaufwerke kann 35 bis 90 (im Schnitt 45) MByte/sec lesen oder schreiben, die Ultrium4-Bandlaufwerke schaffen etwa 200 MB/sec Datenumsatz. Die Latenzzeit zum Zugriff auf Offline-Backups beträgt etwa 80 Sekunden, ein Zugriff auf die Backup-Daten durch Ihre Backup-Client-Software ist sieben Tage die Woche, 24 Stunden am Tag möglich ("24x7").Zum Zeitpunkt dieses vorletzten Umstiegs auf den Altix-Server Ende 2004 wurden etwa 60 Terabyte Daten gespeichert (erste und zweite Kopie zusammen). Das langjährige Datenwachstum entspricht etwa dem Kapazitätszuwachs moderner Festplatten, also etwa 60 % pro Jahr. Die neue Tape-Library ist mit ~1600 Bändern für etwa 400 Terabyte Daten bestückt. Dabei ist berücksichtigt, dass durch Hardwarekompression in den Bandlaufwerken etwa 50 % mehr Daten gespeichert werden können, auf einer 200 GB Ultrium-2 Kassette also z.Z. etwa 300 GB, auf einer Ultrium-4 Kassette etwa 1200 GB. Wegen der zunehmenden Verbreitung von bereits komprimierten Dateiformaten (z.B. gz, jpeg, Videos) wird die Kompressionsrate zukünftig etwas abnehmen.Die letzte größere Modernisierungsmaßnahme in der zweiten Jahreshälfte 2011 wurde zentral mit Sondermitteln finanziert. Der sechs Jahre alte Server wurde durch eine SGI UV-10 mit 32 CPUs und 256 GB Arbeitsspeicher ersetzt, das Plattensystem wurde durch weitere Platten beschleunigt und die Ultrium-2 Bandtechnologie wurde ersetzt durch die Ultrium-5 Bandtechnologie. Ultrium-5 speichert zum selben Bandpreis die achtfache Datenmenge pro Kassette und nimmt die Daten mit der vierfachen Geschwindigkeit entgegen. Die Ultrium-4 Technologie wird parallel zu Ultrium-5 beibehalten. Die Tape-Library aus 2004 wurde noch beibehalten und wird erst im Juni 2016 mit dann erneut anstehenden neuen Bandtechnologien erneuert. Zum Zeitpunkt des Umstiegs 2011 wurden 1 Petabyte Daten gespeichert, Ende 2015 bereits 2,5 Petabyte.
zukünftige Entwicklungen
Seit Aufnahme des Dienstes 1993 kann der gespeicherte Datenbestand auf maximal 1000 bis 2000 Bandkassetten untergebracht werden, obwohl die Datenmenge um mehrere Größenordnungen gewachsen ist. Der Grund für die konstant bleibende Menge an Bandkassetten ist, dass die Kapazität und der Datenumsatzgeschwindigkeit bei Bandkassetten ähnlich wächst wie die von Festplatten und Hauptspeicher. Diese wiederum bestimmen die Problemgrößen, die von Wissenschaftlern bearbeitet werden können.Essentiell für die Finanzierbarkeit des Dienstes ist es folglich, die Bandtechnologie in regelmäßigen Abständen zu modernisieren: Meist etwa ein Jahr nach Markteinführung einer neuen Bandtechnologie fallen die Medienpreise (bezogen auf die Speicherkapazität) unter die Preise für die älteren Bandtechnologien. Ab diesem Zeitpunkt ist es günstiger, Kapazitätserweiterungen in der neuen Bandtechnologie zu realisieren.Daher wurden im Sommer 2008 drei Ultrium-4-Bandlaufwerke und wenige Hundert Medien beschafft, die die bisherige Ultrium-2-Technologie zunächst erweiterten. In den folgenden drei Jahren wurde dann langsam der Datenbestand auf Ultrium-4 umgezogen und die Ultrium-2 Bandkassetten mußten weichen, da die Stellplätze für Bandkassetten in der Tape-Library begrenzt sind und die alten Laufwerke und Bänder verschlissen sind. 2011 wurde Ultrium-2 dann ausgesondert, weil Platz für die Ultrium-5 Bänder benötigt wurde. Die Ultrium-4 Technologie ist seit Herbst 2011 unser "neues" Auslaufmodell, das zukünftige Datenwachstum wird bis Juni 2016 nur noch in Ultrium-5 stattfinden. Wegen des hohen Bandbestandes in Ultrium-4 wird diese Technologie wieder über einen längeren Zeitraum auslaufen. Mit der neuen Tape-Library ab Juni 2016 werden LTO6-Medien und LTO7-Laufwerke beschafft. LTO6 Medien haben zur Zeit deutlich die geringsten Preis-pro-Terabyte Kosten. Vorraussichtlich 2017 werden wir dann schon LTO7-Medien günstig beschaffen können. Dann kommt jedoch bald schon der Zeitpunkt, an dem die Ultrium-8, Ultrium-9, eine konkurrierende Bandtechnologie oder vielleicht eine ganz andere Technologie für das sichere und energieeffiziente Speichern von großen Datenmengen bereit steht.Nur der rechtzeitige Umstieg auf neue Bandtechnologien bewahrt den Dienst vor einem finanziellen Kollaps: Der Zukauf von Medien in alter Technologie kostet bald ein Mehrfaches gegenüber Medien in aktueller Technologie, außerdem brauchte man nun teure Erweiterungen in Bandstellplätzen, um die Bänder noch unterbringen zu können: Während Magnetbänder etwa zwischen 20 und 50 Euro kosten, kostet ein Bandstellplatz einer Tape-Library ein mehrfaches davon (Preis der Tape-Library dividiert duch die Anzahl der Bandstellplätze in der Tape-Librray).