Tag Archives: Opslag

Backbone of the Internet? Facebook’s and Google’s datacenters

Google en Facebook zijn twee Internet-giganten, die ongelooflijke hoeveelheden data verwerken en miljoenen interacties per dag verwerken. Vandaag twee filmpjes over de datacenters die daarvoor nodig zijn. Ze zijn niet zo lang, maar geven wel een goed beeld van de opslag- en verwerkingskracht die nodig is om als search- en social media site succes te kunnen hebben. Beide bedrijven hebben datacenters verspreid over de gehele wereld. Samen met datacenters van andere giganten (denk Amazon, Microsoft, Twitter) vormen deze datacenters ‘the backbone of the Internet’.

Voor Google:

Voor Facebook:

Share This:

The costs of storage hardware

Deze infographic brengt de kosten van opslagapparatuur in kaart vanaf 1956. Het gaat uiteraard om de opslaghardware; de kosten van dataopslag zijn uiteraard vele malen hoger, rekening houdend met de organisatie van informatiemanagement er omheen. Maar dit brengt fraai de kosten van de opslagmiddelen in beeld, inclusief de kosten van inflatie. 

The cost of data storage

Share This:

The past, present and future of Data Storage

Kijken we naar gegevensopslag dan heeft dat een erg lange geschiedenis. De infographic van mozy.com laat dat heel mooi zien en doet tevens een duit in het zakje, daar waar het de toekomst betreft. De infographic besteed alleen aandacht aan de gegevensdragers, niet aan wat er nodig is om data te repliceren. Het geeft dan ook alleen de geschiednis weer van de gegevensdragers. Desalniettemin: een interessant plaatje….

68af81d362df094ea6e12e32088e1580

Share This:

The lifespan of storage media

Media zijn niet eeuwigdurend, dat blijkt uit de onderstaande infographic in ieder geval. Theoretisch en rakrisch is dat natuurlijk ook al jaren bekend. De donkergroene balk impliceert de jaren dat het medium in ‘regular use’ is; de lichtgroene balk de tijd dat het medium slechts met extreme zorg kan worden gebruikt.

Overigens: de tijd waarin het medium kan worden gebruikt zegt niets over de mogelijkheden om de informatie die daarop is weggeschreven kan worden gebruikt. Daarvoor zijn hele nadere randvoorwaarden van belang: software, besturingssystemen, hardware compatibiliteit, bestandsformaten, en zo. En uiteraard ook de ‘additional ways media can fail’, waarmee de infographic wordt afgesloten. Een belangrijk aspect voor het langdurige behoud zijn de klimatologische omstandigheden waarin de media worden beheerd. Hoe langer media worden bewaard, hoe extremer de klimaatomstandigheden in de behoudruimten afgestemd moeten worden op de media. Die effecten van het klimaat zijn in deze infographic ideaal. In werkleijkheid is dat bijna nooit zo.

De infographic is van Code 42 Software, Inc en is gemaakt in 2012.

 

storage-media-lifespan

Share This:

Dataverlies aan de orde van de dag

Kritiek gegevensverlies komt steeds vaker voor: het aantal spoedgevallen steeg in een jaar tijd met 21 procent, concludeert gegevensherstelspecialist Attingo uit zijn interne opdrachtstatistieken. Vooral RAID-systemen en virtualisatie zouden tot incidenten leiden.

Dataverlies
Opvallend vaak wordt in het weekend of op feestdagen een beroep gedaan op de ‘recovery service’. Dat is volgens Attingo geen toeval: om de dagelijke werkzaamheden niet te verstoren voeren IT-afdelingen wijzigingen in hun IT-infrastructuur doorgaans tijdens rustige perioden door. Maar wijzigingen zijn blijkbaar ook een belangrijke bron van datadrama’s.

Attingo claimt gegevens van de gecrashte servers of RAID-systemen in 92 procent van de gevallen te kunnen terughalen. In minder dan 1 procent van de gevallen is RAID-gegevensherstel vanwege onherstelbare schade aan de defecte vaste schijf niet mogelijk. In de resterende 7 procent van de gevallen zijn voorafgaande ‘eigen’ pogingen oorzaak van definitief verlies van gegevens, stelt Attingo. Om zo veel mogelijk merken en typen RAID-controllers te kunnen simuleren, past het bedrijf doorlopend reversed engineering toe op de originele controllersoftware.

Continue reading

Share This:

Dunste en zuinigste 1 TB harddisk

Het Data Storage Institute in Singapore werkt aan een nieuwe hybride-harddiskdrive, die dunner is dan huidige SSD’s, minder energie verbruikt en goedkoper zou zijn om te produceren. Een prototype betreft een 1TB-schijf, bijgestaan door 32 GB-flashgeheugen.

Het DSI is een onderzoeksgroep die verbonden is aan Singapore’s Agency for Technology and Research. Ze gingen aan de slag om een harddisk te ontwikkelen die het wat afmetingen en verbruik betreft op kan nemen tegen een SSD. Het prototype is een 2,5″-harddisk met een dikte van slechts 5 mm en een opslagcapaciteit van 1TB, terwijl 32 GB flashgeheugen als cache dienst doet. De schijf is onder meer zo dun door het gebruik van een enkele dubbelzijdige platter, met aan elke kant 500GB opslagruimte.

Continue reading

Share This:

NEN 2082: bespiegelingen over een norm

In het maartnummer van OD heb ik een artikeltje gepubliceerd over NEN 2082, met enige bespiegelingen over de norm en de toekomst ervan. Zoals de meeste bezoekers van deze site weten, ben ik al jaren actief als auditor van organisaties en software, vooral normen als NEN-ISO 15489 en NEN 2082. NEN 2082 is in 2008 vastgesteld en is sindsdien niet aangepast, terwijl de wereld om ons heen niet heeft stil gestaan. Daarbij was deze norm innovatief in die zin dat het een norm was waarin archiveringsfunctionaliteiten van organisaties zoals gerealiseerd in software werden gedefinieerd. Die innovatie is niet opgemerkt en de norm werd (en wordt) vooral gebruikt als een softwarenorm. Mijn conclusies in het artikel:

‘NEN 2082 wordt nogal eenzijdig gebruikt: als een norm waaraan een software op­lossing (en uitsluitend: een records management en/of documentair sys­teem) moet voldoen om een aanbesteding te kunnen doorstaan. Een getoetste software oplossing inzetten in een zelf niet toetsbare organisatie is geen recept voor succes. De terechte nadruk die in nieuwere regelgeving en inspectiekaders gelegd wordt op kwaliteitssystemen vraagt om toetsbare organisaties. NEN 15489 biedt daarvoor de kaders. NEN 2082 (als rechtstreeks aansluitend bij NEN 15489) mag daarom best een ander, duidelijker imago krijgen als pure softwarenorm. Dat vraagt (beperkte) herziening van de norm’.

Continue reading

Share This:

Een bit hoeft niet meer dan 12 atomen te vergen

12 atomen. Die volstaan voor het opslaan van één bit aan informatie, hebben wetenschappers van IBM bewezen. Dat is aanmerkelijk minder dan de ongeveer 1 miljoen atomen die een bit nu op harde schijven in beslag neemt. En dat betekent dat men op een gegeven oppervlak veel meer informatie kwijt kan dan tot nog toe gedacht werd.

De sleutel tot de superverdichting van de informatie-opslag is een fenomeen dat antiferromagnetisme heet. IBM slaagde erin om atomen zo te manipuleren dat ze om en om een tegengestelde magnetische spin krijgen. Daardoor verdwijnt de neiging van naburige atomen om zich naar het magnetische veld te richten, die ferromagnetisme kenmerkt. En dat betekent dat de afstanden die aangehouden moeten worden tussen de bits sterk verkleind kunnen worden. IBM heeft een filmpje met uitleg op YouTube geplaatst.

 

Continue reading

Share This:

Duurzaamheid gewaarborgd ?

De harde schijf van IOSafe overleeft meerdere stroomstoten van 1 miljoen volt. Na de elektrocutie is de data nog steeds leesbaar. De schijf die wordt gebruikt tijdens de demonstratie tijdens de Consumer Electronics Show (CES) in Las Vegas bevat SSD’s uit de 500 serie in RAID 1. Die komt in het tweede kwartaal op de markt en gaat 2000 dollar kosten. Er komt ook een goedkopere variant met een harde schijf van 500 gigabyte voor 500 dollar.

IOSafe koppelt zijn schijven aan een online backupdienst en levert ook een recovery-service, voor het geval dat de data toch beschadigd is. Volgens de fabrikant gaat het in 99,9904 procent van de gevallen goed.

Continue reading

Share This:

Markt voor ‘storage’ en ‘archiving’ explodeert

De opslagmarkt lijkt een topjaar te beleven. Volgens marktonderzoeker IDC beleeft de zakelijke markt voor opslagsoftware het beste jaar in bijna tien jaar. In het derde kwartaal was deze markt goed voor 3,5 miljard dollar, een stijging van 9,7 procent. De kwartaalomzet van 3,5 miljard dollar is de op een na hoogste omzet uit de verkoop van opslagsoftware in de afgelopen negen jaar. Alleen in het eerste kwartaal van dit jaar werd een hogere kwartaalomzet gerealiseerd, zo blijkt uit metingen van marktvorser IDC.

Voor zijn zogenoemde Worldwide Storage Software QView kijkt IDC naar de gerealiseerde omzetten van grote bedrijven als EMC, Symantec en IBM. De onderzoekers maken hierbij onderscheid tussen zeven verschillende markten, zoals die voor backupsoftware, voor beheersoftware en voor beveiliging. In zes van deze markten constateert IDC dat er in het afgelopen jaar sprake is geweest van groei; in vier van die markten zelfs een groei van meer dan 10 procent.

Continue reading

Share This:

Prijzen van opslagmedia exploderen

Het gemiddelde prijsniveau van harde schijven is het afgelopen halve jaar stabiel geweest. De overstromingen in productieland Thailand hebben de prijzen vanaf midden oktober echter doen exploderen. Ondertussen zijn de prijzen in Europa meer dan 150 procent omhoog gegaan. In Nederland zijn sommige hdd-modellen zelfs verdriedubbeld in prijs. 

De Europabrede stijging is gemeten door de Britse prijsvergelijker Idealo, op basis van metingen bij Britse, Duitse, Franse en Italiaanse webwinkels. Tussen midden-oktober en midden-november is de gemiddelde prijsstijging uitgekomen op 5,4 procent per dag. De grootste prijsexplosie is gemeten in Duitsland.

De prijsexplosie varieert wel per fabrikant, merkt techblog Slashdot op. De gemiddelde prijs op Amazon voor een 1 TB-schijf van Western Digital is eind oktober ruim verdubbeld, maar daarna weer iets gezakt. De gemiddelde prijs voor een 1 TB-schijf (met minder cachegeheugen) van Seagate is rond dezelfde tijd bijna verdrievoudigd.

Continue reading

Share This:

Cloud heeft nieuwe opslag nodig

Producenten van flashdrives moeten aparte producten voor grote rekencentra ontwikkelen. In de grote rekencentra die de infrastructuur van de cloud vormen, telt elke watt, zei Dileep Bhandarkar, hoofdarchitect van de divisie van Microsoft die diens rekencentra bouwt.

Bhandarkar sprak op een conferentie over rekencentra van LSI Corp die werd bijgewoond door een verslaggever van EE Times. Vanwege de prestaties maakt Microsoft in zijn rekencentra voor specifieke toepassingen graag gebruik van flashdrives, naast de harde schijven. De flashdrives presteren 30 tot 40 procent beter.

Daardoor gebruiken ze ook meer energie. Met 2 tot 3 procent extra is dat weinig in relatie tot de prestatiewinst. Maar in relatie tot de kosten is dat niet het geval: ongeveer 80 procent van het budget van zo’n rekencentrum wordt opgesoupeerd door mechanische componenten en de energierekening. Daardoor maakt het zelfs uit als we maar 1 watt besparen op het energiegebruik van een server, zei Bhandarkar.

Bhandarkar ziet vooral besparingsmogelijkheden in de bandbreedte van flashdrives. ‘But we don’t need maximum bandwidth in flash–that’s expensive and the power goes up’,” zo stelde Bhandarkar. ‘I don’t want a drive with two million IOPS–I’ll settle for one with 20,000 IOPS, but there’s an opportunity for the industry to define what I call Cloud Multi Level Flash’. Daar ligt volgens Bhandarkar een kans voor de industrie om wat hij ‘een flashdrive speciaal voor de cloud’ noemt te ontwikkelen.

Continue reading

Share This:

Datacenter let steeds meer op duurzaamheid

De omvang van de digitale wereld neemt toe. Dit leidt tot een grote stijging van het aantal datacenters, sommigen zeggen met een factor 50. Dit betekent ook een hoger energieverbruik per jaar. Dat zal voor de datacenters per jaar een verhoging van 10 % energieverbruik betekenen. Greenpeace houdt het energieverbruik van IT bedrijven die veel data verwerken nauwgezet in de gaten. In het rapport How dirty is your data komen de meeste van deze bedrijven er slecht af. Veel van de datacenters draaien nog op energie uit kolencentrales. 

Duurzaamheid speelt wel een steeds belangrijkere rol. Toen ik enkele jaren geleden (in 2008) op deze site een column schreef over de milieuaspecten van het digitaler worden van de wereld, stonden we nog in een beginfase van ‘Green Computing’. Ondertussen is er veel gebeurd, al is IT nog steeds niet ‘groen’ en kan er nog heel veel verbeteren. Nieuwe initiatieven bij het bouwen en inrichten van datacenters zijn steeds meer gericht op duurzaamheid. 

Continue reading

Share This:

‘Nieuwe werken’ leidt tot verlies van informatie

Bedrijven verliezen steeds vaker gevoelige bedrijfsinformatie door het werken met mobiele apparatuur, zoals laptops, usb-sticks en telefoons. Slordigheid, diefstal en beschadigde apparatuur zijn de belangrijkste oorzaken voor het dataverlies, meldt het bedrijf Stellar Data Recovery. Daarnaast blijkt dat ook de archiveringsfunctionaliteiten binnen de meeste bedrijven niet aan de normen voldoen.

Door ‘het nieuwe werken’ wordt er steeds vaker gebruik gemaakt van mobiele apparatuur. Werknemers mogen steeds vaker kiezen waar en wanneer ze werken en gaan ook steeds vaker buiten kantoor aan de slag. Volgens Kees Jan Meerman van Stellar Data Recovery zijn beveiligingsbeleid en de back-up van data op de netwerkserver van het bedrijf vaak goed geregeld. Er wordt doorgaans dagelijks een back-up gemaakt. ‘We zien alleen dat medewerkers grote hoeveelheden bedrijfsdata op laptops, USB-sticks en zelfs in hun mobiele telefoons opslaan. Die vallen buiten het zicht van de IT-manager en de gemiddelde medewerker maakt niet elke dag of week een back-up. Die denkt daar gewoonweg niet aan’ constateert Meerman.

Continue reading

Share This:

Grootste academisch cloudopslag in gebruik genomen

Een cloudopslagsysteem dat honderden petabytes kan herbergen en een verbindingscapaciteit heeft van 10 Gbps is geopend bij het San Diego Supercomputing Center van de universiteit van San Diego. Volgens de universiteit is daarmee het grootste academische cloudopslagsysteem in de Verenigde Staten een feit. Het staat ter beschikking van medewerkers en studenten van universiteiten, maar kan ook worden gebruikt door de industrie.

Het centrum start met een capaciteit van 5,5 petabyte aan opslagcapaciteit, maar die kan eenvoudig worden uitgebreid naar vele honderden petabytes. De SDSC Cloud heeft een constante leessnelheid van 8 tot 10 gigabit per seconde en die neemt toe naarmate meer knooppunten worden toegevoegd. Dat is vergelijkbaar met het leegtrekken van een 250 GB harde schijf van een laptop in 30 seconden.

De opslag kost bij SDSC Cloud 3,25 dollar per 100 GB per maand. Het centrum heeft al enkele Amerikaanse instituten als klant. De dienst is gebaseerd op OpenStack cloudinfrastructuursoftware en ondersteunt het gebruik van Rackspace en Amazon Simple Storage Service API’s. Binnenkort is SDSC Cloud ook in staat een AES 256-bits versleuteling aan te bieden en een backup-faciliteit bij de universiteit van Berkeley.


Continue reading

Share This:

120 Petabyte aan opslag

IBM bouwt voor een onbekende klant een opslagunit waarop 120PB aan data past. Daarmee is het veel groter dan het grootste (bekende) opslagsysteem tot nu toe. De opslag wordt gemaakt met 200.000 harde schijven van ieder gemiddeld 600GB. Door alle harde schijven aan elkaar te koppelen wordt een opslagunit gemaakt met 120 petabyte aan geheugen. De klant wil met de enorme hoeveelheid opslag gedetailleerde simulaties maken van situaties in de werkelijkheid.

De schijven zullen worden geplaatst in horizontale lades in hoge rekken, maar koeling moet worden gedaan door water, omdat er niet genoeg ruimte is voor meer traditionele koelmethoden. De opslag is voldoende om zestig keer de hele database van internetarchief Wayback Machine te bevatten. 

Continue reading

Share This:

Datacentra in kantoren ?

APC, onderdeel van Schneider Electric, wil graag leegstaande kantoorpanden ombouwen tot duurzame datacentra. Het biedt financieel en milieutechnisch kansen, en aan datacentra worden minder eisen gesteld op het gebied van bereikbaarheid en parkeergelegenheid.

Dit stelt Wim Hendriksen, country manager Benelux bij APC. Hij ziet dat de vraag naar servercapaciteit de komende jaren fors toeneemt. Hendriksen: ‘Door de populariteit van social media, cloud computing en smartphone-applicaties stijgt de hoeveelheid dataverkeer enorm. We verwachten dat in 2050 veertig procent van de mondiale energieconsumptie komt van datacentra’. Hij geeft aan dat twintig procent van de Nederlandse IT-bedrijven hun datacentercapaciteit willen uitbreiden en ze dat bij voorkeur in Nederland doen.

Continue reading

Share This:

Rekenmodellen voor cloudopslag kloppen niet

Leveranciers van opslag in de cloud hebben ondeugdelijke afrekenmodellen, waarbij de relatie met feitelijke kosten zoek is. Sommige klanten betalen daardoor te veel, andere te weinig.

Dat stelt Matthew Wachs, van Carnegie Mellon University, op de Usenix-conferentie in Portland, Oregon. Hij ziet vooral problemen in de manier waarop de rekening wordt opgemaakt voor toegang tot de gegevens. Veelal kiezen de leveranciers voor het aantal getransporteerde megabytes, het aantal input/outputoperaties per seconde of een variatie daarop. Die zijn voor de leverancier makkelijk te meten, en zijn makkelijk inzichtelijk te maken voor de klant. Maar juist deze transacties zeggen weinig over de feitelijke belasting van de disksystemen die de cloudleverancier heeft draaien, zo betoogt Wachs.

Ter illustratie wijst Wachs op het verschil tussen sequentiële en willekeurige schijftoegang. Bij het lezen van een grote hoeveelheid gegevens die aaneengesloten op schijf staan, hoeft het schijfsysteem veel minder werk te verzetten dan bij het uitlezen van gegevens die op verschillende plaatsen op de schijf staan. Per megabyte per seconde transfer vanaf disk kan de belasting bij sequentiële bestanden 1,6 procent zijn, en bij ‘random access’ wel 67 procent.

Continue reading

Share This:

Vraag naar storagesoftware en diskopslag stijgt weer

9 maart 2011

In het vierde kwartaal van 2010 nam wereldwijd de vraag naar dataopslagsoftware toe. De omzet in dat kwartaal bedroeg 3,4 miljard dollar, dat is 10,6 procent meer dan in het vierde kwartaal van 2009. Sterkste groeier was Hitachi Data Systems, gevolgd door EMC. De markt voor storagesoftware zit meer dan een jaar in de lift, aldus onderzoeksbureau IDC. Leverancier EMC is in het vierde kwartaal van 2010 marktleider, het bedrijf zag zijn omzet met 18 procent groeien naar 866 miljoen dollar. Symantec staat op de tweede plaats en wist slechts 0,1 procent te groeien naar 543 miljoen dollar. IBM is derde speler met een omzet van 443 miljoen dollar. Op nummer vier staat NetApp met een omzet van 312 miljoen dollar. Hitachi Data Systems (HDS) wist een groei te behalen van 47 procent en staat nu op de vijfde plaats met een omzet van op 148 miljoen dollar. In 2010 steeg de verkoop van storagesoftware met 10,3 procent naar 12,7 miljard dollar. Dat is meer dan in 2009 toen er sprake was van een groei van 3,2 procent. In 2010 nam de vraag naar beheersoftware voor dataopslaginfrastructuren met 23,6 procent toe. De vraag naar dataprotectie- en recovery-software nam toe met 11,2 procent naar 4,4 miljard dollar.

Continue reading

Share This:

Cloudstad in China

14 februari 2011

China bouwt aan een cloudcomputing- en kantorencomplex. Deze nieuwe kleine stad wordt in feite een megadatacentrum omgeven door kantoorpanden. Het hele complex verrijst op circa 58 hectare grond, en het eerste datacentrum zal ongeveer 60.000 vierkante meter in beslag nemen. IBM zal het datacentrum gaan bouwen, in samenwerking met het Chinese Range Technology Development. Het Chinese megadatacentrum wordt bijna even groot als het Amerikaanse Pentagon, hoewel het verspreid wordt over meerdere gebouwen, vergelijkbaar met een bedrijventerrein. De impressie suggereert dat er ook woonwijken bij zullen verrijzen. Het kan een unieke Chinese aanpak zijn om datacentra en ontwikkelaars bij elkaar te huisvesten. Dit soort grote projecten, of het nu om supercomputers of uitgestrekte bedrijventerreinen voor softwareontwikkeling gaat, trekken veel aandacht. Maar ondanks de snel stijgende uitgaven is het totale Chinese IT-budget nog steeds maar een vijfde van dat van de Verenigde Staten. Marktonderzoeker IDC raamt dat de IT-uitgaven van China, inclusief hardware, softwarepakketten en diensten, dit jaar in totaal ongeveer 112 miljard dollar zullen bedragen. Dat is 15,6% meer dan vorig jaar, toen China 97 miljard dollar aan IT besteedde. Ter vergelijking: de Amerikaanse IT-uitgaven zullen naar verwachting dit jaar 564 miljard dollar bedragen, een stijging van 5,9% ten opzichte van 2010.

Continue reading

Share This: