De wijze waarop onze data wordt , opgeslagen en gebruikt is de laatste jaren aanzienlijk veranderd. Vrijwel elke organisatie heeft te maken met exponentiële groei van data, gegenereerd door devices, consumenten, bedrijven en media. De mogelijkheden die gebruikers hebben om data te genereren groeit met de mogelijkheden die devices- en applicatiegebruikers bieden.

Traditionele systemen voor dataverwerking en opslag kunnen deze groeiende datastromen niet meer aan vandaag de dag. Hoe sla je data uit diverse bronnen op? Hoe maak je data snel beschikbaar?

We volgen prominente Cloud providers die al jaren geleden wisten dat een data-explosie aanstaande was en er een verandering in onze opslagmethodes moest volgen. Alle Cloud providers maken gebruik van een cognitief storage-stelsel waarin verschillende opslagmedia en applicaties met elkaar samenwerken en die weinig meer met back-up te maken heeft.

Google is er altijd open over geweest en toont trots haar datacenters waar traditionele storage gecombineerd, gecontroleerd en beheerd worden door moderne cognitieve datasystemen. Zie hoe Google een uitgebalanceerd metadata tagsysteem gebruikt om haar YouTube filmpjes snel van tape naar cache te sturen waarbij een reclameboodschap de korte wachttijd laat overbruggen.

Andere Cloud partijen zijn minder open over het beheer en opslag van grote en steeds groter wordende datastromen, maar een kort onderzoek leert dat ook Microsoft Azure, Amazon alsmede Oracle, tape storage gebruiken om alle data te verzamelen en een cognitieve applicatie die data beheert en verplaatst, laat opschalen, versiebeheer toepast en zorg dat u altijd en vanaf ieder locatie bij uw data kunt. Kortom: uw data gecontroleerd en beschikbaar, altijd en overal, in een GDPR-waardige wijze.

RESTful API`s laten platformen communiceren, maar wat is het?
De volledige naam staat voor: Application Programming Interface, en is een  combinatie van technische bestanden, documentatie en overige ondersteuning. API`s maken het programmeurs mogelijk om externe applicaties/functies aan te roepen, die zodoende in een website of op een platform kunnen worden geïntegreerd.

REST staat voor REpresentational State Transfer. Dit is geen standaard of een protocol, maar een architecturaal concept voor het aanspreken van web services.  In de praktijk word deze meestal toegepast met de http 1.1 standaard voor transport en XML en JSON (JavaScript Object Notation) voor content. REST en RESTful worden als terminologie vrijelijk door elkaar heen gebruikt.

Object storage
Object-opslag systemen kunnen enorme hoeveelheden ongestructureerde gegevens bewaren. Object opslag wordt dan ook gebruikt voor doeleinden zoals het opslaan van foto’s op Facebook (Haystack), muziek op Spotify, of bestandsvormen in online samenwerking diensten, zoals Dropbox en NetFlix.

Data in diverse objecten kan indien er een datamanagementsysteem wordt gebruikt (b.v. Stronglink) altijd door onafhankelijke, lees vendor-vrije systemen worden aangesproken.

SQL of Data lake?
Een van de grootste verschillen tussen SQL-database/warehouses en data lakes is, dat databases bestaan uit vooraf gestructureerde data. Voordeel hiervan is dat je simpeler antwoorden krijgt op analytische vragen, zoals prijsontwikkelingen en de hoeveelheid verkopen. Data lakes daarentegen worden gebruikt om de veel grotere hoeveelheden aan ruwe (ongestructureerde) data te verzamelen. Deze data (flows) wordt opgeslagen en kunnen daarna voor verschillende doeleinden worden geanalyseerd. De vraag naar ongestructureerde data stijgt. Omdat organisaties steeds vaker een grotere diversiteit en grotere hoeveelheden aan ongestructureerde data willen analyseren, gebruiken en managen, is het noodzakelijk dat ook de huidige datamagazijnen zich verder ontwikkelen.

Active Archive, uw eigen Cloud on-premises
Active Archive staat voor het beheerbaar en beheersbaar maken van data waarbij het storagemanagement via een eenvoudig te gebruiken oplossing wordt ontsloten. Het “cognitieve” datamanagementgedeelte van de oplossing brengt onder meer kostenbesparing, risicoreductie en risicomanagement en een vereenvoudigd gebruik van de storageomgeving met zich mee. Deze oplossing richt zich op het zoeken van data binnen het systeem, opslag op de juiste locaties en maakt dit alles toegankelijk waar dat wordt gevraagd. Een en ander gebeurt op basis van “machine learning”. Het Active Archive platform “spreekt” een uniforme taal (S3). Onderliggend gebruikt het platform alle voorkomende talen zoals bijvoorbeeld sFTP, FTP, CIFS, NFS, REST, HTTPS. Het platform is daarnaast locatie onafhankelijk, en de data is voor de gebruiker overal beschikbaar, (Global Namespace). Het platform werkt als meerdere op zich staande fysieke of virtuele elementen. Deze samenwerkende “constellatie” van nodes zijn gelijkwaardige partners in de virtuele “global name space” systeem. En zolang er een minimum van twee nodes actief is, is een “single point of failure” niet aan de orde. Ultieme schaalbaarheid is gegarandeerd. Kostenbesparing haalt de oplossing uit het feit dat het platform gebruik kan maken van goedkopere storage media, zoals object en/of tape storage, zonder dat dit ten koste gaat van de veiligheid, sterker nog; het verhoogt de veiligheid. Dataprotectie is dus gegarandeerd.

Harold Koenders

Cognitieve storage power, of hoe de Amazones, de Azures en Google uw data opslaan