The EarthServer Datacube Initiative: Combining AI-Cubes with Planetary-Scale Federation

Datacubes are an acknowledged cornerstone for analysis-ready Big Geo Data as they allow more intuitive, powerful services. Their abstraction from technical pains has two advantages: for users, it gets more convenient; servers can dynamically optimize, orchestrate, and distribute pro­cess­ing. Recent advances in federated AI-Cubes enable the efficient com­bination of relevant capabilities:

• Automatic data homogenization, based on open standards, enables fusion across data centers.
• Standards-based interoperability allows users to remain in the comfort zone of their well-known clients, from map browsing over QGIS and ArcGIS up to openEO, R, and python.
• Appropriate server technology enables cloud/edge integration with automatic load balancing from supercomputers to Raspberry Pi size in moving members.
• The seamless coupling of AI into datacube analytics plus AI-assisted query writing open up new opportunities for zero-coding Big Data insight.

These innovations are operational at scale. For example, EarthServer connects members in the US, Europe, and Asia into a single planetary datacube space. Both free and paid services together form a single multi-Petabyte pool of datacubes, based on the rasdaman datacube engine. We present the latest advances in AI-Cubes and their standardization, as well as open research questions. Live demos, many of which can be recapitulated by the audience, illustrate the topics.

Von Datacubes zu AI-Cubes: Stand der Standardisierung und Forschungsbedarf

Datenwürfel sind allgemein akzeptiert als eine intuitive, effiziente Methode, raum-zeitliche Daten anzubieten. Pionierarbeit wurde mit der „Big Datacube Engine“ rasdaman geleistet, welche dieses Prinzip als erstes konsequent umgesetzt hat. In jüngster Zeit wurden, z.B. im Projekt AI-Cube, KI-Modelle mit Datenwürfeln zu leistungsstarken föderierten Datenwürfel-Infrastrukturen kombiniert. Während sich positive Funktionalitäts- und Performanceaspekte ergeben, stellt sich heraus, dass die üblichen KI-Modelle in ihrer Zuverlässigkeit auf „Big Data“ beträchtlich schwanken.

Im Projekt FAIR (Fencing Geo-AI for Enhanced Reliability) wird daher eine neue Methode des „Model Fencing“ auf Basis von rasdaman etabliert, um durch sinnvolle Begrenzung von ML-Modellen deren Zuverlässigkeit in hochskalierbaren Geodaten-Infrastrukturen zu erhöhen. Im Vortrag stellen wir die Problematik, erste Lösungsansätze und relevante Projekte vor.