DATA WAREHOUSING MIT BIGQUERY
Data Warehousing in Google Cloud
Data warehouses contain large collections of both historical and current business data that help organizations make intelligent decisions. Data warehouse systems analyze and report structured and semi-structured data from multiple sources and systems such as customer relationship management, lead capturing, marketing automation, point-of-sale and more. What is Data warehousing? This is the process of collecting and managing data from diverse sources to provide business intelligence. “The Cloud” is a hot topic in the tech space, not just for its robustness when it comes to computing power but also in data warehousing. Google, being a data-focused company, has been forefront in the data warehousing, attributed to the launch of BigQuery in 2011, more on this later.
Benefits of Google Cloud Data Warehousing
Die Verwaltung eines On-Premise Data Warehouse kann kostspielig sein und erfordert eine aufwändige Wartung. Das On-Premise-Rechenzentrum kann nicht ausreichend Kapazität haben, um die enorme Menge an historischen Geschäftsdaten zu speichern und zu verarbeiten, die jeden Tag wächst. Im Folgenden sind einige der Vorteile eines Google Cloud Data Warehouse aufgeführt:
- Google Cloud verwaltet es für dich - Mit deinem Data Warehouse in der Google Cloud musst du dich nicht um die täglichen Betriebskosten kümmern. So kann sich dein technisches Team auf das Wachstum deines Unternehmens konzentrieren.
- Skalierbarkeit - es ist eine Tatsache, dass deine Firmendaten weiter wachsen werden. Das bedeutet, dass du mehr Speicherkapazität und mehr Rechenleistung benötigst, um die wachsenden Daten zu verarbeiten. Cloud Data Warehouses sind für die Skalierung gebaut. Sie passen sich an deine sich ändernden Anforderungen an und du musst dich nicht um den Kauf neuer Systeme kümmern, wenn deine Daten wachsen.
- Hohe Verfügbarkeit - Google Cloud garantiert eine bessere Betriebszeit aufgrund der Verpflichtung, SLAs zu erfüllen. Außerdem kann sich Google Cloud besser und schneller von Katastrophen erholen als On-Premise-Setups.
- Performance und Einblicke in Echtzeit - Google Cloud unterstützt die Abfrage von Daten in Echtzeit, sodass dein Unternehmen von schnellen und intelligenten Entscheidungen profitieren kann.
Integration with other Google Cloud services – with your data warehouse in Google Cloud, you can benefit from other Google Cloud services such as artificial intelligence, machine learning, and the extremely powerful BigQuery that we’ll talk about in the next section.
Why BigQuery as data warehousing solution?
BigQuery ist das vollständig verwaltete, hoch skalierbare und serverlose Enterprise Data Warehouse von Google Cloud, das mit einer integrierten Abfrage-Engine ausgestattet ist. Es ist verwaltet, da Google die Ressourcenzuweisung und die automatische Skalierung verwaltet und sicherstellt, dass es verfügbar ist, wann immer Sie es brauchen. Es ist serverlos, da Sie keine Server konfigurieren; stattdessen geben Sie ihm nur Ihre Arbeitslast, es führt die Analyse durch und liefert Ihnen die berechneten Ergebnisse.
BigQuery wurde entwickelt, um SQL-Abfragen auszuführen, die große Datensätze von Terabytes bis Petabytes analysieren und innerhalb von Sekunden bis Minuten Ergebnisse liefern. Es kann Joins von Datensätzen aus völlig unterschiedlichen Quellen analysieren, was die grundlegende Definition von Data Warehousing ist.
BigQuery liefert eine hohe Leistung, ohne dass Indizes erstellt oder neu aufgebaut werden müssen, um eine beachtliche Abfragegeschwindigkeit zu erreichen, wie es bei normalen relationalen Datenbanksystemen wie MySQL, Microsoft SQL Server oder PostgreSQL der Fall ist. Unabhängig von der Größe Ihres Datensatzes skaliert BigQuery automatisch hoch, um Ihre Abfragen auszuführen, und skaliert dann auf Null, wenn Sie fertig sind.
BigQuery unterstützt Standard-SQL-Abfragen, so dass Sie Ihre Abfragen von anderen relationalen Datenbanken ausliefern und auf der skalierbaren BigQuery-Infrastruktur ausführen können. Darüber hinaus gibt es weitere eingebaute BigQuery functions zur Unterstützung moderner Datenanalyseanforderungen.
BigQuery bietet leistungsstarke Analysen, indem es die Integration mit anderen Business Intelligence-Tools wie Looker, Google Data Studiound Tableau ermöglicht. Mit diesen Tools können Sie leicht verständliche Visualisierungen und Berichte auf Basis der in BigQuery gespeicherten Daten erstellen.
BigQuery ist leistungsstark, da es auf der Infrastruktur von Google aufbaut und technische Funktionen wie die Trennung von Berechnung und Speicherung, spaltenbasierte Speicherung und Unterstützung für verschachtelte und wiederholte Felder bietet. Die Trennung von Berechnung und Speicherung in BigQuery stellt sicher, dass jede Maschine innerhalb des Datenzentrums Daten von jeder Speicherplatte aufnehmen kann - dies erklärt, warum BigQuery große Datensätze aus verschiedenen Quellen analysieren und viele Abfragen gleichzeitig ausführen kann. BigQuery-Rechenzentren laufen auf Tausenden von extrem leistungsstarken Servern, die mit Bandbreiten von bis zu 10 GB/Sek. kommunizieren - die Netzwerkinfrastruktur lässt die Abfragen so erscheinen, als würden sie auf einer einzigen Maschine laufen.
BigQuery lässt sich gut mit anderen Tools der Google Cloud Platform integrieren, einschließlich, aber nicht beschränkt auf die folgenden:
AutoML - kann Modelle für maschinelles Lernen unter Verwendung der Daten in BigQuery erstellen.
Federated Queries - ermöglicht BigQuery die Abfrage von Daten, die sich in verschiedenen Google Cloud-Tools wie Cloud Storage, Cloud SQL, Bigtable, Cloud Spanner oder Google Drive-Tabellen befinden, ohne Daten zu kopieren oder zu verschieben.
Cloud AI Platform - kann maschinelle Algorithmen mit Daten in Big Query trainieren.
Cloud Operation, früher bekannt als Stackdriver - ermöglicht es, Dienste zu kontrollieren, wie Ihre Mitarbeiter BigQuery zum Beispiel verwenden, und zusätzlich Datensicherheit zu gewährleisten.
Google Cloud Data Loss Prevention – a tool that helps you discover, classify, protect and mask sensitive data from BigQuery tables.
You may also like…
Data Loss Prevention API
Data security is vital to companies that handle clients’ private information, since a breach can permanently damage their reputation and credibility.
Google Cloud Security Weeks #4
Week 4 of our Google Cloud Security Weeks started and we would like to give you some more interesting insights into the Google Cloud. Last time we talked…
Lift und Shift VMs
The Cloud has grown to become the main location for storing data for businesses across the globe. In fact, a 2019 survey by TechRepublic…