Google BigQuery çok büyük veri kümelerinin analizini sunan bulut tabanlı kurumsal bir veri ambarıdır. Google Analytics ile topladığınız verileri BigQuery ile işleyebilir, kullanıcı bazlı analizler ile onları segmentleyebilir ve dijital pazarlama stratejiniz için tahminlerde bulunabilirsiniz.
BigQuery, Google Cloud Platform’da mevcuttur. GCP müşterileri, hizmete aşina oldukları web arayüzü konsollarından kolayca erişebilir. UI Console’a ek olarak, Google BigQuery API’lerine mevcut GCP SDK’ları ve CLI araçları kullanılarak erişilebilir.
Google Cloud BigQuery’ye başlamak oldukça basit ve kolaydır. CSV, Parquet, ORC, Avro veya JSON gibi ortak bir formattaki herhangi bir veri kümesini kullanarak çok hızlı bir şekilde çalışmaya başlayabilirsiniz. Google BigQuery için kullanmak üzere aklınızda herhangi bir veri yoksa, veri kümeleri keşfedilmek ve Google Cloud herkese açık veri kümelerinde kullanılmak üzere ücretsiz olarak kullanılabilir.
Herkese açık veri kümesine bir örnek, Avrupa Birliği Açık Veri Portalı’ndaki Koronavirüs verileridir. Dünya çapında COVID-19 vakalarıyla ilgili veriler içerir ve ücretsiz olarak kullanılabilir. Aşağıda, Google BigQuery’yi kullanarak bu veri kümesini keşfetme ve analiz etme adımlarında size yol göstereceğim.
Adım 1: Veri Kümesini Bilgisayarınıza İndirin
Başlamak için, veri setinin en son sürümünü (CSV formatında) makinenize indirin.
2. Adım: Veri Kümesini Google BigQuery’de Yükleme ve Saklama
Google Cloud Platform’da, ‘Büyük Veri’ bölümü altındaki Google BigQuery Konsolu’na gidin.
Sağ taraftaki panelde ‘Veri Kümesi Oluştur’ düğmesini bulun ve oluşturma işlemini başlatın. Veri kümesine benzersiz bir tanımlayıcı verin ve verileri depolamak ve işlemek için coğrafi konumu seçin. Panelin altındaki düğmeyi kullanarak kaydedin.
Yeni oluşturulan veri kümesini seçin ve ‘Create Table’ düğmesine basın. Kaynak yöntemi olarak ‘Karşıya Yükle’yi, dosya biçimi olarak ‘CSV’yi kullanın ve makinenizden yerel veri kümesi dosyasını seçin. Buna bir tablo adı verin (örn. Worldwide_cases) ve şema için ‘Otomatik Algıla’ seçeneğini seçin. Panelin altındaki düğmeyi kullanarak kaydedin.
3. Adım: Google BigQuery’de Depolanan Verileri Sorgulamak için BigQuery’yi Kullanma
BigQuery’ye yüklenen ve depolanan veri kümesiyle, standart SQL kullanarak verileri hemen sorgulamaya başlayabileceksiniz.
Panelde, bin satıra kadar verileri almak için:
SELECT * FROM `bq092020.covid19.worldwide_cases`
LIMIT 1000
gibi basit bir sorgu deneyin.
BigQuery Analytics oldukça güçlüdür. Ara birim tam donanımlı SQL yeteneklerine erişim sağlar, bu nedenle:
SELECT countryAndTerritories, sum (case) AS N_Cases, sum (deaths) AS N_Deaths, count (*) AS N_Rows
FROM “bq092020.covid19
gibi daha gelişmiş bir sorgu kullanabilirsiniz:
world_cases` GRUBU Ülkelere ve Bölgelere Göre
LIMIT 1000
Yukarıdaki sorguyu çalıştırmak, ülke / bölge başına vaka ve ölüm sayısı gibi toplu sonuçlar sağlayacaktır.
4. Adım: Veri Kümesini Google Cloud Storage’a Ekleme
Google BigQuery bazı harici veri kaynaklarını desteklediğinden, Google Cloud Storage’ı veri kümesi dosyası için bir veri deposu olarak kullanarak benzer sonuçlar ve yetenekler elde edebiliriz.
Yeni bir Google Cloud Storage paketi oluşturmak ve veri kümesi dosyasını yüklemek oldukça basit bir şekilde yapılabilir.
5. Adım BigQuery’yi Google Cloud Storage’da Veri Kümesi ile Kullanma
BigQuery veri kümenizin altında yeni bir tablo oluşturun ve kaynak olarak Google ‘Cloud Storage’ı seçin. GCS paket adını ve dosya konumunu biçim olarak CSV ile doldurun. Önceden oluşturulmuş tablodan farklı bir ad verin (örneğin: worldwide_cases_in_bucket).
Yeni oluşturulan tablo ara yüzde hemen kullanılabilecektir. Veriler, Big Query’de depolanan diğer verilerle tamamen aynı şekilde sorgulanabilir. Test etmek için, sadece FROM yan tümcesini yeni tablo adıyla güncelleyerek aynı toplama sorgusunu kullanmayı deneyin.
Yazı dizimizin diğer başlıklarına ulaşmak için okumaya devam edin!
Önceki Yazı: Google BigQuery Veri Ambarı Nedir ve Nasıl Kullanılır?