Google Cloud a annoncé la disponibilité générale des optimisations basées sur l'historique de BigQuery, qui peuvent accélérer les performances des requêtes jusqu'à 100 fois. Cette nouvelle fonctionnalité est conçue pour apprendre des exécutions de requêtes passées et identifier des améliorations supplémentaires pouvant être appliquées aux exécutions futures.
Un aspect intéressant des optimisations basées sur l'historique de BigQuery est leur capacité à améliorer différents types de requêtes, y compris celles qui impliquent des jointures hautement sélectives. Par exemple, si BigQuery identifie une jointure qui renvoie un nombre de lignes beaucoup plus petit que son entrée, il peut choisir d'exécuter cette jointure plus tôt dans le plan d'exécution. Cela peut réduire considérablement la quantité de données à traiter, ce qui entraîne des améliorations globales des performances.
De plus, les optimisations basées sur l'historique de BigQuery peuvent aider à réduire la quantité de données que BigQuery analyse en insérant des opérations de semi-jointure sélectives dans toute la requête. Dans certains cas, BigQuery peut identifier une jointure hautement sélective (similaire à la propagation de jointure) dans une requête avec plusieurs chemins d'exécution parallèles qui sont finalement joints. BigQuery peut ensuite insérer de nouvelles opérations de « semi-jointure » basées sur la jointure sélective qui « réduisent » la quantité de données analysées et traitées par ces chemins d'exécution parallèles.
Dans l'ensemble, les optimisations basées sur l'historique de BigQuery constituent un ajout précieux à BigQuery. En exploitant les données historiques des exécutions de requêtes passées, cette nouvelle fonctionnalité peut améliorer considérablement les performances des requêtes et réduire les coûts. De plus, étant donné qu'elle fonctionne automatiquement, les utilisateurs peuvent bénéficier de ces améliorations sans avoir à apporter de modifications à leurs requêtes.
