Kosten besparen met de nieuwe QUERY_ATTRIBUTION_HISTORY-weergave in Snowflake.

Ik volg de Snowflake Data Superheroes op LinkedIn om nuttige inzichten en updates over Snowflake te krijgen. Vandaag vond ik deze post van Tomáš Sobotík die een nieuwe metric introduceert: QUERY_ATTRIBUTION_HISTORY.

Ik volg graag domeinexperts in de datawereld op LinkedIn. Ik kan nieuwe dingen leren terwijl ik me overgeef aan de slechte gewoonte om door mijn LinkedIn feed te scrollen.

Als je een liefhebber bent van Snowflake-optimalisatie, dan weet je hoe cruciaal het is om kosten effectief bij te houden en te beheren. Of je nu de prestaties van een query probeert te optimaliseren of de financiële voetafdruk van je dataprocessen probeert te verkleinen, het is altijd een uitdaging geweest om duidelijk inzicht te hebben in de querykosten. Tot nu.

De QUERY_ATTRIBUTION_HISTORY-weergave als game changer

Onlangs heeft Snowflake een nieuwe systeemweergave geïntroduceerd met de naam QUERY_ATTRIBUTION_HISTORY. Deze nieuwe weergave geeft gedetailleerd kredietverbruik weer voor afzonderlijke query's, waardoor de kostenanalyse voor gebruikers aanzienlijk wordt vereenvoudigd.

Met deze krachtige weergave kunt u nu

• Gebruikersspecifieke uitgaven in de loop van de tijd identificeren
• De kosten van één transformatiepijplijn berekenen
• De kosten van herhaalde query's volgen

Belangrijkste voordelen

Deze systeemweergave kan aanzienlijke voordelen bieden voor teams die hun Snowflake-gebruik willen optimaliseren. Dit is hoe:

1. Vereenvoudigde kostentracering: U hebt geen complexe modellen meer nodig om de kosten van query's te berekenen. De gegevens zijn nu beschikbaar op een granulair niveau.
2. Verborgen kosten blootleggen: Of het nu gaat om een verkeerde query of een slecht geoptimaliseerde pijplijn, deze tool helpt u om onverwachte hoge uitgaven te identificeren, zodat u ze snel kunt oplossen.
3. Aanpasbare dashboards: Integreer deze gegevens in uw aangepaste kostendashboards voor realtime bewaking en beheer van uitgaven.

Mijn test

Ik heb geprobeerd de onderstaande query uit te voeren om de 5 duurste queries te vinden die ik heb uitgevoerd met het COMPUTE_WH-pakhuis:

Dit was het resultaat:

Aan de hand van de QUERY_ID kan ik dieper in de query's duiken en zien of er iets is dat ik kan optimaliseren om de uitgaven te verlagen.

Belangrijke overwegingen

Hoewel deze nieuwe weergave een fantastische toevoeging is, zijn er enkele beperkingen:

• Er moet nog steeds handmatig rekening worden gehouden met de inactieve tijd in het magazijn, omdat deze niet is inbegrepen.
• Serverloze functies, opslagkosten en AI-services zijn ook uitgesloten van deze weergave.

Ondanks deze beperkingen is QUERY_ATTRIBUTION_HISTORY een essentieel onderdeel voor iedereen die de kostenefficiëntie in Snowflake wil verbeteren.

Laatste gedachten

De QUERY_ATTRIBUTION_HISTORY-weergave van Snowflake biedt een duidelijker inzicht in de uitgaven op query-niveau, waardoor u uw gegevensbewerkingen kunt optimaliseren en kostbare inefficiënties kunt voorkomen. Door deze gegevens in uw analyses te integreren, krijgt u betere controle over de toewijzing van resources en kunt u uw activiteiten stroomlijnen voor kosteneffectiever gegevensbeheer.

Lees de officiële documentatiepagina voor meer informatie.

Bannerfoto door Behnam Norouzi op Unsplash