Blog

Postado em em 9 de janeiro de 2022

Bases GIGANTESCAS no Power BI – Como Trabalhar com Elas?

Você sabe como trabalhar com bases gigantescas no Power BI de forma eficiente para não perder tempo e ganhar produtividade?

Caso prefira esse conteúdo no formato de vídeo-aula, assista ao vídeo abaixo ou acesse o nosso canal do YouTube!

Para receber por e-mail o(s) arquivo(s) utilizados na aula, preencha:

Como Trabalhar com Bases Grandes no Power BI

Você sabia que é possível trabalhar com milhões, dezenas de milhões e até centenas de milhões de linhas no Power BI?

Hoje eu quero te mostrar como trabalhar com bases gigantes no Power BI e qual a melhor forma de trabalhar com essa quantidade de dados!

Bases Gigantes no Power BI

Você deve saber que o Excel não consegue trabalhar com bases muito grandes e ele acaba ficando muito lento ou até travando.

Então uma das soluções é utilizar o Power BI, pois ele te permite trabalhar com uma base muito maior de dados sem ter o problema de travar.

O primeiro passo, que você já deve saber vai ser importar dados em CSV para o Power BI, que é o mesmo procedimento que fazemos com o arquivo em Excel.

Depois vamos fazer o tratamento de dados no Power Query para certificar de que a base de dados está ajustada, sem dados duplicados, sem colunas vazias, sem linhas vazias, enfim… fazer todos os ajustes necessários para utilizar a base de dados de forma correta.

OBS: Lembrando que nesse tipo de base é importante que você até exclua colunas que de fato não vai utilizar, pois cada coluna vai ter também as milhões de linhas da base de dados.

 O primeiro problema vai surgir quando formos passar a base de dados do Power Query para o Power BI, pois aqui você vai notar que essa parte vai demorar um pouco para carregar essa quantidade de dados.

Base de dados com 900.000 linhas
Base de dados com 900.000 linhas

Nesse exemplo que vamos utilizar nós temos 900.000 linhas, então a quantidade de dados já é bem grande.

Então nesse ponto é importante que você tenha noção do que está fazendo, pois cada nova coluna que for criada vai gerar mais 900.000 linhas de informação.

Então aqui já não fica viável utilizar por exemplo uma coluna auxiliar para trazer um resultado x, ou um resultado y para um cálculo, pois você vai criar uma grande quantidade de informação relativamente inútil e pesando ainda mais sua base de dados.

Uma curiosidade do Power BI é que ao salvar o arquivo ele comprime esse arquivo deixando-o menor.

Power BI diminuindo o tamanho do arquivo
Power BI diminuindo o tamanho do arquivo

Se você notar, a nossa base de dados inicial tem quase 58 MB, enquanto o arquivo salvo no Power BI tem quase 14 MB. Só aí já tivemos uma redução de praticamente 75% do tamanho do arquivo.

Agora nós vamos voltar ao Power Query para que eu possa te mostrar como você vai fazer para trabalhar com essas informações sem que perca muito tempo com o Power BI processando essa quantidade gigantesca de informação.

Qual vai ser a ideia para trabalhar com arquivo em Power BI pesado? Nós vamos ao Power Query justamente retirar apenas uma amostra dessa base de dados.

Nesse caso nós vamos trabalhar com 2.000 linhas, ou seja, uma pequena porção de dados para que a construção do nosso dashboard fique mais rápida.

Filtrando os dados para diminuir o tamanho da base de dados
Filtrando os dados para diminuir o tamanho da base de dados

Dessa forma todo cálculo, medida, nova coluna, gráfico, tabela que for criado não vai processar as 900.000 linhas e perder muito tempo em cada uma dessas operações.

Você vai processar apenas 2.000 linhas o que fica muito rápido para o processamento, então nós vamos construir todo o dashboard dessa fora, com apenas uma parte da base de dados.

Relatório com a base de dados reduzida
Relatório com a base de dados reduzida

Para facilitar a troca dessas linhas de 2.000 para o valor desejado e você não ter sempre que ir até o filtro nós vamos utilizar um parâmetro. Essa ferramenta fica na guia Página Inicial e tem o nome de Gerenciar Parâmetros (Novo Parâmetro).

Criando um parâmetro para facilitar a quantidade de dados utilizados
Criando um parâmetro para facilitar a quantidade de dados utilizados

OBS: Nessa parte é muito importante que você selecione o tipo da informação que está colocando, pois isso é crucial na hora de fazer a mudança desse valor posteriormente. Se não fizer isso é possível que você não consiga fazer a alteração do valor.

Agora vamos voltar ao nosso filtro e vamos alterar o que tínhamos feito de alterar o filtro para o valor menor ou igual a 2000, agora vamos escolher o parâmetro que foi criado.

Filtrando os dados com o parâmetro criado
Filtrando os dados com o parâmetro criado

Agora nós vamos ter que partir para o Power BI Online, pois é lá que as pessoas vão visualizar o nosso relatório, então é por lá que vamos fazer essa alteração de 2.000 linhas para as 900.000 linhas da nossa base de dados completa.

Caso tenha dúvidas em relação a criação de conta gratuita e publicação do relatório no Power BI Online basta clicar aqui que temos um passo a passo!

Com o relatório publicado nós vamos até o Power BI Online para modificarmos o parâmetro que estava em 2.000.

Como Trabalhar com Bases GIGANTESCAS
Configurando o conjunto de dados no Power BI Online

Você vai notar que uma das configurações é o Parâmetro que nós criamos. Só que para poder fazer essa modificação do parâmetro de linhas você vai precisar do Gateway.

Se você ainda não tem o gateway instalado ou não sabe como fazer basta clicar aqui que também temos uma publicação ensinando a instalar e já fazer uma atualização automática no Power BI.

Como Trabalhar com Bases GIGANTESCAS
Verificando o gateway

Aqui você tem o gateway funcionando normalmente, com o gateway aberto e configurado no seu computador.

E na parte de Credenciais da fonte de dados é importante que não tenha mensagem de erro, pois o gateway precisa de acesso as informações!

Como Trabalhar com Bases GIGANTESCAS
Verificando as credenciais da fonte de dados

Feito isso você vai poder alterar o parâmetro (que são as linhas) e atualizar as informações. Com isso o seu relatório vai ficar atualizado com todas as 900.000 linhas ao invés das 2.000 que utilizamos para a criação do relatório.

Como Trabalhar com Bases GIGANTESCAS
Relatório atualizado com toda a base de dados

Conclusão das Bases GIGANTESCAS no Power BI

Nessa aula eu te mostrei como trabalhar com bases gigantescas no Power BI de forma eficiente sem que você perca muito tempo de processamento enquanto cria seu relatório.

Essas dicas são importantes para que você ganhe tempo ao construir o seu relatório e não perca tempo sempre utilizando a base completa, o que pode levar um bom tempo para cada ação que for fazer!

Agora que você já sabe ajustar sua base de dados, que tal começar a criar um dashboard incrível? Temos uma aula para te mostrar como criar um Dashboard de Compras no Power BI, basta clicar aqui para acessar o conteúdo!

Hashtag Treinamentos

Para acessar outras publicações de Power BI, clique aqui!


Quer aprender mais sobre Power BI com um minicurso básico gratuito?

Quer sair do zero no Python e virar uma referência na sua empresa? Inscreva-se agora mesmo no Python Impressionador