BigData com Python – Como Trabalhar com Bases Gigantes no Pandas

Como ler banco de dados gigantes, considerados BigData com Python? Vamos aprender 2 formas diferentes de fazer essa leitura hoje!

Caso prefira esse conteúdo no formato de vídeo-aula, assista ao vídeo abaixo ou acesse o nosso canal do YouTube!

O que você aprende neste vídeo

Resposta rápida: A aula lê uma base de 17 gigas no Pandas por dois caminhos: construir o código sobre uma amostra com nrows, ou ler a base em pedaços com chunksize dentro de um for, juntando os resumos no fim. O limite: a amostra não resolve se a leitura estourar a memória, e o laço em pedaços roda mais devagar.

Neste vídeo (20 min):

  • 1:49 - A base de 17 gigas usada no exemplo
  • 2:44 - A leitura direta com read_csv: demora e pode faltar memória
  • 4:13 - Primeira forma: ler só as 10 mil primeiras linhas com nrows
  • 5:04 - Segunda forma: ler a base em pedaços com chunksize
  • 9:33 - O break no fim do laço para testar só o primeiro pedaço
  • 10:12 - Ajuste da exibição dos números com float_format
  • 12:07 - Uma tabela de resumo para cada pedaço, com a mesma moeda repetida
  • 13:01 - O parâmetro as_index=False no agrupamento
  • 13:46 - Os resumos juntados com concat numa tabela que começa vazia
  • 15:12 - Novo groupby na tabela concatenada
  • 16:40 - Vantagem e desvantagem do laço em pedaços
  • 19:00 - O resultado final, depois de rodar o laço na base inteira

Trechos do vídeo:

  • A amostra com nrows serve para construir o código sem esperar a leitura completa, mas não resolve quando a linha de leitura da base inteira estoura a memória do computador: aí o caminho é ler em pedaços.
  • Ao ler em pedaços, cada pedaço gera o seu resumo, e a mesma moeda aparece em várias tabelas. Para uma análise global, é preciso juntar os resumos e agrupar de novo.
  • Enquanto o código está sendo construído, um break no fim do laço roda só o primeiro pedaço. Para o resultado completo, o break sai e o laço percorre todos os pedaços.
  • A balança da aula: menos linhas de código exige mais do sistema, e mais linhas de código exige menos. A leitura direta é mais rápida, e o laço em pedaços consome menos memória, mas demora mais para rodar.

Para receber por e-mail o(s) arquivo(s) utilizados na aula, preencha:

Fala Impressionadores! Hoje eu quero falar sobre como trabalhar com bases gigantes no Pandas, ou o famoso BigData com Python!

Em alguns casos nós vamos ter que trabalhar com bases de dados muito grandes e isso pode ser um problema já na hora de ler as informações.

Como são muitas informações é possível que o seu sistema já nem consiga ler toda a base de dados, imagine processar tudo o que precisa com essas informações.

Por esse motivo eu quero te mostrar como trabalhar com BigData no Python para que você saiba o que fazer quando tiver uma base muito grande e o seu sistema não suportar.

É possível tentar ler a base de dados direta no Python, mas se isso consumir demais do seu computador ou do seu sistema, você pode ler base de dados em partes no Python.

Isso quer dizer que vamos criar um for (estrutura de repetição) para ler pedaços do código e executar uma tarefa só com essa parte. Depois vamos repetir para toda a base de dados.

Esse processo acaba demorando muito mais e fica um pouco mais complexo, mas não consome tanto do seu sistema!

Dito isso, vamos para a aula! - BigData com Python

O que consideramos efetivamente como Big Data?

Essencialmente é o volume de dados, o volume de informações que vai trazer essa diferença entre você fazer uma análise de dados normal ou começar a trabalhar com Big Data.

Então não existe uma categoria expressa em que alguém disse, a partir de tanto, começa a ser considerado Big Data.

Qual é o desafio?

Nesse exemplo que vamos fazer hoje, temos uma base de dados chamada large.csv que é uma base de 17 GB, esta base de dados está disponível no material didático desta aula.

Quando você começa a entrar nesse nível de GB de informações as suas bases de dados começam a ficar muito pesadas, você vai começar a encontrar alguns problemas.

Ícone PythonPython Impressionador

Você vai aprender a linguagem de Programação que mais cresce no Mundo para fazer automações incríveis, desenvolver sites, fazer análises de dados, trabalhar com Ciência de Dados, Inteligência Artificial, mesmo que você nunca tenha tido nenhum contato com Programação na vida.

Black Friday · Lote Especial · Lote 1 · Último Lote

De R$ 1.497 56% OFF54% OFF53% OFF

por 12x R$ 6467,5069

Preço do Lote Especial por tempo limitadoPreço do Lote Especial só até amanhã, 13/11, às 23h59Preço do Lote Especial até 13/11, às 23h59Último dia do Lote Especial: o preço vale até hoje, às 23h59Preço do Lote 1 por tempo limitadoPreço do Lote 1 só até amanhã, 20/11, às 23h59Preço do Lote 1 até 20/11, às 23h59Último dia do Lote 1: o preço vale até hoje, às 23h59Preço do Último Lote por tempo limitadoPreço do Último Lote só até amanhã, 27/11, às 23h59Preço do Último Lote até 27/11, às 23h59Último dia do Último Lote: o preço vale até hoje, às 23h59

Começar agoraQuero a oferta de Black FridaySeta para a direita
Fundo PythonTelas Python
Luz Python

Vamos primeiro importar essa base de dados para dentro do Python e exibi-la.

Normalmente vamos fazer isso importando o Pandas.

Python
import pandas as pd

tabela = pd.read_csv("large.csv")

display(tabela)

Quando rodarmos este código ele até consegue ler a base de dados, mas devido ao tamanho da base isso vai demorar muito.

Outro ponto, é que o código está tentando ler toda a base de uma única vez, pode ser que o seu computador não tenha memória o suficiente para suportar essa leitura, então, vamos pausar a leitura e tratar de outra forma.

Obs. Para pausar você pode clicar no stop várias vezes sou clicar no Kernel e clicar em Restart & Clear Output.

1ª Forma de Ler o Código

Uma dica importante é que você pode construir a sua estrutura de código inteira, apenas com um pedaço da base de dados usando o nrows.

Python
import pandas as Pd

tabela = pd.read_csv("large.csv, <strong>nrows=10000"</strong>)

display(tabela)

Dessa forma ele vai ler a base de dados somente até a linha dez mil e ignorar o restante. Isso é bom porque dez mil é um valor grande o suficiente para que você faça uma análise, mas pequeno o bastante para não travar seu computador.

Após rodar o código você só precisa apagar o nrows=10000 e ler a base de dados inteira.

2ª Forma de Ler o Código

A segunda forma de ler a base de dados é por partes, separamos em partes e lemos uma de cada vez, vamos criar essa estrutura dentro do For e utilizar o chunksize, para dividir a cada dez mil linhas até finalizar a base.

Digamos que precisamos calcular o valor recebido e o valor pago de todas as moedas que temos na base de dados.

base de dados
base de dados

Como vamos fazer isso?

Codigo
For chunk in pd.read_csv(“large.csv”, chunksize=10000)

        Colunas = [“Amount Received”, “Receiving Currency”, “Amount Paid”]

        Chunk_filtrado = chunk[colunas]

//Esta primeira parte do código nada mais é do que a tabela -> chunk somente com as 3 colunas que selecionamos -> Amount Received, Receiving Currency e Amount Paid

//Após reduzir a tabela, precisamos agrupar os valores das colunas por moeda, para isso vamos criar uma variável que vai receber o total de moedas e vamos usar o SUM para somar os valores numéricos.

resumo = chunk_filtrado.groupby(“Receiving Currency”).sum()

display(resumo)

break

//Como este código terá que rodar para toda a base, isso vai demorar, então podemos colocar um break para interromper na primeira leitura e assim observar o resultado, depois é só retirar o break.

Observe que o código está muito eficiente e rápido, e como parou na primeira leitura podemos aproveitar para ajustar a formatação:

Codigo
pd.options.display.float_format = “{:,.2f}”.format

For chunk in pd.read_csv(“large.csv”, chunksize=10000)

        Colunas = [“Amount Received”, “Receiving Currency”, “Amount Paid”]

        Chunk_filtrado = chunk[colunas]

resumo = chunk_filtrado.groupby(“Receiving Currency”).sum()

display(resumo)

break
resultado com a formatação
resultado com a formatação

Agora que já temos os valores formatados, temos que observar mais uma questão que pode gerar um problema na análise do resultado.

Como estamos analisando por partes a cada dez mil linhas, no final, quando o código rodar por completo, teremos vários blocos de resultado.

Vários blocos como este impresso acima, então, se você quiser analisar o valor total da base de dados em Euro, por exemplo, terá que antes fazer um código para juntar esses resultados.

Como somar os resultados?

O primeiro passo é retirar o nome das moedas do índice, veja que no resultado os nomes das moedas estão como índice na primeira coluna, isso vai nos atrapalhar a juntar, vamos utilizar o as_index=False para impedir que as moedas se tornem índices.

Codigo
pd.options.display.float_format = “{:,.2f}”.format

For chunk in pd.read_csv(“large.csv”, chunksize=10000)

        Colunas = [“Amount Received”, “Receiving Currency”, “Amount Paid”]

        Chunk_filtrado = chunk[colunas]

resumo = chunk_filtrado.groupby(“Receiving Currency”, as_index=False).sum()

display(resumo)

break
ajuste dos títulos
ajuste dos títulos

A segunda coisa que vamos fazer é criar uma tabela vazia, assim ao invés de exibir a tabela resumo vamos adicionar os resultados nesta tabela vazia.

Codigo
pd.options.display.float_format = “{:,.2f}”.format

contador = 0

For chunk in pd.read_csv(“large.csv”, chunksize=10000)

        Colunas = [“Amount Received”, “Receiving Currency”, “Amount Paid”]

        Chunk_filtrado = chunk[colunas]

resumo = chunk_filtrado.groupby(“Receiving Currency”, as_index=False).sum()

tabela = pd.concat([tabela, resumo] )

contador += 1

if contador > 2:

break

display (tabela)

Feito isso todos os resultados estão sendo guardados na variável formando uma única tabela, porém, a cada vez que um resultado é gerado as moedas se repetem e vamos ter novamente que somar esses valores repetidos.

Codigo
pd.options.display.float_format = “{:,.2f}”.format

contador = 0

For chunk in pd.read_csv(“large.csv”, chunksize=10000)

        Colunas = [“Amount Received”, “Receiving Currency”, “Amount Paid”]

        Chunk_filtrado = chunk[colunas]

resumo = chunk_filtrado.groupby(“Receiving Currency”, as_index=False).sum()

tabela = pd.concat([tabela, resumo] )

contador += 1

if contador > 2:

break

tabela = tabela.groupby(“Receiving Currency”, as_index=False).sum()

display (tabela)

Esta questão de ter que somar as moedas duas vezes deixa o código um pouco repetitivo, você pode se perguntar se vale a pena fazer isso, mas a questão é que podemos fazer com menos linhas de código como no primeiro exemplo, mas isso vai custar mais processamento do computador.

Na verdade, é mais uma questão de equilíbrio, você deve ajustar conforme as suas possibilidades.

Se rodarmos o código agora ele já vai mostrar os valores somados de cada moeda apenas uma vez.

Após conferir que o resultado está correto, podemos retirar do código o contador que colocamos, o if e o break, assim o código está pronto para rodar toda a base de dados.

Codigo
pd.options.display.float_format = “{:,.2f}”.format

For chunk in pd.read_csv(“large.csv”, chunksize=10000)

        Colunas = [“Amount Received”, “Receiving Currency”, “Amount Paid”]

        Chunk_filtrado = chunk[colunas]

resumo = chunk_filtrado.groupby(“Receiving Currency”, as_index=False).sum()

tabela = pd.concat([tabela, resumo] )

tabela = tabela.groupby(“Receiving Currency”, as_index=False).sum()

display (tabela)

Conclusão - BigData com Python

Nesta aula mostrei duas formas de rodar uma base de dados considerada uma BigData, essas bases muito grandes geram um consumo alto da memória do computador, por isso precisamos saber modos diferentes de fazer essa leitura, adequando o código a realidade do nosso computador ou do computador da empresa.

A primeira forma de ler esta base é com um código mais curto que consegue ler a base de dados, porém, consumindo mais a memória do seu computador.

A segunda opção que eu trouxe é um código maior e mais complexo, mas que consegue partir o código em blocos menores e permite economizar a memória e poupar o seu computador.

Eu fico por aqui! Até a próxima! Um abraço,

Hashtag Treinamentos

Para acessar outras publicações de Python, clique aqui!


Quer aprender mais sobre Python com um minicurso básico gratuito?