Quando se faz Trabalho de Conclusão de Curso (TCC), pós-graduação, mestrado, doutorado é quase impossível não usar uma tabela ou um gráfico. É nesse momento que a alternativa que vem a mente é o pacote Office, mais especificamente, o Excel. Por isso alguns pensam: Curso de Excel para pós-graduação, mestrado, doutorado
A vantagem do Excel
Segundo a própria Microsoft diz, o Excel serve para criar tabelas baseadas em modelos pré-definidos ou ao critério do usuário e também usa-se fórmulas para fazer cálculos. Bem como, a Microsoft divulga, as tabelas feitas no Excel são de fácil criação e servem para organizar dados e economizar tempo.
Quem usa o Excel, sabe que ele é muito útil e até intuitivo para fazer uma tabela ou gráfico. Assim, você se entusiasma e vai adicionando, adicionando e continua adicionando dados e gerando um tabelão monstro ou diversas tabelas menores.
Costumeiramente, os usuários dizem que uma planilha do Excel é um Dado Estruturado, ou seja, dados que apresentam rigor na sua disposição. Como o Excel tem a característica de apresentar os dados em linhas e colunas, isso reforça a ideia de ser estruturado. Entretanto, mesmo quando os dados estão dispostos no formato linhas e colunas, ainda assim, podem apresentar falta de estrutura, dependendo do que se vai fazer com eles. E é aí que pode estar o problema de qualquer usuário desavisado.
Problemas com o Excel
Vou começar com um problema que todo estudante de pós-graduação, mestrado, doutorado e PhD passam no dia-a-dia: você tem múltiplos arquivos em formatos diferentes como HTML, JSON, Excel, TXT e CSV. Você precisa extrair dados desses arquivos e criar o famoso tabelão com todos os dados. Muito tempo será gasto com isso, mesmo antes de começar análise dos dados.
Outro problema, se é necessário fazer um gráfico e os dados não estão dispostos de forma que o MS Excel consiga interpretá-los, por estarem distribuídos pela matriz (linhas e colunas), com certeza o gráfico não será feito. Qualquer matriz ou tabela precisa de planejamento, pois a grande maioria delas servirá de base para futuras comparações e gráficos. Então, no MS Excel, normalmente, as tabelas precisam armazenar os elementos de tal forma que a informação fique na superfície. Se o planejamento não ficou bom os dados podem ficar espalhadas pela tabela, escondendo informações e insights importantíssimos. Nessa situação, será preciso reorganizar a tabela ou matriz de dados, ou seja, refazê-la.
Outro fator importante, a própria geração de tabelas pode ser uma tarefa tediosa e demorada, principalmente, se uma tabela ou matriz de dados está sendo preparada a partir de fontes diversas de dados.
Automatização do Excel
O Excel possui funções que podem ajudar a automatizar, coletar, separar ou agrupar dados. Todavia, essas funções possuem limitações que ficam bem evidentes, conforme o nível de exigência e especificidade que o usuário deseja. É nesse ponto que bibliotecas e linguagens de programação externas ao Excel podem tornar o trabalho bem mais dinâmico e assertivo. É possível fazer cálculos mais complexos usando programação combinada com o Excel. Além disso, a verdadeira automatização de tarefas está fora do Excel e não dentro dele. Com programação, a captura dos dados trabalha, naturalmente, com diversas fontes, inclusive as próprias tabelas do Excel. Assim, gera uma tabela única, com os dados que realmente importam.
Introdução a biblioteca Pandas do Python
Felizmente, não precisamos mais lutar contra os nossos próprios dados. Existe uma biblioteca da linguagem Python, chamada Pandas que foi idealizada para, entre outras coisas, trabalhar em parceria com o MS Excel. Sendo assim, ele capaz de processar os dados armazenados em planilhas e devolvê-los em forma de tabelas pré-processadas e até mesmo já tratadas. A biblioteca recebe atualizações permanentes, por isso é uma ferramenta para todos os tipos de tarefas de pré-processamento que envolvam o ciclo de vida da análise de dados.
Da mesma forma, com auxílio de bibliotecas destinadas a Visualização de Dados, os dados do MS Excel também ganham mais impacto com gráficos que, dificilmente, o MS Excel conseguiria reproduzir.
Exemplos de como turbinar o Excel
Vela alguns exemplos de como a o casamento entre MS Excel e Pandas (Python Library) podem acelerar e automatizar o pré-processamento, análise e visualização de dados.
Como usar MS Excel e Pandas para agrupar e plotar dados
Digamos que as linhas representem amostragens e colunas representem as variáveis de controle. Dentre as variáveis de controle, podemos ter variáveis qualitativas, ou seja, nominais, que definam condições ou estados. Para transformar esses tipos de dados em gráfico é preciso transformá-los. Em outras palavras, deixá-los num formato “graficável“.
Abaixo, Figura 1, mostro uma tabela do Excel, onde temos dados sobre telefones, como por exemplo, a operadora, tipo de dados (ligação, dados, sms), duração do evento e data etc. A questão aqui é, dependendo do que se quer fazer usar somente o Excel demandará muito tempo. Então, usando programação é posição automatizar as tarefas de modo a clusterizar os dados que precisamos e com esses clusters e, finalmente, fazer os gráficos que precisamos.
Por exemplo, queremos saber quantas vezes cada operadora foi utilizada no período de monitoramento. Também queremos saber, o tempo total de duração dos eventos mês a mês e por fim, queremos saber os percentuais de uso dos dados ligação, dados e sms. Vamos fazer um gráfico mostrando cada um desses resultados.
Como pode ser observado, a tabela original foi trabalhada de forma a poder agregar os dados para facilitar a transformação do dados em gráficos.
Como fazer um DataFrame com Pandas
Em princípio, como fazer um DataFrame com pandas é uma das principais dúvidas que surgem para quem está iniciando com programação em Python. A fim de esclarecer este tópico, neste post vou abordar este assunto e, consequentemente, te ajudar a ter informações importantes sobre como construir teu próprio DataFrame. Saiba mais…
Como usar MS Excel e Pandas para tratar Série Temporal
Antes de tudo, não só na vida acadêmica, mas no cotidiano, nos deparados com medições do tempo ou com algo que mesmo indiretamente esteja relacionado ao tempo. Cronogramas, itinerários, trajetos, temperaturas, velocidades, localidades, medições etc o tempo está sempre presente como uma espécie de marcador da variável de controle. O tempo tem uma importância tão grande, que quando se fala em análise de dados é quase inevitável não associar a uma escala temporal. Isso deve fazer parte de qualquer curso de Excel para graduação mestrado doutorado.
O objetivo deste post é mostrar o que é uma Série Temporal e explicar como subdividir qualquer série em partes como ano, mês, dia etc com auxílio da biblioteca Pandas do Python. Saiba mais…
Como ler múltiplos arquivos CSV no MS Excel
Frequentemente, precisamos fazer uma tabela no MS Excel, onde concentramos dados de diferentes arquivos ou fontes. Os dados podem ter origem diferente do MS Excel e por isso estarem com formato que não seja .xlsx. Um tipo de dado, normalmente que se trabalha é o .csv. Então, como ler múltiplos arquivos CSV no MS Excel? Para mim a resposta é usar Python e Pandas.
Para entender melhor como você pode economizar tempo, preparei um post explicativo. Saiba mais…
Encontre aqui vagas e bolsas para Mestrado e Doutorado
Fundamentalmente, para você ter um direcionamento na sua Carreira Acadêmica é primordial saber e conhecer as oportunidades desse futuro que te espera. Sendo assim, preparei para você algumas oportunidades para ter acompanhamento, tanto para mestrado como para doutorado.
– Vagas e bolsas para Mestrado março de 2023
– Vagas e bolsas para Doutorado março de 2023
Quer turbinar teu trabalho acadêmico?
Já fiz Mestrado, Doutorado, Pós-Doutorado e participei de diversas bancas. Ajudo alunos de graduação, pós-graduação, mestrado, doutorado e profissionais a melhorar seus estudos aplicando Data Science.
Quer saber mais sobre como posso te ajudar a melhorar teu trabalho acadêmico… Clique Aqui e não perca esta oportunidade!
Quer que eu te ajude com Excel preencha o Formulário abaixo.