-
BIG DATA
O QUE É BIG DATA?
-
PROGRAMAÇÃO
INTRODUÇÃO A PROGRAMAÇÃO!
-
ANALISAR DADOS?
UMA BREVE INTRODUÇÃO A ANÁLISE DE DADOS.
-
PARA QUE LÓGICA NA PROGRAMAÇÃO?
CONCEITOS DE LÓGICA NA PROGRAMAÇÃO.
-
PROJETOS DE ALGORITMOS
PORQUE ESTRUTURAR BEM UM ALGORITMO?
introdução à lógica e projeto de algoritmos.
Como já descrito em matérias deste blog, algoritmos são sequências lógicas capazes de resolver problemas e um dos pilares da lógica de programação, portanto, nesta matéria entraremos em alguns tipos de algoritmos que existem e como suas dinâmicas influenciam no projeto de algoritmos.
Descrição narrativa:
Por mais que seja menos usado na área de programação, a descrição narrativa como por exemplo uma receita de bolo ou um manual de montagem é um algoritmo.
Fluxograma:
O fluxograma nada mais é do que uma ferramenta de criação e manutenção de projetos em que através de diferentes símbolos se planeja o algoritmo e apesar de parecer simples para um projeto, ele é muito útil em gerar eficiência e produtividade principalmente em projetos em equipe. Ao utilizar o fluxograma têm-se um panorama mais completo e visível das partes do projeto, gerando uma visão ampla para os funcionários e o que cada um deve fazer dentro do programa além de facilitar na revisão do algoritmo e de um possível problema.
Pseudocódigo:
Pseudocódigo é uma outra forma de descrever um algoritmo similar à programação o qual utiliza uma linguagem simples e direta para descrever a sequência lógica tendo como vantagem o uso de português e a declaração dos tipos de variáveis que serão usadas, se vão ser números inteiros, letras etc. Apesar de ser simples o suficiente para alguém que não sabe programas entender, o pseudocódigo mesmo estando próximo da programação original não é ela em si, portanto, em projetos pode ocorrer a perda de tempo e confusão entre colegas já que também não é uma estrutura padronizada.
Exemplo:
Algoritmo para somar 2 números inteiros
Declare N1, N2 como números inteiros
Leia N1
Leia N2
R = N1 + N2
Escreva R
Fim
Este é um exemplo de pseudocódigo e apesar de simples de transcrever para algum código, às vezes é mais fácil e prático programar direto o algoritmo ou usar outros métodos para planejá-lo.
Fonte:
Descrição narrativa:
Por mais que seja menos usado na área de programação, a descrição narrativa como por exemplo uma receita de bolo ou um manual de montagem é um algoritmo.
Esboço de fluxograma. |
Fluxograma:
O fluxograma nada mais é do que uma ferramenta de criação e manutenção de projetos em que através de diferentes símbolos se planeja o algoritmo e apesar de parecer simples para um projeto, ele é muito útil em gerar eficiência e produtividade principalmente em projetos em equipe. Ao utilizar o fluxograma têm-se um panorama mais completo e visível das partes do projeto, gerando uma visão ampla para os funcionários e o que cada um deve fazer dentro do programa além de facilitar na revisão do algoritmo e de um possível problema.
Exemplo de fluxograma. |
Simbologia de fluxograma. |
Pseudocódigo:
Pseudocódigo é uma outra forma de descrever um algoritmo similar à programação o qual utiliza uma linguagem simples e direta para descrever a sequência lógica tendo como vantagem o uso de português e a declaração dos tipos de variáveis que serão usadas, se vão ser números inteiros, letras etc. Apesar de ser simples o suficiente para alguém que não sabe programas entender, o pseudocódigo mesmo estando próximo da programação original não é ela em si, portanto, em projetos pode ocorrer a perda de tempo e confusão entre colegas já que também não é uma estrutura padronizada.
Exemplo:
Algoritmo para somar 2 números inteiros
Declare N1, N2 como números inteiros
Leia N1
Leia N2
R = N1 + N2
Escreva R
Fim
Este é um exemplo de pseudocódigo e apesar de simples de transcrever para algum código, às vezes é mais fácil e prático programar direto o algoritmo ou usar outros métodos para planejá-lo.
Fonte:
https://slideplayer.com.br/slide/1609469/
https://slideplayer.com.br/slide/11448093/
O que são algoritmos e como na realidade não vivemos sem eles.
Quando planejamos fazer algo e
criamos, às vezes até inconscientemente, um passo a passo, estamos projetando
um algoritmo, ou seja, quando levantamos para ir ao trabalho ou escola seguimos
uma sequência de passos lógicos com o intuito de realizar uma tarefa e isto é
considerado um algoritmo.
Por Exemplo, imagine que você queira
preparar um simples sanduiche de queijo e mortadela com pão francês:
·
Primeiro
você pega o pão.
·
Então a faca.
Então a faca.
·
Então
você corta o pão.
·
Depois
pega o queijo.
·
Põe
o queijo no pão.
·
Pega
a mortadela.
·
Põe
a mortadela.
·
E
por fim fecha o pão.
E este é um modelo de algoritmo para fazer um sanduiche de queijo e mortadela, entretanto, o universo de algoritmos é muito mais que isso e neste contexto de sanduiche por exemplo, pode se dizer que faltam detalhes na sequência lógica deste passo a passo, pois se fosse um computador utilizando a receita, ele perguntaria onde está o pão, a faca, o queijo e a mortadela além de perguntar como ele deve usar a faca, pôr o queijo e etc.
Planeje suas ideias. |
Portanto, como máquinas são
ferramentas complexas e a eficiência delas dependem do nosso nível de detalhe,
manuseio e planejamento, há a necessidade de uma elaboração prévia quando a
questão são algoritmos entrando aí, a importância de projetos de algoritmos na
informática.
Fontes:
Afinal, para que serve a Lógica de Programação?
A Logica de Programação é imprescindível para quem quer ser um bom programador, haja visto que servirá para resolver diversos problemas recorrentes no dia-a-dia de quem programa. A capacidade de dividir o problema em partes menores é uma etapa essencial da lógica de programação e precisa ser levada em consideração quando nos deparamos com qualquer exercício/desafio.
É importante salientar que o conceito de algoritmos tem um papel fundamental para a lógica de programação, pois é descrito, geralmente, como uma sequência lógica de ações capazes de resolver um problema.
É válido ressaltar, no entanto, que o conceito de algoritmo vai muito além da programação. Uma receita de bolo, por exemplo, é um exemplo simples de algoritmo. Até mesmo algo como “mascar um chiclete” pode ser descrito como um algoritmo, como mostrado:
1 – pegar o chiclete
2 – retirar o papel
3 – mascar o chiclete
4 – jogar o papel no lixo
5 – jogar o chiclete no lixo
A maioria dos algoritmos, obviamente, será mais complexa do que simplesmente “mascar um chiclete” ou “fazer um bolo”. No caso da computação, uma soma de dois números é o exemplo mais clássico de um algoritmo simples. Algo como o mostrado a seguir é bastante comum para observarmos que temos uma sequência lógica de ações que envolvem três elementos fundamentais : entrada de dados, processamento e saída de dados:
1 – Inserir o primeiro número
2 – Inserir o segundo número
3 – Somar os dois valores
4 – Mostrar o resultado
• Ações 1 e 2: entrada de dados;
• Ação 3: processamento das informações inseridas;
• Ação 4: saída de dados.
Portanto, saber lógica de programação é saber o melhor jeito de escrever um código, para o computador interpretar corretamente. É saber se comunicar com a máquina a partir de uma linguagem seja lá qual for.
Fontes:
Apostila de Lógica de Programação: https://www.apostilando.com/apostila/3355/apostila-de-logica-de-programacao-106-paginas
Lógica de programação: introdução a algoritmos e pseudocódigo: https://www.devmedia.com.br/logica-de-programacao-introducao-a-algoritmos-e-pseudocodigo/37918
É importante salientar que o conceito de algoritmos tem um papel fundamental para a lógica de programação, pois é descrito, geralmente, como uma sequência lógica de ações capazes de resolver um problema.
É válido ressaltar, no entanto, que o conceito de algoritmo vai muito além da programação. Uma receita de bolo, por exemplo, é um exemplo simples de algoritmo. Até mesmo algo como “mascar um chiclete” pode ser descrito como um algoritmo, como mostrado:
1 – pegar o chiclete
2 – retirar o papel
3 – mascar o chiclete
4 – jogar o papel no lixo
5 – jogar o chiclete no lixo
A maioria dos algoritmos, obviamente, será mais complexa do que simplesmente “mascar um chiclete” ou “fazer um bolo”. No caso da computação, uma soma de dois números é o exemplo mais clássico de um algoritmo simples. Algo como o mostrado a seguir é bastante comum para observarmos que temos uma sequência lógica de ações que envolvem três elementos fundamentais : entrada de dados, processamento e saída de dados:
1 – Inserir o primeiro número
2 – Inserir o segundo número
3 – Somar os dois valores
4 – Mostrar o resultado
• Ações 1 e 2: entrada de dados;
• Ação 3: processamento das informações inseridas;
• Ação 4: saída de dados.
Portanto, saber lógica de programação é saber o melhor jeito de escrever um código, para o computador interpretar corretamente. É saber se comunicar com a máquina a partir de uma linguagem seja lá qual for.
Fontes:
Apostila de Lógica de Programação: https://www.apostilando.com/apostila/3355/apostila-de-logica-de-programacao-106-paginas
Lógica de programação: introdução a algoritmos e pseudocódigo: https://www.devmedia.com.br/logica-de-programacao-introducao-a-algoritmos-e-pseudocodigo/37918
Big Data : Armazenamento de Dados na Núvem
O Armazenamento de Dados na Nuvem (Compartilhamento de Dados) permite que usuários compartilhem ou guardem arquivos na internet de forma segura (você não corre risco de pegar algum vírus durante o compartilhamento) sem necessariamente precisar de um hardware para fazer isso, portanto economizando grande parte da memória física do aparelho, como por exemplo os serviços: dropbox, o google drive, o one drive e etc.
Como posso fazer esse Armazenamento de Dados na nuvem?
Existe diversas formas de fazer um armazenamento em nuvem e diversos aplicativos para nos auxiliar nesta questão. Vamos listar algum dos aplicativos mais famosos e as suas funções:
Uma breve história sobre o Armazenamento de Dados.
O Armazenamento de Dados já é feito a muito tempo, o primeiro dispositivo foi feito em 1804 por Joseph-Marie, conhecido como "cartão perfurado" (IBM card), logo em seguida surgiu o "tubo de williams" criado em 1947 na universidade inglesa de Manchester, mas foi em 1956 que houve uma grande evolução da memória com o "disco magnético" criado pela IBM.
Fontes:
* O que é e como usar o dropbox?: https://www.techtudo.com.br/dicas-e-tutoriais/noticia/2012/02/como-usar-o-dropbox.html
* O que é o google drive e como usar?: https://www.techtudo.com.br/artigos/noticia/2012/04/o-que-e-google-drive-e-como-usar.html
* Por que o compartilhamento de dados é a nova revolução?: https://www.semantix.com.br/blog/por-que-o-compartilhamento-de-dados-e-a-nova-revolucao
* Entenda como funciona o armazenamento de dados na nuvem: https://renovamidia.com.br/entenda-como-funciona-o-armazenamento-de-dados-na-nuvem/
* História do Armazenamento de Dados, como era feito antigamente?: https://www.xmlspc.com.br/nws/historia-do-armazenamento-como-era-feito-antigamente/
* Cartão perfurado: https://pt.wikipedia.org/wiki/Cartão_perfurado
Como posso fazer esse Armazenamento de Dados na nuvem?
Existe diversas formas de fazer um armazenamento em nuvem e diversos aplicativos para nos auxiliar nesta questão. Vamos listar algum dos aplicativos mais famosos e as suas funções:
- Dropbox: é um aplicativo que armazena arquivos (vídeos, fotos, documentos de texto e etc) de forma gratuita em nuvem e também serve como ferramenta de backup. Ele possui aplicativos para Windows, Android, MacOS e IOS.
- Google Drive: Assim como o Dropbox, ele também faz armazenamentos em nuvem e backup. É comumente mais utilizado em dispositivos Android, porém também possui versões para MacOS, Windows e IOS.
- 4Shared: Um dos serviços mais famosos do mundo pelo seu compartilhamento de arquivos (e pela sua falta de segurança também), o 4shared funciona como um HD virtual, onde você pode de maneira simples e rápida liberar memória do seu dispositivo colocando os arquivos lá (Mas cuidado com o que irá baixar de lá).
- One Drive: Assim como os outros serviços, o One Drive funciona de maneira idêntica e geralmente é mais utilizado em plataformas Windows.
Uma breve história sobre o Armazenamento de Dados.
O Armazenamento de Dados já é feito a muito tempo, o primeiro dispositivo foi feito em 1804 por Joseph-Marie, conhecido como "cartão perfurado" (IBM card), logo em seguida surgiu o "tubo de williams" criado em 1947 na universidade inglesa de Manchester, mas foi em 1956 que houve uma grande evolução da memória com o "disco magnético" criado pela IBM.
Fontes:
* O que é e como usar o dropbox?: https://www.techtudo.com.br/dicas-e-tutoriais/noticia/2012/02/como-usar-o-dropbox.html
* O que é o google drive e como usar?: https://www.techtudo.com.br/artigos/noticia/2012/04/o-que-e-google-drive-e-como-usar.html
* Por que o compartilhamento de dados é a nova revolução?: https://www.semantix.com.br/blog/por-que-o-compartilhamento-de-dados-e-a-nova-revolucao
* Entenda como funciona o armazenamento de dados na nuvem: https://renovamidia.com.br/entenda-como-funciona-o-armazenamento-de-dados-na-nuvem/
* História do Armazenamento de Dados, como era feito antigamente?: https://www.xmlspc.com.br/nws/historia-do-armazenamento-como-era-feito-antigamente/
* Cartão perfurado: https://pt.wikipedia.org/wiki/Cartão_perfurado
Mais a fundo na Big Data (visualização de Dados)
A Visualização de Dados está correlacionada ao mapeamento de informações em formato imagético (imagens) ou gráfico e serve para facilitar a interpretação de dados, portanto, tornando mais simples compreender conceitos difíceis na tomada de decisão.
Como é feita essa visualização de dados?
Geralmente é utilizada por empresas em formatos de questionários (quando você compra um produto e recebe um formulário de feedback) para que o cliente possa preencher sobre essa tal mercadoria, essas informaçoes sao armazenadas em um banco de dados e comparada com informações de outros compradores. Com essas informações a empresa pode ter noção de como estao as vendas (de um ou vários produtos), identificar quais são suas próprias falhas e assim corrigi-las.
Formulário de Feedback. |
Para que serve a Visualização de Dados?
A visualização de dados tem como principal objetivo auxiliar na análise e comunicação de dados, assim tornando mais simples estes processos e mais eficiente o marketing sobre tal produto ou empresa. O profissional em dados irá utilizar os gráficos de forma correta para adequar as necessidades do cliente, bons agrupamentos dados, ajustes para aproveitar o espaço e etc.
OBS: O mercado de trabalho com Big Data (principalmente visualização de dados) está em um crescimento muito acelerado nestes últimos anos, e trabalhar com dados não é só para data scientist, o salário de quem trabalha no ramo pode variar ate seus quarenta mil por mês (vale a pena você dar uma olhada mais a fundo!).
Trabalhar com Big Data. |
Para que analisamos dados?
Análise de dados. |
Mas como podemos realizar essa tal "Análise de Dados"?
Existem diversas abordagens quando se trata dessa análise, porém iremos listar os 4 tipos de análise mais importantes (análise preditiva, prescritiva, descritiva e diagnóstica) :
1. Análise Preditiva : Consiste em combinar técnicas de mineração, inteligência artificial e estatística para obter informações mais precisas sobre determinado tema e assim avaliar com maior precisão comportamentos futuros do público ou mercado.
Os 4 tipos de análise de dados. |
3. Análise Descritiva : Geralmente é utilizada para tomar decisões certeiras e imediatas, essa forma de análise consiste na visualização de dados no presente sem correlacionar com o passado ou futuro.
4. Análise Diagnóstica : É comumente utilizada para entender o impacto de uma ação tomada dentro de uma empresa, e tem como objetivo responder os seguintes questionamentos: por quê, como, onde e quando (por quê ocorreu? Como ocorreu? Onde ocorreu? Quando ocorreu?).
Qual a importância de fazer uma análise de dados em uma empresa?
Compreender o contexto em que seu negócio está inserido é importante para o desenvolvimento de estratégias e consequentemente a tomada de decisões. Dentro deste cenário existe diversas formas de melhorar a eficiência da sua companhia ou empresa que trabalha, entre essas propostas estão: a melhoria geral de processos operacionais, o desenvolvimento de produtos e serviços que melhor atenda as necessidades dos compradores, a promoção de um ambiente interno mais saudável e etc.
Fontes:
* Conheça 4 tipo de análise de dados de Big Data: http://www.universidadebi.com.br/conheca-4-tipos-de-analise-de-dados-de-big-data/
* Big Data: você conhece os 4 tipos de análise de dados?: https://blog.academiain1.com.br/big-data-voce-conhece-os-4-tipos-de-analise-de-dados/
* O que é análise de dados?: https://www.fm2s.com.br/analise-de-dados-como-estruturar/
* Aprenda a importância da Análise de Dados nas decisões de negócios: https://blog.sonda.com/aprenda-a-importancia-da-analise-de-dados-nas-decisoes-de-negocios/
* O peso da Análise de Dados para empresas: https://www.escolaedti.com.br/a-importancia-da-analise-de-dados-para-um-negocio/
Afinal, o que é Big Data?
Big Data e suas propriedades. |
Big Data é um termo que se refere a um gigante volume de dados gerados (que são estruturados ou não) por segundo que sobrecarregam todo tipo de empresa diariamente.
O termo "Big Data" começou a ser popularizado por volta dos anos 2000 após o analista "Doug Laney" articular a definição de Big Data em 3 Vs (hoje em dia são 5) :
Volume : Referente a grande quantidade de dados de fontes variadas (dados transmitidos por máquinas, mídias e etc).
Velocidade : Referente ao processamento ágil (praticamente em tempo real) para conseguir gerar informações necessárias devido o grande volume de dados.
Variedade : Relacionado aos inúmeros formatos dos dados gerados sendo estruturados (arquivos numéricos) e não estruturados (áudio, vídeo, mensagens e etc).
Veracidade : Devido as torrentes de dados recebidas, a veracidade se relaciona diretamente com a autenticidade dessas informações.
Valor : Refere-se a informação útil obtida desses dados.
Profissões ligadas a Big Data que estão em alta :
-> Cientista de dados - Data Scientist.
-> Analista de dados - Data Analyst
-> Especialista em aprendizado de máquina - Machine Learning Specialits
-> Engenheiro de Big Data - Big Data Engineer
O que faz um profissional que trabalha com Big Data?
Um profissional que trabalha com Big Data é responsável por utilizar dados para
atender as demandas do seu negócio ou da companhia que trabalha. Imagine que uma empresa que trabalha com venda de livros decide criar um tópico no seu site baseado no feedback dos usuários (o que outros compraram também), então com isso o perito em dados vai observar tudo que foi coletado para formular uma hipótese e assim criar uma solução para esse problema.
Fontes :
* Big Data - O que é e qual sua importância?: https://www.sas.com/pt_br/insights/big-data/what-is-big-data.html
* Big Data - Definição, Histórico, Tipos de Dados, Mercado de trabalho e Aplicações na Atualidade: https://pt.wikipedia.org/wiki/Big_data
* Afinal de contas, o que faz um cientista de dados?: https://www.tecmundo.com.br/mercado/130970-atribuicoes-faz-trabalho-cientista-dados-data-science.htm
* Cinco exemplos práticos que provam que ja vivemos no mundo do Big Data: https://computerworld.com.br/2016/09/26/cinco-exemplos-praticos-que-provam-que-ja-vivemos-no-mundo-do-big-data/