Big Data e IOT

O termo Big Data já foi abordado aqui no blog diversas vezes em vários assuntos, porém dessa vez vamos falar sobre Big Data e IOT(Internet das coisas), mas antes de qualquer coisa, o que seria esse "IOT"?

O que é IOT? 

A IOT pode ser descrita como a comunicação de máquina com máquina via internet. Ou, em outras palavras, a "internet das coisas" é basicamente como os objetos físicos estão conectados e se comunicando entre si e com as pessoas.

Alguns exemplos de IOT:

1. Carros elétricos e autônomos
2. Pulseira nike
3. Sensores
4. Tablets
5. Smartphones

Mas a pergunta é "qual a relação com Big Data?"

   Simples, sabemos que Big Data se refere a gigantes quantidades de dados, agora imagina uma máquina (seja ela qual for) recebendo esses dados para aprimorar a sua função, ainda não ficou claro? então imagina um carro autônomo, um carro que pode dirigir pelas rodovias desviando dos obstáculos, agora imagina esse carro conectado a internet recebendo constantemente dados sobre todos os lugares que ele trafega, dados contendo informações como "lugares que possuem escolas, locais onde o tráfego de carros é maior, lugares com maiores riscos de assalto...", essas informações iriam ajudar o carro a chegar mais rapidamente ao seu destino, de forma segura e com menos chances de riscos para as pessoas.

OBS: Se ficou alguma dúvida, não deixe de comentar no nosso fórum: <https://seminarioscomp.blogspot.com/2019/07/forum-de-duvidas-sobre-big-data.html>

Fontes:

Qual a relação de Big Data e IOT? : https://blogbrasil.westcon.com/qual-a-relacao-entre-big-data-e-iot

O que é IOT?: https://news.sap.com/brazil/2016/05/o-que-e-iot-a-internet-das-coisas/

11 Exemplos que internet das coisas é capaz de mudar o mundo: https://www.ngi.com.br/novidades/11-exemplos-provam-que-internet-das-coisas-e-capaz-de-mudar-o-mundo/

Share:

LEIA MAIS

Fórum de dúvidas sobre Big Data

 

 Aqui no blog foi abordado diversos assuntos no que se refere a Big Data, por isso, essa postagem será especialmente dedicada a dúvidas e ideias sobre a mesma. Se tem algo que você deseja saber sobre "big data" e nossa equipe ainda não tenha postado aqui, dê a sua sugestão nos comentários e quem sabe futuramente será o assunto de uma postagem!

Temas já abordados aqui no blog sobre big data:

- Onde os dados são armazenados? -  Concluído

- Técnicas de inteligência artificial aplicada por cientistas de dados. - Concluído

- (Profissão) Cientista de dados. - Concluído

- Compartilhamento de dados. - Concluído

- Big data: armazenamento de dados na nuvem. - Concluído

- mais a fundo na big data (Visualização de dados). - Concluído

- Para que analisamos dados? - Concluído

- Afinal, o que é big data? - Concluído

- Big Data e IOT - Concluído
- O poder dos dados - Concluído

Share:

LEIA MAIS

Onde os dados são armazenados?

   Já vimos anteriormente que Big Data se refere a um gigante volume de dados gerados (que são estruturados ou não) por segundo, que sobrecarregam todo tipo de empresa diariamente. Mas a questão abordada aqui é: para onde vão esses dados?

DATA WAREHOUSE

    Data warehouse é um sistema utilizado com o objetivo armazenar uma coleção de dados corporativos para serem analisados e estudados e é  considerado um componente central da inteligência de negócios. Em outras palavras, Data warehouse é um banco de dados digitais que armazena informações pré-selecionadas que variam de acordo com tempo.

PARA QUE SERVE? 

    Um Data warehouse é projetado para suportar decisões de negócios, dando uma maior destreza as pesquisas, extrações, transformações e carregamento de informações. Sendo assim criando padrões para melhorar a análise de dados e auxiliando na tomada de decisões.

VANTAGENS DE UM DW

1. Simplicidade
2. Facilidade de uso
3. Infra-estrutura computacional     
4. Ajuda a tomar decisões
5. Anomalias são facilmente detectadas

DESVANTAGENS DE UM DW

1. Complexidade de desenvolvimento  
2. Alto custo de desenvolvimento
3. Não possuem soluções adequadas para dados não estruturados

Fontes:

Data warehouse(DW): 

https://www.techopedia.com/definition/1184/data-warehouse-dw

Data warehouse:

https://www.coladaweb.com/informatica/data-warehouse

Significado de data warehouse:

https://www.significados.com.br/data-warehouse/

Data warehouse: Tudo o que você precisa saber!

https://www.cetax.com.br/data-warehouse/

Share:

LEIA MAIS

Técnicas de inteligência artificial aplicada por cientistas de dados

    Como já mencionado anteriormente, os Cientistas de Dados são uma nova geração de especialistas analíticos que utilizam suas competências para desbravar o mundo dos dados. Mas eles não agem sozinhos, eles contam com um arsenal de técnicas de inteligência artificial que os auxilia na sua tarefa. Falaremos brevemente sobre algumas delas:

MACHINE LEARNING: A inteligência artificial possui diversas subáreas, entre uma delas "machine learning". O aprendizado de máquina é uma técnica de I.A. bastante utilizada por cientistas de dado, consiste em desenvolver um algoritmo que irá constantemente aprender e se aperfeiçoar em uma determinada tarefa que o seu programador escolher. A aprendizagem é feita por 3 formas diferentes denominadas: 

1. Aprendizado Supervisionado ( o programador irá participar mais ativamente);
2. Aprendizado Não Supervisionado ( o programador participa parcialmente ou não participa);
3. Aprendizado Por Reforço ( o programador participa parcialmente).

DEEP LEARNING: Deep learning (Aprendizagem profunda) é uma subárea do aprendizado de máquina que consiste em criar um algoritmo baseado no funcionamento dos neurônios ( uma rede neural artificial), que irá aprender e se aperfeiçoar constantemente.

    O profissional que trabalha com dados irá utilizar essas técnicas de aprendizagem de máquina para o auxiliar em diversas atividades. Alguns exemplos: 

1. Mecanismos de Busca
2. Sistemas de recomendação
3. Detecção de Fraudes
4. Processamento de Linguagem Natural
5. Segurança de TI
6. Reconhecimento de Fala
7. Detecção de Anomalia
8. Logística

Fontes:

CIENTISTA DE DADOS - POR ONDE COMEÇAR EM 8 PASSOS:                                                    datascienceacademy.com.br/blog/17-casos-de-uso-de-machine-learning/

DEEPLEARNING: o que é e qual sua importância:                                                                                    www.sas.com/pt_br/insights/analytics/deep-learning.html

Share:

LEIA MAIS

(Profissão) Cientista de dados

   Os Cientistas de Dados são uma nova geração de especialistas analíticos que utilizam suas competências para desbravar o mundo dos dados. Em outras palavras o Cientista De Dados (Data Scientist) é aquela pessoa que tem uma boa habilidade em estatística,boas técnicas para resolver problemas complexos e geralmente possui conhecimentos sobre machine learning para o auxiliar.

   São profissionais muito procurados por todos os tipos de empresas(desde pequenas a grandes multinacionais). Eles atuam em diversas áreas da Big Data(como por exemplo a, porém de maneira mais abstrata a função dele é estabelecer uma base sólida de dados, para executar análises robustas, para melhor entender o mercado e utilizar essas informações na tomada de decisões.

   O salário médio bruto de um Cientista De Dados é R$ 8.056/mensal e o salário pode variar dos R$ 1.500/mensal aos R$ 20.588/mensal.

   EXTRA: o site datascienceacademy disponibiliza cursos de introdução a data scientist e de inteligência artificial aplicada a data scientist completamente gratuito, corre lá! 

Fontes:

Salários de data scientist: https://www.lovemondays.com.br/salarios/cargo/salario-data-scientist

Cientista de dados - por onde começar em 8 passos : http://datascienceacademy.com.br/blog/cientista-de-dados-por-onde-comecar-em-8-passos/

Cursos gratuitos: https://www.datascienceacademy.com.br/pages/cursos-gratuitos

Cientista de Dados: o que faz, salário e onde estudar : https://viacarreira.com/cientista-de-dados/

Share:

LEIA MAIS

Links de vídeos

Olá pessoal, vou mostrar aqui alguns links de videos legais pra vocês:




Pra quem gosta de ficar vendo vídeos hipnóticos pra dormir.

https://www.youtube.com/watch?v=kPRA0W1kECg&t=66s
https://www.youtube.com/watch?v=y9Ecb43qw98



Aqui uma explicação melhor sobre notação Big O

https://www.youtube.com/watch?v=kgBjXUE_Nwc



Aqui uma explicação usando dança para demonstrar o método de quicksort

https://www.youtube.com/watch?v=ywWBy6J5gz8

Share:

LEIA MAIS

Estrutura de dados - Slides

    
                   Algoritmo de Quicksort




                 Algoritmo de Bubblesort




                   Algoritmo de Insertionsort






REFERENCIAS:

TENENBAUM, Aaron M.. Estrutura de dados usando C.

https://www.cos.ufrj.br/~rfarias/cos121/pilhas.html

https://www.cos.ufrj.br/~rfarias/cos121/filas.html

https://pesquisaestrutural.wordpress.com/2014/10/03/a-diferenca-entre-pilha-e-fila/

http://calhau.dca.fee.unicamp.br/wiki/images/0/01/EstruturasDados.pdf

Share:

LEIA MAIS

Seminários - Meme

Share:

LEIA MAIS

Recuperação de Informação - Meme

Share:

LEIA MAIS

Compartilhamento de Dados

O Compartilhamento de Dados é a forma mais prática de reunir e utilizar do trabalho coletivo de empresas e pessoas da área de informática.

  Se você acredita, como eu, na sabedoria da multidão, então é hora de uma mudança completa na maneira como as pessoas pensam sobre a descoberta e a análise de dados. O modelo de trabalho atual no espaço de Big Data normalmente faz com que as empresas mantenham todo o seu trabalho dentro de suas paredes. Quando conversam com outras pessoas em seu setor, há pouca colaboração por medo de destruir o valor que criaram. Naturalmente, as empresas precisam proteger sua propriedade intelectual e manter seu valor. Dito isto, mesmo as empresas preocupadas em proteger sua propriedade intelectual podem tirar proveito de um modelo baseado na multidão. Há muitas opções quando se trata de compartilhar dados e análises que não exigem a exposição de informações privilegiadas, e nem todas as empresas têm as mesmas restrições. O que é certo para uma empresa da Fortune 500 pode não funcionar para uma empresa de 50, ou um pesquisador universitário, ou uma empresa sem fins lucrativos.

   

Para se beneficiar do "Compartilhamento de Dados" empresas com foco em TI utilizarão de um Software de Código Aberto para poder reunir conteúdo e outras empresas da área para trabalharem em conjunto, dessa forma empresas de pequeno porte poderão se juntar e o que seria um crescimento unitário, poderá se tornar algo muito maior ao aproveitar das informações gerados nesses códigos e assim tentar uma competitividade entre empresas maiores.

Fonte:
*Why Data Collaboration is the Next Revolution: https://datafloq.com/read/data-collaboration-is-the-next-revolution/5162

Share:

LEIA MAIS

Importância da Programação

Por que todos deveriam aprender a programar?

(What most schools don't teach)

Share:

LEIA MAIS