Porque Big Data e análise de dados são tão desafiadores?

Home/Blog/Artigos/Porque Big Data e análise de dados são tão desafiadores?

Porque Big Data e análise de dados são tão desafiadores?

25567.40215-Big-Data

Um novo relatório de pesquisa de TDWI, intitulado Ciência dados e Big Data Caminhos para o Sucesso, descreve o estado do Big Data e ciência de dados: Em suma, está ficando maior e mais difícil. Em uma escala de 1 a 5, com 5 significando “completamente satisfeito” com a estratégia atual de gerenciamento de dados, apenas 3% dos entrevistados deram uma resposta de 5.

Aproximadamente 43% estavam bem no meio, e quase 40% ofereceram um 1 ou 2.

Parte dessa insatisfação pode ser devido à grande quantidade de dados coletados. 20% dos entrevistados estão tentando trabalhar com 10-100 terabytes, e 17% cento têm em qualquer lugar de 100 terabytes para mais de um petabyte. A maioria desses dados são dados estruturados agora, mas as empresas entendem a necessidade de descobrir rapidamente planos para integrar esses dados confiáveis ​​com os novos insumos mais imprevisíveis.

Entre os tipos de dados geridos, alguns estão a crescer muito mais rapidamente do que os outros. Os dados de texto/ conteúdo de e-mails, notas do call center e reivindicações estão crescendo extremamente rápido, assim como os dados de texto de mídia sociais externos.

Enquanto a maioria dos entrevistados estão usando a ciência dos dados para fazer consultas tradicionais de relatórios e análises, 53% também estão usando isso para análise visual. A análise preditiva está crescendo rapidamente, pois a coleta de dados de texto/conteúdo de e-mails, call centers e mídias sociais estão crescendo rapidamente e provavelmente criará a base necessária para entender melhor como os clientes vão reagir a um novo produto ou uma resposta do serviço ao cliente.

Cientista de Dados

O profissional cientista de dados existe há bastante tempo, mas esse papel tornou-se recentemente muito mais complexo à medida que as empresas tentam converter seus grandes ativos de dados em valor real. No passado, os cientistas de dados foram profissionais de modelagem preditiva – cientista de computador em parte, estatístico em parte, matemático em parte e analista de negócios em parte.

Esse papel está mudando por uma série de razões, uma das quais é o advento do que Fern Halper, vice-presidente e diretor sênior de pesquisa para análise avançada na TDWI, está chamando o cientista de dados do cidadão. Essas pessoas são a “próxima geração de Exploradores estatísticos “, que geralmente são autodidatas e querem acesso de autoatendimento às ferramentas e dados de que precisam para tomar decisões. Sendo usuários de negócios, eles tendem a não ter treinamento formal em estatísticas, mas estão aproveitando as plataformas de análise fáceis de usar.

A grande questão: encontrar grande valor de dados

A maioria das empresas estão usando a ciência de dados para gerar insights de negócios mais precisos, seguidos por uma melhor compreensão dos clientes, previsão de comportamento e melhoria das práticas/processos de negócios. Mesmo com a diversidade de resultados desejados, não existe um caminho único e previsível para o sucesso usando Big Data e ciência de dados. De acordo com o relatório, as empresas precisam trabalhar diligentemente para resolver alguns dos maiores problemas antes que eles possam começar a ver esse retorno positivo.

 

Talvez o mais terrível, de acordo com a TDWI, seja a lacuna de treinamento – basta colocar, as habilidades de ciência de dados que são difíceis de obter, e há muito mais demanda do que oferta agora. As empresas que esperam obter a vantagem sobre a sua concorrência provavelmente terão de aceitar que o treinamento interno e autoaprendizagem onde eles precisam para concentrar sua atenção, juntamente com o envio de funcionários fora da organização para receber treinamento de instrutores certificados. (Para o IoT especialmente, outro desafio que relatamos é a integração de dispositivos e dados).

Ajudar os funcionários a aprender mais sobre as práticas da ciência de dados é importante, mas igualmente a educação e toda a organização – especialmente a C-suite – sobre o que é a ciência dos dados. Sem uma compreensão de cima para baixo e interesse no valor da prática, as empresas vão lutar para reunir os recursos necessários, sejam as horas de treinamento, novas infraestruturas ou investimento em novas ferramentas analíticas.

Para este fim, muitos dos entrevistados relataram sucesso na construção de pequenas provas de conceitos. Essas provas usam problemas reais que a empresa está enfrentando para mostrar o valor da ciência dos dados. Se eles podem mostrar um rápido retorno sobre os juros, tudo tem de melhor.

Melhores práticas

O relatório termina com 12 melhores práticas para refinar a ciência dos dados e grandes dados. Primeiro e acima de tudo é a obtenção de dados em ordem – não é uma grande surpresa para aqueles que estão na prática. Recomendam-se abordagens progressivas para implementar novos sistemas, assim como assegurar que os principais intervenientes tenham a formação necessária antes de embarcarem num novo processo. TDWI recomenda que as empresas usem vários métodos de análise preditiva e mineração de texto ou gráfico de análise para aproveitar tanto a nuvem e novas tecnologias de código aberto.

Uma tendência observada em outros lugares é o uso de plataformas de dados e Big  Data como um serviço para fazer um trabalho pesado quando se trata de analisar grandes dados.

Dado os desafios inerentes na análise de Big Data, e outras preocupações – como aqueles com medo de seus empregos se tornará obsoleto por um algoritmo de aprendizagem de máquina – 2017 não será um ano fácil para a ciência dos dados. Mas, para as empresas que fazem isso direito – através da educação, colaboração e agilidade – eles serão capazes de deixar rapidamente a prova de conceitos em favor de um ROI genuíno.

Compartilhe no:

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *