九次方大数据 大数据人才发展与就业前景

大数据人才发展与就业前景

更新时间:2020-04-09 12:35:31    作者:本站编辑    来源:北大青鸟计算机学院    分享到:

2019年,教育部再次公布关于2018年度普通高等学校本科专业备案和审批结果,两百多所高校新增备案“数据科学与大数据技术”专业。这是从16年教育部公布15年新增备案开始,大数据类专业持续新增获批的第四年,截至目前,全国已有四百多所高校获批并争相开设大数据类专业,其次是人工智能类专业:机器人工程、智能科学与技术、智能制造工程,及网络空间安全等专业。

市场对人才需求迫切

大数据与人工智能不仅在互联网公司的战略规划中频繁出现,同时在我国国务院和其他国家的政府报告中多次被提及。大数据、物联网、人工智能、网络安全等新领域人才虽是刚性需求,但供给仍严重不足。

据职业社交平台LinkedIn发布的《2018年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营、数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大,而数据分析人才最为稀缺。

根据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而在BAT企业招聘的职位里,60%以上都在招大数据人才。

大数据的应用范围广泛,将近50%的企业将大数据运用在企业工商信息管理方面,社会保障占据33.9%、劳动就业占据32.7%、市政管理占据29.4%、教育科研方面分别占据29%,发展形势一片大好,在各行业都有应用。

大数据行业方向学习

一、数据存储和管理。

大数据都是从数据存储开始。这意味着从大数据框架Hadoop开始。它是由Apache Foundation开发的开源软件框架,用在计算机集群上分布式存储非常大的数据集。

显然,存储对于大数据所需的大量信息至关重要。但更重要的是,需要有一种方式来将所有这些数据集中到某种形成/管理结构中,以产生洞察力。因此,大数据存储和管理是真正的基础,而没有这样的分析平台是行不通的。在某些情况下,这些解决方案包括员工培训。

二、数据清理。

在企业真正处理大量数据以获取洞察信息之前,先需要对其进行清理、转换并将其转变为可远程检索的内容。大数据往往是非结构化和无组织的,因此需要进行某种清理或转换。

在这个时代,数据的清理变得更加必要,因为数据可以来自任何地方:移动网络、物联网、社交媒体。并不是所有这些数据都容易被“清理”,以产生其见解,因此一个良好的数据清理工具可以改变所有的差异。事实上,在未来的几年中,将有效清理的数据视为是一种可接受的大数据系统与真正出色的数据系统之间的竞争优势。

三、数据挖掘。

一旦数据被清理并准备好进行检查,就可以经由数据挖掘开始搜索过程。这就是企业进行实际发现、决策和预测的过程。

数据挖掘在很多方面都是大数据流程的真正核心。数据挖掘解决方案通常非常复杂,但力求提供一个令人关注和用户友好的用户界面,这说起来容易做起来难。数据挖掘工具面临的另一个挑战是:它们的确需要工作人员开发查询,所以数据挖掘工具的能力并不比使用它的专业人员强。

四、数据可视化。

数据可视化是企业的数据以可读的格式显示的方式。这是企业查看图表和图形以及将数据放入透视图中的方法。

数据的可视化与科学一样,是一种艺术形式。而大数据公司将拥有越来越多的数据科学家和高级管理人员,很重要的一点是可以为员工提供更加广泛的可视化服务。销售代表、IT支持、中层管理等这些团队中的每一个成员都需要理解它,因此重点在于可用性。但是,易于阅读的可视化有时与深度特征集的读取不一致,这成为了数据可视化工具的一个主要挑战。

大数据就业前景了解

由于大数据所创造的价值非常大,也将让企业更加愿意为相关的人才付出更高的薪资。目前,具备一年工作经验的从业者月薪已经达到15k左右。具备3-5年经验的从业者年薪已经达到30-50万左右。大数据的就业前景非常值得期待,入行大数据也需要趁早。

大数据的就业方向有许多,主要可分为三大类:

1.大数据开发方向:大数据工程师,大数据开发工程师,大数据维护工程师,大数据研发工程师,大数据架构师等

2.数据挖掘,数据分析和机器学习方向:大数据分析师,大数据高级工程师,大数据分析师专家,大数据挖掘师,大数据算法师等

3.大数据运维和云计算方向:大数据运维工程师等

当下正是金九银十的求职季,作为高薪的大数据行业,以下就业岗位与相对薪酬可作为有意愿从事大数据行业人员的从业参考。

ETL研发

ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。

所需技能:ETL工程师是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。因此从事ETL研发首先一定要具有优秀的编程能力,其次要熟悉主流数据库技术,如oracle、Sql server、PostgeSQL等。并且得会数据etl开发工具,如Datastage,Congos,Kettle等。

薪酬情况:

Hadoop开发

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。Hadoop开发人员利用Hadoop来对数据进行必要的处理。

所需技能:

Java/Scala/Python/C/C++/Java/JSP中的一种或多种;

熟悉Hadoop框架;

掌握Hadoop/HBase/Flume/Kafka/Flink /Hive/Spark等开源大数据技术。

薪酬情况:

数据科学研究

数据科学的本质就是用数据来指导科学,用科学的方法处理数据,在许多行业中都通过结合数据来对专业做出指导和研究。

所需技能:良好的数据分析的能力,精通数学模型,能熟练使用数据分析软件R,Python等,有较强的英文能力。且该行业涉及知识较为深入和前沿,因此学历多数要求为硕士以上。

薪酬情况:

数据分析师

通过对已有数据进行分析处理得到有价值的信息,提供这些信息给企业让企业制定经营策略。或者从事研究方向,对学科数据进行挖掘分析,得到新的学科知识。

所需技能:对数据敏感,具有优秀的数据处理能力,能熟练使用R/python,熟练运用hive/sql编程,良好的编程能力,机器学习及统计学知识扎实。

薪酬情况:

OLAP开发

OLAP在线联机分析开发者,负责将数据从关系型或非关系型数据源中抽取出来建立模型,然后创建数据访问的用户界面,提供高性能的预定义查询功能。

所需技能:熟悉大数据底层系统的开发,熟悉服务器软硬件体系结构;精通Linux和大数据存储和计算模型;精通一门开发语言(Python、Scala、Java、C等),熟练hadoop,spark,Kafka的使用,熟悉mysql等关系数据库和nosql技术。

薪酬情况:根据需求和公司的不同月薪从10000~50000不等。

数据可视化

随着Hadoop的崛起,数据可视化已经成了一项独立的专业技能和岗位。其主要的工作就是将庞大的数据转化成生动形象的图表,视频等。

所需技能:具有扎实的前端基本功,包括但不限于HTML/CSS/JS等;熟悉数据可视化库,如ECharts/D3.js/HighCharts/G2等;熟悉BI开发的流程。熟悉主流oracle数据库等,熟练掌握SQL。

薪酬情况:

算法工程师

通过研究算法提升数据的处理速度,节省处理数据的存储空间。让输入输出过程更加高效。

所需技能:具有优秀编程能力,精通Python,GO,R,Scala,c/c++或Java中任意一门语言;具备优秀的数学能力,精通监督/非监督机器学习的算法;对深度学习有广博而深入的了解。有较强的问题分析与解决的能力。

薪酬情况:

信息架构开发

了解如何定义和存档关键元素,确保以最有效的方式进行数据管理和应用。

所需技能:具备优秀的编程能力,精通C/C++,熟悉Golang;熟悉mysql,redis等存储,熟悉Linux开发环境;有数据分析的洞察力和产品意识;精通架构模式,精通主流应用架构和平台,精通应用系统的高性能,高安全,高可靠,高可扩展,高可管理等非功能设计与规划。

薪酬情况:

数据仓库研究

建立并维护数据仓库,合理设计数据仓库,做到高可用,高扩展和易维护;与后端工程师沟通,根据相关需求,设计数据库的表结构,对最终性能负责;根据需求,确保数据实时性达标;与前端工程师沟通,根据数据分析后的结果辅助进行可视化展现;配合架构师完成ETL工作,确保数据入仓后的完整性和正确性。

所需技能:熟悉SQL及PLSQL的开发,了解MySQL/Oracle等大型数据库;熟悉Nosql(如Redis,Hbase等),对调度系统,元数据系统有非常深刻的认识和理解,能解决高并发的调度系统中的问题。熟悉Unix/Linux操作系统和开发环境;熟悉分布式系统的应用系统的规划及设计能力。

薪酬情况:

数据挖掘工程师

以大数据为基础,借助hadoop集群,使用python脚本语言编写map/reduce程序,在海量数据中进行数据的分析统计;利用数据挖掘、人工智能等分析模型,发掘用户行为中蕴藏的潜在规律;对特定主题进行建模,解决实际问题。

所需技能:能熟练使用hadoop框架;具备优秀的编程能力;了解常用的数据分析工具,具有Hadoop、Hive、Storm及MySQL等分析实践经验;对机器学习,文本挖掘,自然语言识别和网络爬虫具有一定的了解。

薪酬情况:

目前全球的数据量正在以每18个月翻一倍的惊人速度增长,世界正在高速数字化,大数据堪比石油,如何掘金大数据是所有个人、企业和国家的机遇和挑战,人才大国的中国,能理解和应用大数据的创新人才更是稀缺资源。

内容来源:北大青鸟计算机学院

标签
大数据 | 人才