2019年大数据初级课程培训通知
各有关单位： 当前，信息革命已经从数字化、网络化进入到以数据深度挖掘与融合应用为特征的智慧化阶段。大数据发展日新月异，引领了社会生产新变革，创造了人类生活新空间，拓展了国家治理新领域，也成为了国家战略重点和优先发展方向。数据科学与大数据分析作为当前产业发展热点及高校专业建设新方向已得到了广泛重视。大数据专业作为交又型学科,课程涉及数学、统计和计算机等学科知识,给教学带来一定的挑战。为解决大数据教学、学习中的困感,华为授权培训中心广西帆联科技有限公司特举行“大数据师初级课程培训班” 采用原理加实操方式开展,让更多人了解数据挖据、数据分析原理，掌握 Hadoop、 Python、 Spark等大数据主流工具，通过综合案例的学习掌握实践教学方法,为学员在大数据专业方面开展实验教学和科研工作打下基础。
一、培训目标： 该课程定位为大数据技术的普及，围绕大数据基本功能特性、大数据组件基础技术原理及操作演练的考核。课程包含：大数据行业与技术趋势介绍、大数据人才生态、数据挖掘的基础算法、Spark，hadoop大数据平台介绍， Hive分布式数据仓库、Streaming分布式流计算引擎、Loader数据转换、Flume海量日志聚合、Kafka分布式消息订阅系统、ZooKeeper集群分布式协调服务等11个常用且重要的大数据组件技术原理与架构， 完成该课程的学习，将证明您已经系统掌握常用且重要的大数据组件技术原理与架构，能够运用大数据解决方案进行海量数据的导入和导出等岗位所必备的知识和技能，并且为大数据应用业务奠定了坚实的基础。
二、培训对象 适用于从事或准备从事大数据技术相关工作，且具备一定云计算基础知识、计算机算法及编程基础的从业人员和高校科研工作者。
三、培训地点 时 间：2019年7月22日-27日（早上9:00-12:00，下午15:00-18:00） 培训地点：南宁市大学东路118号永恒朗悦酒店9楼会议中心乾坤厅
四、培训费用 此次培训有关费用为5600元人民币，培训费包含：报名费，电子教材资料，上机环境。差旅、餐食及住宿费自理。
五、认证证书 完成本课程可考取华为大数据初级认证工程师HCIA-Big Data，考试科目为H13-711，考试费用为1500元人民币，考试地点于广西帆联科技VUE授权考试中心进行。
六、报名联系人 联系人：谢新海 电 话：0771-2796086 手 机：15994437962 邮 箱：xinhai.xie@sail-lab.net 报名截止日期2019年7月20日。报名成功后我们于开课前5日与报名人员电话确认。 报名方式一：填写回执（附件一）发送邮件到联系人xinhai.xie@sail-lab.net 报名方式二：线上H5链接最后一页填写报名信息 七、课程内容 Bigdata大数据工程师课程大纲 | 大数据人才生态 | 大数据人才需求 | 大数据及数据分析、大数据挖掘、机器学习、AI概述 | 引入案例开篇（衣食住行、无人驾驶机智过人） | 大数据时代：云计算、机器学习、深度学习、人工智能等 | 神奇作用：百事可乐代言人企业决策、玉兰油企业成效 | 案例应用：金融、交通、电商企业级用户数据分析应用等 | 大数据从业者需求现状 | 大数据认证简介 | 华为HCIA->HCIP->HCIE大数据认证考试说明 | 人才：大数据应用技术工程师、大数据挖掘及机器学习算法岗、大数据系统研发工程师、大数据商业管理岗 | 大数据平台架构 | 大数据环境分析 | 虚拟化技术、云计算架构 | 什么是大数据？什么是数据样本、数据集，大数据4V/5V是什么？ | Hadoop概述 | 大数据集群存储处理技术定义、层次、目的、过程 | 数据化决策 数据模型与方法 | 什么是机器学习？ | 什么是大数据挖掘？ | 数据分析、机器学习、大数据挖掘相同点和不同点 | 数据挖掘技术与传统模型的映射 | Spark概述 | 什么是Spark？Spark vs Hadoop优势、什么是Spark ML？Spark MLLib作用 | 用户画像与企业可视化战略 | 大数据挖掘流程 | 认识数据 | 大数据场景案例导入 | 什么是一手数据、什么是二手数据 | 结构化数据VS非结构化数据 | 结构化数据的变量（数据）类型分类 | 描述性数据处理 | 数据获取 | 数据获取的原则有哪些？ | 内部数据获取 | 数据库VS数据仓库 | 关系型数据库SQL、NoSQL非关系数据库技术 | 结构化数据VS非结构化数据 | 外部数据获取 | 外部数据获取概述-行业数据、交易数据、API数据等 | Python概述 | 网络爬虫原理 | Python数据采集、爬虫 | 数据预处理 | 脏数据的成因和处理的必要性，数据处理的常规方法、基本操作、常用函数、数据透视表 | 数据的描述性分析：集中趋势测度、离散趋势测度等 | 数据清洗：缺失数据、异常数据等 | 数据集成：信息孤岛、共享融合数据等 | 数据转换：数据标准化、数据的代数运 、数据的离散化等 | 数据规约：变量规约、数值规约等 | 数据可视化 | 大数据可视化简介、常用图表、工具介绍、可视化技巧 | 大数据Hadoop平台 | Hadoop生态链 | Hadoop入门介绍- Hadoop生态系统和技术栈 | 大数据：分布式集群架构 | Linux入门基础-安装和使用Ubuntu系统 | Hadoop环境搭建 | Hadoop单机环境搭建 | Hadoop伪分布式集群搭建 | Hadoop完全分布式集群搭建 | Hadoop场景 | Hadoop优点、缺点 | Hadoop风险评估 | 大数据：分布式文件存储系统 | HDFS分布式文件系统简介、与传统文件系统区别 | HDFS读写文件、实现原理 | HDFS架构原理及常用指令 | MapReduce计算引擎 | MapReduce概念、框架和流程 | 大数据仓库 | 大数据仓库概念、数据库vs大数据仓库 | Hive技术架构 | 分布式数据仓库必要性、Hive基础知识 | Hive技术层面实现方式 | Hive技术应用场景 | Hbase技术架构 | Hbase基础知识 | Hbase集群模式 | 实践项目总结 | 宽表设计与用户画像 | 网站流量分析与页面运营 | 大数据Spark平台 | 分布式计算引擎 | Spark简介、为什么需要Spark、Spark框架 | Spark产品 | Spark基本组件介绍 | Spark运行架构 | Spark和Scala结合 | 日志采集 消息队列 协调服务 | 海量日志采集聚合系统Flume原理 | 分布式消息队列订阅系统Kafka原理 | 集群分布式协调服务ZooKeeper原理 | 流式计算框架Streaming原理 | Spark机器学习 | 分布式算法库基础知识 | Spark ML介绍 | Spark MLLib介绍 | 机器学习工作流 | 机器学习项目案例-房价预测 | 大数据建模1 | 机器学习 | 机器学习入门介绍：机器学习、大数据挖掘、深度学习、神经网络、人工智能体系 | 机器学习基本思想、大数据挖掘基本思想 | 机器学习常用算法分类、有监督学些、无监督学习、强化学习、迁移学习、算法库等 | KNN算法 | KNN算法工作原理、最近邻分类器 | KD-Tree和KNN回归 | KNN算法应用案例：改进约会网站配对效果 | 贝叶斯算法 | 朴素贝叶斯算法思路、全概率公式和贝叶斯定理 | 贝叶斯网络模型 | 朴素贝叶斯算法应用案例：互联网垃圾邮件过滤 | 回归算法 | 逻辑回归（分类） | Logistic回归算法工作原理 | Sigmoid函数、梯度上升法 | Logistic回归算法应用案例：构建信用卡反欺诈模型 | 线性回归 | 线性回归的相关概念（相关、独立和协方差） | 线性回归和最小二乘法 | 树和支持向量机 | 决策树 | 决策树算法工作原理 | 决策树算法演进过程 | 复杂数据的局部性建模 | 决策树ID3、C4.5、C5.0、CART算法 | 树模型算法应用案例：红酒分类 | 支持向量机 | 支持向量机算法工作原理介绍 | 线性可分的支持向量机 | 近似线性可分、非线性可分、核函数 | SVM支持向量机分类和支持向量机回归 | SVM算法应用案例：手写数字识别 | 大数据建模2 | 聚类和集成算法 | 聚类分析 | 聚类分析算法工作原理 | K-means快速聚类、K-medoids中心点算法 | DBSCAN密度聚类、层次聚类等 | 集成Bagging类算法 | Bagging算法工作原理 | 随机森林、集成Bagging算法应用场景 | 集成Boosting类算法 | Boosting算法工作原理、 | GBDT梯度提升树工作原理 | AdaBoost、XgBoost算法工作原理、不同种集成算法优缺点 | 神经网络算法：反向传播神经网路、卷积神经网络、LSTM等 | 关联与推荐算法 | 关联规则 | 关联规则算法工作原理、基本组成要素 | Apriori算法策略与特点 | FP-Growth算法策略与特点 | PrefixSpan算法模型与方法 | 关联规则应用案例1：百度搜索引擎中的相关搜索 | 关联规则应用案例2：淘宝中访问相关页面的关联店铺 | 推荐算法 | 协同过滤推荐算法工作原理 | 基于用户的协同过滤推荐算法 | 基于物品的协同过滤推荐算法 | 推荐算法应用案例：新闻个性化推荐 | 竞品分析-对应分析模型 | 金融大数据挖掘项目建模步骤 | 1、数据的读取及定位需要清洗的数据 | 2、模型有监督/无监督判断 | 3、非结构数据处理：空值、重复数据、离群点处理 | 4、数据量纲处理（归一化/标准化） | 5、构建评分卡模型/反欺诈预测模型 | 6、模型的评估与选择 | 7、模型的优化与封装 |
八、住宿及交通 培训地址：地铁站鲁班路站D口出永恒朗悦酒店9层会议中心
推荐酒店：
南宁永恒朗悦酒店
地址：南宁市西乡塘区大学东路118号
标准：450元/晚
电话：0771-2336888
雅斯特酒店
地址：南宁市西乡塘区大学东路100-1号(近广西大学(正门))
标准：240/晚
电话：0771-5810888
城市便捷酒店（广西大学大店）
地址：南宁市西乡塘区火炬路1号创业大厦9-12层
标准：200/晚
电话：0771-6115000
附件一 报名回执表 单位名称(开发票名称) | | 通讯地址 | | 信用代码 | | 姓名 | 职务 | 性别 | 邮 箱 | 联系电话 | 单位名称 | 是否住宿 | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | 汇 款 方 式 | 公司名称：广西帆联科技有限公司 公司地址：南宁市大学东路98号世贸西城广场B座1501 对公账号：2102111009201266650 开户行：工行南宁高新技术产业开发区支行 电话：0771-2796086 | 学员签字或盖章 |
| 
