2.理解数据

此数据集中包括三个CSV文件：

.csv是道琼斯工业平均指数（DJIA）股票数据：7个字段，1990行。包含Date（日期），Open（开盘价），High（最高价），Low（最低价），Close（收盘价），（成交量）和Adj Close（调整后的收盘价）。（范围：2008-08-08至2016-07-01）

.csv是新闻数据：27个字段，1990行。包含Date（日期），Label（标签）和Top1-Top25（当日的头25条新闻）。（范围：2008-08-08至2016-07-01）

.csv：2个字段，73609行。包含Date（日期），News（新闻），所有新闻都根据它们的热度从上到下排名，每个日期有25行。（范围：2008-06-08至2016-07-01）

3.数据清洗

数据清洗的主要步骤如下：

选择子集，列重命名，删除重复值，缺失值处理，一致化处理，数据排序，异常值处理

先将后缀为.csv的文件保存为后缀为.xlsx的文件。

检查数据集，发现没有重复列，没有缺失值，同一列的数据类型统一，日期格式统一。将三个数据表都按时间升序排列。排序后的数据集前几行部分数据如下：

4.数据建模

对.xlsx表中的Adj Close做描述统计分析，得到如下数据：

平均Adj Close是13463.03，标准差为3144.007，因为是8年的数据，波动比较大，需要再做更细致的分析以探索股票数据。

对.xlsx表中的Date和Label列，做数据透视表，统计每年的涨和跌的天数，结果如下：

“1”表示DJIA Adj Close值上升或保持不变，“0”表示下降。可以看出每年上涨和下跌的天数比较均衡。

在.xlsx表中增加一列“涨跌幅”，计算过程如下：

涨跌幅的结果以百分号表示：

通过函数对涨跌幅进行分组：

然后通过数据透视表统计涨跌幅分组情况：

发现大部分情况下都是在-3%~3%的涨跌范围内，即分组标签为小涨和小跌的那两类，占96.73%（44.42% 52.31%）。涨跌幅度在3%~5%范围内的少数，涨跌幅度大于5%的极少数。通过对“涨跌幅”进行筛选，发现有两个超过10%的数据（飙升），是2008/10/13的涨11.0803%和2008/10/28的涨10.8779%。

查看.xlsx表和.xlsx表中2008/10/13和2008/10/28当天以及前面几天的新闻数据，再通过上网搜索，分析原因，简单总结如下。