第一部分：Python数据分析基础
1.1 Python简介
Python是一种广泛应用于数据分析、人工智能、网络开发等领域的编程语言。其简洁易读的语法和强大的库支持，使其成为数据分析领域的热门选择。
1.2 Python数据分析环境搭建
- 安装Python：从Python官网下载并安装适合自己操作系统的Python版本。
- 配置Python环境变量：在系统变量中添加Python的安装路径。
- 安装数据分析库：使用pip工具安装NumPy、Pandas、Matplotlib等常用库。
1.3 NumPy库
NumPy是Python中用于科学计算的基础库，提供高性能的多维数组对象和一系列的数学函数。
1.3.1 创建数组
import numpy as np
# 创建一维数组
array1 = np.array([1, 2, 3, 4, 5])
# 创建二维数组
array2 = np.array([[1, 2, 3], [4, 5, 6]])
1.3.2 数组操作
# 索引和切片
print(array1[0]) # 输出第一个元素
print(array2[1, 2]) # 输出第二行第三列的元素
# 数组形状修改
print(array1.shape) # 输出数组的形状
print(array1.resize((2, 3))) # 修改数组形状
1.4 Pandas库
Pandas是一个强大的数据分析库，提供数据结构和数据分析工具，用于数据分析、数据清洗和数据处理。
1.4.1 创建DataFrame
import pandas as pd
# 创建DataFrame
data = {'Name': ['Tom', 'Nick', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)
# 输出DataFrame
print(df)
1.4.2 数据清洗
# 删除缺失值
df.dropna(inplace=True)
# 删除重复值
df.drop_duplicates(inplace=True)
1.5 Matplotlib库
Matplotlib是一个绘图库，用于数据可视化。
1.5.1 绘制柱状图
import matplotlib.pyplot as plt
# 绘制柱状图
plt.bar(['Tom', 'Nick', 'John'], [20, 21, 19])
plt.show()
第二部分：Python数据分析进阶
2.1 数据预处理
数据预处理是数据分析的重要环节，包括数据清洗、数据转换、数据归一化等。
2.1.1 数据清洗
# 删除重复值
df.drop_duplicates(inplace=True)
# 删除缺失值
df.dropna(inplace=True)
2.1.2 数据转换
# 将字符串转换为日期格式
df['Date'] = pd.to_datetime(df['Date'])
2.1.3 数据归一化
from sklearn.preprocessing import MinMaxScaler
# 归一化
scaler = MinMaxScaler()
df_scaled = scaler.fit_transform(df)
2.2 特征工程
特征工程是提高模型性能的关键环节，包括特征选择、特征提取等。
2.2.1 特征选择
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
# 特征选择
X = df[['Age', 'Salary']]
y = df['Performance']
selector = SelectKBest(score_func=chi2, k=2)
selector.fit(X, y)
X_new = selector.transform(X)
2.2.2 特征提取
from sklearn.feature_extraction.text import TfidfVectorizer
# 特征提取
vectorizer = TfidfVectorizer()
X_new = vectorizer.fit_transform(df['Description'])
2.3 模型训练与评估
在完成特征工程后，我们可以使用各种机器学习模型对数据进行训练和评估。
2.3.1 模型训练
from sklearn.linear_model import LogisticRegression
# 模型训练
model = LogisticRegression()
model.fit(X_new, y)
2.3.2 模型评估
from sklearn.metrics import accuracy_score
# 模型评估
y_pred = model.predict(X_new)
print(accuracy_score(y, y_pred))
第三部分：Python数据分析实战
3.1 实战项目一：股票数据分析
3.1.1 数据获取
从股票数据网站获取股票数据，例如新浪财经、东方财富等。
3.1.2 数据处理
使用Pandas对股票数据进行清洗、转换和归一化。
3.1.3 数据可视化
使用Matplotlib绘制股票价格走势图、成交量图等。
3.1.4 模型训练与预测
使用机器学习模型对股票数据进行预测，评估模型性能。
3.2 实战项目二：社交媒体数据分析
3.2.1 数据获取
从社交媒体平台获取用户数据，例如微博、知乎等。
3.2.2 数据处理
使用Pandas对社交媒体数据进行清洗、转换和归一化。
3.2.3 关键词提取
使用jieba等中文分词工具对文本数据进行分词，提取关键词。
3.2.4 模型训练与预测
使用机器学习模型对社交媒体数据进行情感分析、主题分类等。
总结
通过本文的学习，你将掌握Python数据分析的基本技能，包括数据预处理、特征工程、模型训练与评估等。在实际应用中，你可以结合自己的需求，选择合适的数据分析方法和工具，提高数据分析能力。祝你在数据分析的道路上越走越远！