scikit-learn中的算法都不直接支持分类变量

不只是scikit-learn中的树算法不能直接使用分类变量，scikit-learn中的算法都不直接支持分类变量。在使用这些算法之前，需要将分类变量转换为独热编码（one-hot）或整数类型。

下面这张截图来自 scikit-learn 的社区，解释了为什么 scikit-learn 不能直接使用分类变量，而需要在建模前将其预处理为数值型特征。截图指出，这是因为 scikit-learn 使用 NumPy 数组或 SciPy 的稀疏矩阵来表示数据集，这两种数据结构都无法直接表示类别变量。

图片来源

举例来说，在天气这个类别变量特征中，是不能用”Rain”、”Sunny”、”Cloudy”这样的字符串形式的，而是应该使用[1, 0, 0]、[0, 1, 0]、[0, 1, 0] 这样的独热编码来分别表示 “Rain”、 “Sunny”、 “Cloudy”。

除one-hot编码之外，也可以转成整数的编码，如使用0、1、2这样的整数表示”Rain”、”Sunny”、”Cloudy”。但这种表示方式会错误地赋予分类值大小关系，而这并非分类变量本身所具有的特性，所以应避免将类别变量转换成整数形式，而应使用独热编码形式。

可以看出，scikit-learn 只能处理数值型特征，如整数或浮点数。它无法直接处理文本形式的分类变量。因此，需要将分类变量转换为独热编码形式，即包含 {0, 1} 两个数值。这里的 0 和 1 虽然是数值型变量，但它们实际上表示某个特征的存在与否。本质上，这是使用整数 0 和 1 来表示逻辑假和逻辑真。

分类变量的转换例程

下面看一个例子，这是一个使用OneHotEncoder将分类变量转换为独热编码形式的示例代码：

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report
from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer

# 创建一个包含离散特征的示例数据集
data = {
    '颜色': ['红', '蓝', '绿', '红', '蓝', '绿', '红', '蓝'],
    '大小': ['大', '中', '小', '大', '中', '小', '中', '小'],
    '形状': ['圆', '方', '三角', '圆', '方', '三角', '方', '圆'],
    '类别': ['A', 'B', 'A', 'A', 'B', 'B', 'A', 'B']
}

# 创建DataFrame
df = pd.DataFrame(data)

# 分离特征和目标变量
X = df.drop('类别', axis=1)
y = df['类别']

# 创建ColumnTransformer对象来应用One-Hot编码
ct = ColumnTransformer([('encoder', OneHotEncoder(sparse=False), ['颜色', '大小', '形状'])], remainder='passthrough')

# 对特征进行One-Hot编码
X_encoded = ct.fit_transform(X)

# 获取编码后的特征名称
feature_names = ct.named_transformers_['encoder'].get_feature_names_out(['颜色', '大小', '形状'])

# 创建包含编码后特征的DataFrame
X_encoded_df = pd.DataFrame(X_encoded, columns=feature_names)

# 打印 X_encoded_df 的内容
print("X_encoded_df 的内容：")
print(X_encoded_df)

# 可以添加以下行来限制输出的行数，如果数据集很大的话
# print(X_encoded_df.head(10))  # 只打印前10行

# 打印 X_encoded_df 的基本信息
print("\nX_encoded_df 的基本信息：")
print(X_encoded_df.info())

# 打印 X_encoded_df 的统计摘要
print("\nX_encoded_df 的统计摘要：")
print(X_encoded_df.describe())

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_encoded_df, y, test_size=0.2, random_state=42)

# 创建并训练CART决策树
cart = DecisionTreeClassifier(random_state=42)
cart.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = cart.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率: {accuracy:.2f}")

# 打印分类报告
print("\n分类报告:")
print(classification_report(y_test, y_pred))

# 打印特征重要性
print("\n特征重要性:")
for feature, importance in zip(X_encoded_df.columns, cart.feature_importances_):
    print(f"{feature}: {importance:.4f}")

# 可视化决策树
from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

plt.figure(figsize=(20,10))
plot_tree(cart, 
          feature_names=list(X_encoded_df.columns),
          class_names=list(cart.classes_),
          filled=True, 
          rounded=True)
plt.show()

该代码展示了如何使用决策树模型（CART）对离散类别变量进行处理，并且通过 One-Hot Encoding 的方式将类别变量转换为数值型特征。下面我将逐步解释代码的各个部分，并详细说明如何将类别变量转变成 One-Hot 变量。

1. 创建示例数据集

data = {
    '颜色': ['红', '蓝', '绿', '红', '蓝', '绿', '红', '蓝'],
    '大小': ['大', '中', '小', '大', '中', '小', '中', '小'],
    '形状': ['圆', '方', '三角', '圆', '方', '三角', '方', '圆'],
    '类别': ['A', 'B', 'A', 'A', 'B', 'B', 'A', 'B']
}
df = pd.DataFrame(data)

这段代码创建了一个包含 8 条记录的小型数据集。数据集中的特征变量是 颜色、大小 和 形状，目标变量是 类别。每个特征变量都是离散类别变量，并且目标变量“类别”包含 A 和 B 两个类别。

2. 特征与目标变量分离

X = df.drop('类别', axis=1)  # 特征
y = df['类别']               # 目标变量

将特征和目标变量分离，X 中包含了所有特征（颜色、大小、形状），而 y 包含了目标变量“类别”。

3. 创建 ColumnTransformer 对象并进行 One-Hot Encoding

ct = ColumnTransformer([('encoder', OneHotEncoder(sparse=False), ['颜色', '大小', '形状'])], remainder='passthrough')

这段代码创建了一个 ColumnTransformer 对象，该对象用于将 One-Hot Encoding 应用于指定的列（颜色、大小、形状）。ColumnTransformer 是 sklearn 中用于将不同的预处理操作应用于不同列的工具。它的主要参数如下：

• [(‘encoder’, OneHotEncoder(sparse=False), [‘颜色’, ‘大小’, ‘形状’])]：
  
  • encoder 是一个别名，用于标识该 ColumnTransformer 中的 OneHotEncoder 编码器。
  • OneHotEncoder(sparse=False) 指定使用 One-Hot 编码器来将离散类别特征转换为 One-Hot 格式，并且 sparse=False 表示返回的编码结果是一个密集矩阵（Dense Matrix），而不是稀疏矩阵（Sparse Matrix）。
  • ['颜色', '大小', '形状'] 指定需要进行 One-Hot Encoding 的列。
• remainder='passthrough'：
  
  • 表示其他未被列出用于 One-Hot Encoding 的列（在本例中不存在）将不作任何处理，直接保留在输出中。
    

4. 将特征进行 One-Hot Encoding

X_encoded = ct.fit_transform(X)

这段代码将 One-Hot Encoding 应用于特征 X。fit_transform 方法会：

1. 计算每个特征中所有类别值的 One-Hot 编码映射关系。
2. 将所有类别变量转换为 One-Hot 形式的数值矩阵。
   

5. 获取 One-Hot Encoding 后的特征名称

feature_names = ct.named_transformers_['encoder'].get_feature_names_out(['颜色', '大小', '形状'])

使用 ct.named_transformers_['encoder'].get_feature_names_out() 来获取编码后的特征名称。每个特征会根据其原始特征名称和类别值生成相应的 One-Hot 特征名。例如，颜色中的红、蓝、绿会生成特征名：颜色_红, 颜色_蓝, 颜色_绿。

6. 创建包含 One-Hot 编码后的 DataFrame

X_encoded_df = pd.DataFrame(X_encoded, columns=feature_names)

将 One-Hot 编码后的矩阵转换为 DataFrame 格式，并赋予对应的列名。打印输出时可以看到如下形式的表格：

颜色_红	颜色_蓝	颜色_绿	大小_大	大小_中	大小_小	形状_圆	形状_方	形状_三角
1.0	0.0	0.0	1.0	0.0	0.0	1.0	0.0	0.0
0.0	1.0	0.0	0.0	1.0	0.0	0.0	1.0	0.0
0.0	0.0	1.0	0.0	0.0	1.0	0.0	0.0	1.0
…	…	…	…	…	…	…	…	…

7. 数据集划分、模型训练与测试

X_train, X_test, y_train, y_test = train_test_split(X_encoded_df, y, test_size=0.2, random_state=42)
cart = DecisionTreeClassifier(random_state=42)
cart.fit(X_train, y_train)

• 使用 train_test_split 将数据集划分为训练集和测试集，比例为 80% 训练集和 20% 测试集。
• 创建一个 DecisionTreeClassifier 实例，并使用训练集 X_train 和 y_train 进行模型训练。
  

8. 预测与评估

y_pred = cart.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)

• 使用训练好的模型在测试集上进行预测，并计算模型的准确率（Accuracy）。
  

9. 分类报告和特征重要性

print(classification_report(y_test, y_pred))

• 打印分类报告，显示模型在不同类别上的精确度（Precision）、召回率（Recall）和 F1 值。
  

for feature, importance in zip(X_encoded_df.columns, cart.feature_importances_):
    print(f"{feature}: {importance:.4f}")

• 打印每个 One-Hot 编码后的特征在决策树模型中的重要性（Feature Importance）。
  

10. 可视化决策树

plot_tree(cart, feature_names=list(X_encoded_df.columns), class_names=list(cart.classes_), filled=True, rounded=True)

• 使用 plot_tree 函数可视化决策树。feature_names 参数用于指定特征名称，class_names 用于指定类别名称，filled=True 使节点根据类别填充颜色，rounded=True 使节点边框变为圆角。
  

总结

• 该代码展示了如何使用 One-Hot Encoding 将离散类别特征转换为数值型特征，并使用 DecisionTreeClassifier 进行建模。
• One-Hot Encoding 是将每个类别特征转化为多个二进制特征（0 或 1），从而使得模型能够处理这些类别型变量。
• 通过 ColumnTransformer 结合 OneHotEncoder 的方式，可以在一个步骤中完成多个列的 One-Hot 编码，并最终将编码结果用于模型训练和评估。