决策树

$$熵=-\sum_{i=1}^Np(i)log_2{p(i)}$$ $$Gini系数=Gini(p)=\sum_{k=1}^kp_k(1-p_k)=1-\sum_{k=1}^kp_k^2$$

熵越大，集合中的元素分类越多。

Gini系统与熵表达的意思一样。

Xgboost

$$y_i=\sum_jw_jx_{ij}$$

1. 回归算法

2. 决策树与随机森林

3. 贝叶斯算法
4. Xgboost
5. 支持向量机
6. 时间序列
7. 神经网络
8. PCA降维
9. 聚类算法
10. 推荐系统
11. word2vec