http://www.aboutyun.com/thread-24339-1-1.htmlhttps://blog.csdn.net/bbbeoy/article/details/79590981###XGBoost的优势https://blog.csdn.net/jasonzhangoo/article/details/73061060##GBDT通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。##http://blog.sina.com.cn/s/blog_6877dad30102xd07.html##XGBoost正则化并行处理高度的灵活性缺失值处理剪枝内置交叉验证##LightGBM基于Histogram的决策树算法带深层限制的Leaf-wise的叶子生长策略直方图做差加速直接支持类别特征（categorical Feature）Cache命中率优化基于直方图的稀疏特征优化多线程优化LightGBM是一个梯度boosting框架，使用基于学习算法的决策树,基本原理与XGBoost一样，重点在模型训练速度的优化。 ##RandomForest具有极高的准确率不容易过拟合有很好的抗噪声能力能处理很高维度的数据，并且不用做特征选择既能处理离散型数据，也能处理连续型数据，数据集无需规范化训练速度快，可以得到变量重要性排序容易实现并行化当随机森林中的决策树个数很多时，训练时需要的空间和时间会较大有点像一个黑盒子，无法控制模型内部的运行，只能在不同的参数和随机种子之间进行尝试