梯度提升决策树(GBDT)

GCDT:梯度提升决策树

Gradient Boosting Decision Tree,又叫做MART(Multiple Additive Regression Tree)迭代的决策树算法,由多颗决策树组成,具有较强的泛化能力。GBDT是一回归树用来做回归预测,调整后可以用于分类。

Regression Decision Tree:回归树

回归树的每一个节点都会有一个预测值(例如平均值),分支时穷举每一个feature的每个阈值找到最好的分割点,且用最小化平方误差进行衡量分类标准。也就是说分类错误越多平方误差越大,直到每个叶子节点上的预测值都能达到预设的终止条件。

Boosting Decision Tree:提升树算法

查看更多

指数加权移动平均法(EWMA)

主要思想

Exponentially Weighted Moving Average (EWMA),对观察值给予不同的权重求得平均值,并以平均值为基础确定预测值的方法,往往近期观察值的权重高是因为其更能反映近期变化的趋势。各个指数加权系数是随时间指数递减的,越靠近当前时刻,加权系数就越大。

可以视作一种理想的最大似然估计,当前估计值由前一次估计值和当前的抽样值共同决定;也可以视作一个低通滤波器,剔除短期波动保留长期发展趋势的平滑形式。

优点

查看更多

网络异常行为检测

基于统计学习的网络异常行为检测技术(启明)

基于人工特征提取的异常检测技术的技术路线是:分析人员首先以某种方式从原始数据中提取特征参数,然后基于特征进行建模和异常检测。

人工特征提取的优点是(应用较多): * 特征提取建立在安全分析人员的认知基础之上,对异常行为有较强的针对性; * 对训练样本数量的依赖度低,较少的样本训练即可得到相对准确的模型; * 模型的可解释度高,容易确定异常检测结果的有效性。

人工特征提取的缺点: * 对安全分析人员的依赖度高,特征的选取方法会对异常检测结果的有效性产生直接影响。

深度学习优点: * 提出了一种让计算机自动学习产生特征的方法,并将特征学习融入建立模型的过程中,从而减少了人为设计特征引发的不完备。

查看更多

强化学习(3)

在策略学习根据策略\(\pi\) 产生的样本来学习关于\(\pi\)的相关知识 离策略学习根据另一个策略\(\mu\)产生的样本来学习关于\(\pi\)的相关知识(智能体观察人;重复利用旧策略;探索性策略学习最优策略;单一策略去学习多个策略)

\(\epsilon-贪心探索\):以\(1−\epsilon\)概率选择贪心动作 以\(\epsilon\)概率随机选择一个动作

\(\epsilon-贪心策略提升\)给定任意\(\epsilon\)-贪心策略\(\pi\), 根据 \(q_{\pi}\) 构造出新的 \(\epsilon\)-贪心策略 \(\pi′\) 具有 更好的性能, 即 \(v_{\pi′}(s) ≥v_{\pi}(s)\)

无限探索, 无穷时刻收敛为贪心策略(GLIE)的含义是:智能体能够无限次数地探索所有的状态-动作对;策略在无穷时刻收敛到贪心策略。

GLIE蒙特卡洛控制:能够收敛到最优动作 -价值函数, \(Q(s,a) \rightarrow q∗(s,a)\)

查看更多

强化学习(2)

动态规划

通过把原问题分解为相对简单的子问题来求解复杂问题

马尔可夫决策过程满足如下两个属性 * 贝尔曼方程具有递归形式 * 价值函数可以保存和重复利用

贝尔曼最优方程如下,其难点是\(v_*\)同时存在于等式左右两边 \[ v_*(s)=max_a(R_s^a+\gamma \sum_{s'\in S}P_{ss'}^av_*(s'))

查看更多

强化学习(1)

强化学习考虑的是序贯决策过程(智能体处在特定的环境中产生一系列的动作,而环境能够根据这些动作改变智能体的当前状态。) 根据环境反馈的奖励,调整智能体的行为策略,提升智能体 实现目标的能力。

强化学习是基于奖励假设:所有的目标都可以通过最大化期望累加奖励实现

查看更多

大规模机器学习

百万级别的数据样本:指数级别的算法基本告别了 十亿级别的数据样本:开始考虑分布式存储 万亿级别的数据样本:无法得知数据全貌,采用Peer-to-peer(机器处理本地的数据无总控)

理解机器学习

从优化的角度看机器学习

\[ \arg max_{\vec{\theta}} \equiv \mathcal{L}(\{x_i,y_i\}_{i=1}^N;\vec{\theta})+ \Omega(\vec{\theta})

查看更多
输入:数据D={x1,x2,...,xn},簇数目K
1. 随机选取K个种子数据点(seeds)作为K个簇中心
2. repeat
3. foreach x in D do
4. 计算x与每一个簇中心的距离
5. 将x指配到距离最近的簇中心
6. endfor
7. 用当前的簇内点重新计算K个簇中心位置
8. until(达到终止条件)

优点: * 简单:易于理解和实现 * 高效:时间复杂度为O(TKN),其中T为运行轮数,K为簇数目,N为样本数

查看更多