我也要用- 博客(22)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 统计学习 势函数算法
【势函数】在线性分类中，还包括一种势函数的判别方法，其来源于等势线、等高线的概念。对于两类可分问题，其中属于的占据一个高山及其周围区域；而属于的占据一个低谷及其区域。那么其中存在一条等高线，高于该等高线的属于类；低于该等高线的属于类.对于一个确定的区域，其势函数的表达式为 一个势函数有以下特点：当X越接近时，的函数值越大，当时，取得最大值 当X越远离时，的函数值越小，特别的（其...
2019-12-28 20:47:00
984
原创 统计学习 感知器算法
【线性判别与感知器算法】线性判别：对于一个样本X以及判方程 ，判别超平面上的点X均满足方程而当时候，该点位于判别面的一侧，归为类别 而当时候，该点位于判别面的一侧，归为类别而点X到超平面的距离的计算公式为：对于类 其对应的标签y1=1;对于类 其对应的标签y2=-1对于一次线性分类，以所有分类错误点到超平面的距离之和作为代价函数，计算公式为： ...
2019-12-28 19:07:11
98
原创 统计学习 梯度下降
【案例引入】试想在一个夜晚，你目前处于一个山上，不考虑通过性，如何快速到达山脚（也就是最低点），可能有的几条策略是：不走向上的路，不走水平的路，那样海拔不会下降 总是走比较陡的路，有悬崖最好，因为可以速降 每次走一段距离歇一会，找到当前最陡峭的方向，继续走可以发现：如果多次停留歇息，寻找比较陡峭的方向，可以确保海拔下降的最快，但停留寻找方向需要一定时间开销 而如果几乎不停留，而...
2019-12-28 17:44:38
103
原创 统计学习 极大似然估计
【案例引入】原问题：一个袋子装有100个球，其中黑球70个，白球30个，问拿出一个球是黑球的概率？ 很显然概率为0.7修改后问题：一个袋子装有100个球，拿出10个，其中7个黑球，3个白球，问原先袋子中黑球的比例为多少？即通过出现的情况现象预估原先模型的参数？那么可以假设原先黑球比例为p 那么拿出一个球的概率也是p那么出现7个黑球 3个白球...
2019-12-25 21:06:27
110
原创 统计学习 Adaboost
【基本原理】将多个弱分类器进行组合，组成一个强分类器；弱分类器：通常指代单层决策树，也就是决策树最简单的模型，只有一个特征判断点，选择一维特征来进行分类如二维坐标点中选取X=2为划分点，X>2为+1类 X<2为-1类一个强分类器由多个弱分类器迭代训练组合而成，每一次只训练一个弱分类器，之前训练好的分类器参与下一次分类，也就是第N次迭代将训练第N个弱分类器，而前面的...
2019-12-24 20:00:47
74
原创 统计学习 分类决策树
【决策树】在分类问题中，基于一定的特征选择，将数据集划分成不同的分支，并不断递归下去直到划分为多个满足要求的小数据集，对于一个样本，其分类的过程是一系列判断和选择的过程。过程：特征选择、决策树生成、决策树修剪目标：根据训练集进行构建一个分类模型，能够对新来的数据正确分类本质：一系列分类规则的整合【构建过程】1.首先所有训练数据集都位于根节点2.选择一个最优特征划分数据集...
2019-12-23 20:47:08
75
原创 统计学习 贝叶斯分类
【概率知识】事件独立：当事件x与事件y相互独立时，有 p(x,y|z)=p(x|z)*p(y|z) 成立即事件x的发生与否 与 事件y发生与否 不相关，完全独立条件概率：p(x|y)表示当事件y发生时候，事件x发生的概率全概率公式：p(x)=p(x|y1)+p(x|y2).....一种理解角度是：事件x发生的概率，是出现y1现象时x发生的概率+出现y2现象时x发生的概率.....
2019-12-21 19:03:39
35
原创 统计学习 线性SVM
【决策面方程】针对2类样本点，寻找使得分类间隔最大的分类决策面,以二维空间为例二维空间的直线判别方程：y=ax+b => ax-y+b=0 => ax1-x2+b=0方程向量化：[a -1][x1 x2]T+b=0进一步，使用w列向量和x列向量以及标量y转化： wTx+y=0其中 w=[w1 w2]T x=[x1 x2]T 以...
2019-12-18 21:18:33
45
原创 线性规划 单纯形算法实现
【问题描述】DescriptionSuppose you will recruit a group of volunteers for a coming event. It is estimated that this event will take N days to complete, and the i(th) day needs at least Ai volunteers. Th...
2019-12-16 21:21:26
310
2
原创 线性规划 单纯形算法实例
例：解最优化问题：min -x1-x22x1+x2<=12 x1+2x2<=9 Xi>0 ,i=1,2,3,4【1】改写成标准形式，引入松弛变量2x1+x2+x3=12 x1+2x2+x4=9 Xi>0,i=1,2,3,4列出单纯形表： X1 X2 X3 X4 b X3 2 1...
2019-12-13 21:27:38
88
原创 数理逻辑 谓词逻辑中的自然推理系统N2
在原先命题逻辑的自然推理系统N1基础上引入全称量词和存在量词全称量词的否定 形式推理出 存在量词存在量词的否定 形式推理出 全称量词一个包含蕴涵关系的形式可推演证明：...
2019-12-10 18:03:32
262
原创 统计学习 多类线性判别
【线性判别】两类问题得判别函数，若X是二维模式样本X=(X1 X2) 用X1 X2作为坐标分量，模式的平面图若分属于1类和2类的模式可以用一个直线方程来划分d(x)=w1x1+ w2x2+ w3= 0其中X1 X2为坐标变量，W1 W2 W3为参数，则对于一个不知道类别的模式带入的d(x)若d(x)>0 则x属于1类 若d(x)<0 则x属于2类...
2019-12-07 16:45:55
119
原创 统计学习 PCA主成分分析
【信息的表示与降维】通常情况下，数据被表示成一组记录的组合，在机器学习领域通常用一维列向量表示一组特征。而当数据需要的特征过多时，在面对成百上千的维度情况下，算法的开销显著增大，因为数据的降维显得非常有必要，降维意味着部分数据的丢失，不过由于数据本身之间具备一定的相关性，因为采用合理的方法使得损失降低例如：学生的数据包含2列A和B A列中男生取1而女生取0 B列中男生取0而女生取1 那么...
2019-12-07 15:52:59
152
原创 数理逻辑 可靠性与完备性
命题逻辑与一阶逻辑都有可靠性和完备性。数理逻辑研究推理，研究前提和结论之间的可推导关系前提和结论之间的可推导关系是由它们的真假值之间的关系确定即：前提的真蕴涵结论的真用赋值（在命题逻辑中是真假赋值）定义的逻辑推论刻画了可推导性；逻辑推论是语义的概念用有限条形式推演规则定义的形式推演涉及公式的语法结构；形式推演是语法的概念可靠性：表示：凡是可推演性所反映的前...
2019-12-04 13:37:43
731
原创 动态规划 多重01背包及空间开销优化
先考虑传统01背包问题：给定N个物品的权重和价值，如何选择部分物品放入最大容量W的背包中，以获得最大总值？其转移方程是： dp[i][j]表示前i件物品选择一些装入j容量包能获取的最大价值那么 dp[i][j]=max{ dp[i-1][j],dp[i-1][j-w[i]]+value[i] }也就是考虑第i件物品放入或者不放入背包，这两者中取最大值如何填充这个dp数组？ 依次...
2019-12-03 11:50:50
57
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝