SharEDITor

机器学习教程 十七-逻辑回归公式的数学推导

大数据 机器学习教程 发表于 2016-08-25 01:56:35 阅读2198次


机器学习中一些重要的公式,比如逻辑回归概率公式,多数情况下我们知道何时拿来用,但是它们都是怎么得来的呢,本节让我们详细探讨下

请尊重原创,转载请注明来源网站www.shareditor.com以及原始链接地址

逻辑回归中的数学推导

逻辑回归模型是基于这样的逻辑分布得出的模型

F(x) = 1/(1+e^x)

由此也得出了二项逻辑回归分布是:

P(Y=1|x) = e^(wx+b)/(1+e^(wx+b))

P(Y=0|x) = 1/(1+e^(wx+b))

也得出了多项逻辑回归分布是:

P(Y=k|x) =  e^(wx)/(1+∑e^(wx))

那么这个 1/(1+e^x)到底是怎么来的呢?我们来证明这一公式

首先假设0、1分布当Y=1的概率为

P(Y=1) = φ

那么

P(Y=0) = 1-φ

把他们变成统一的形式可以是:

P(y; φ) = φ^y (1-φ)^(1-y)

解释一下,这里如果y=0,那么前一项是1,就是p(y;φ) = 1-φ,而如果y=1,那么后一项就为1,就是p(y;φ) = φ

下面继续推导,我们知道有一个等式:a = e^(ln a)

那么把右面改成指数形式如下:

P(y; φ) = φ^y (1-φ)^(1-y) = e^(log(φ^y (1-φ)^(1-y))) = e ^ (y logφ + (1-y) log(1-φ)) = e^(log(φ/(1-φ))y+log(1-φ))

因为任何分布都能写成一种指数形式的分布:

p(y; η) = b(y) e^(ηT(η) - a(η))

这里面我们按照对应关系得出η=log(φ/(1-φ)),那么φ/(1-φ) = e^η,那么解出φ = 1/(1+e^(-η))

所以得出P(Y=1) = φ =  1/(1+e^(-η))

大功告成,终于知道逻辑回归公式是怎么来的了