[BigData] 白话统计学:什么叫正态分布

博客首页 » BigData 白话统计学:什么叫正态分布

发布于 05 May 2015 11:03
标签 blog
白话统计学

白话统计学:什么叫正态分布

http://blog.sina.com.cn/s/blog_6406a7740102v3fc.html

标签: 统计学 正态分布 分类: 求知

复习一个统计学方面的课题,想找些资料看看,结果发现,就算是最基本的一些统计学概念,能找到的中文资料,读起来都是这么的佶屈聱牙,似乎都是从教科书里拷贝几个名词解释给放到一起,就算是一篇文章了。

所以我想试试做一个费力但是未必讨好的事,用大白话拆解统计学里面的一些基本概念。

我熟悉医药,就选了个跟医药有关的话题,就是怎么用统计学来判断一种药是不是有疗效。

比如有个新药,卖的人声称吃了它之后让人跑步速度加快。

在统计学上,这叫做一个“假说”。就是说,这人有一个说法,他说他的药物有效,能让人跑得快。但是在没有经过验证之前,我们就没有理由认为这是真的。所以这只能叫做“假说”。

那么我们应该怎么去检验一个假说是不是真的能成立呢?

为了检验,我们可以给10个人吃这种药,然后让他们跑100米,测一下他们的速度。

我们假设测得的结果是:这10个人,跑100米平均需要12秒。

(注意:本文的所有数字都是即兴假设的,就是为了帮助说明问题。请勿就具体数字打假。)

这算是快呢还是算慢呢?

我们需要跟“正常情况”做对比。

就这个课题来说,正常情况就是全体人类的平均跑步速度。

那我们就去查资料,一查之下发现,大众跑100米的平均速度是13秒。

大众跑100米需要13秒,而这10个人吃了这种新药之后,跑100米只需要12秒,少用1秒钟时间就能跑完100米,似乎速度确实是快了,那么这个新药好像真的是有效?

其实我们现在还不能下结论。

因为,我可以争辩说:人的跑步速度本来就不一样。有些人快,有些人慢。所以各次测量的数字是不可能完全一样的。你另外叫10个人来,不吃这种药,跑100米测速,结果可能是12秒,也可能是13秒,甚至可能是14秒,这都不一定的。

因为人类都有个体差异。张三和李四的跑步速度不一样,这个很正常。这种个体差异,就可以让你每次找10个不同的人来测量跑步速度的时候,得到的数字会不一样。这个就是个体差异导致的自然波动。

好,那么现在你怎么能证明吃药的这10个人,跑100米跑出来的这12秒的成绩,不是那种人体差异导致的“自然波动”,而是确实是因为吃了这个药,于是速度增加呢?

这就需要有统计学的判断方法来帮忙。

要做这种判断,需要知道两件事:

一,正常情况下,大家跑步的平均速度是多少。

二,正常情况下,不同的人跑步,个体差异有多大。

人群总体的平均跑步速度,我们可以把它叫做标准速度。而那种自然波动幅度,也就是不同的人跑步速度的个体差异,统计学上会用一个叫做“标准差”单位来衡量。不过统计学专家不用“自然波动”这个词。他们喜欢用的词是“分布状态”。

这个“分布状态”,还有个有意思的现象,就是:两头小,中间大。统计学家管这个叫做“正态分布”。
001Pzntqgy6M7rVM9uzfb&690

注意人家说的不是正太。是有人喜欢正太,这个统计学家也不否认。不但不否认,他还能告诉你人群里喜欢正太的占百分之几。问题不是这个。问题是人家说的“正态”跟帅哥没关系。人家说的是:凡事都有标准,可是凡是标准都有例外。不过,标准既然能叫标准,理由就是因为势力大。就是说,在一个群体里,合乎标准的会占多数(咱这儿不讨论山寨产品)。偏离标准的占少数。偏离标准越远,出现的数量就越少。这个叫做事物属性的正常分布状态,简称正态。

正态分布的数字,如果画图来表示,就会像一个寺庙里的吊钟,就是下面这个图的样子。

白话统计学:什么叫正态分布

这个图里,横轴上的刻度,从左边往右看,是从-4到0然后到+4.

这啥意思?

意思是说,咱以中点做标准。偏离中点的,我们就说是它跟标准“有差异”。-1是比标准小1,而+1当然就是说比标准大1.
那么-4当然就是说比标准小4了,以此类推。

我们刚才说的跑步速度的例子,也可以画成这样的一个图。图的中点是标准速度13秒的所在地(它跟标准速度13秒的“差距”是0,所以就标注作0了)。大多数人跑出来的都是这个平均速度,所以这个地方的曲线拱得最高,意思就是跑这个速度的人数最多。

然后有人跑得很快,比如能跑9秒,因为9秒比标准速度13“减少了”4秒,所以在这个曲线上,用的是-4来表示。-4那里还有个附加的数字:0.5%。这是什么意思?这是说,跑100米只用9秒的神人很少,在人群里大概只有0.5%。

因为能跑这么快的人很少,所以这里的曲线很低。

这是说跑得快的。另外有一些人跑得特别慢,100米要跑17秒。17秒比标准速度13秒“增加了”4秒,所以在这个图里,就用最右边的那个+4来表示。这里的曲线也是特别低,就是因为跑这么慢的人,数量也很少,大约只占人群的0.5%,所以这里也标注着一个附加数字:0.5%

知道这两个0.5%是什么意思,中间的那两个34%也就容易理解了。那意思就是说,跑100米需要的时间大约是12秒(13-1,所以刻度是-1)的人,占人群总数的34%。而需要时间是14秒(13+1,所以刻度是+1)的,也是占34%。

这两部分的人,一个是比标准速度快一秒,一个是比标准速度慢一秒。虽然一个是快了,一个是慢了,从体育角度看,或是从上公交车抢座的角度看,两者大不相同,但从统计学的角度看,两个都是一样的属性,就是:它们跟标准速度(13秒)的差距都是1秒。

用统计学的术语来说话,就是说这两部分的人,跟标准速度的差别都是一个标准差。

两部分人各占34%,合起来,这些人是占整个人群的68%

这就是图下方的那个68%表示的意思。用比较正经八本的话来表示,就是:跟标准值(13秒)的差距是一个标准差的人,占总人数的68%

如果把差距是两个标准差的人,就是速度比13秒多2秒和少2秒的都收罗进来,那当然包括的人数就更多了,这就会包括95%的人了

如果快3秒的和慢3秒的都收进来,就占到了整个人群的99%。

这个就是100米跑步速度的总体分布状态。而这个钟形曲线就叫“正态分布曲线”

根据这个数字分布状态,我们可以说,你如果跑步速度比平均值少一秒,那你还是在正态分布范围的68%范围里,就是说人体自然差异造成这种速度变化的可能性是68%,跟药物没有关系。

如果你能快3秒,就是说你用少于10秒(就算9.9秒吧)跑100米,那么,按照这个分布状态,这种事,因为人体自然差异而造成的可能性就小很多了,只有1%。

知道了人群跑步速度的这种分布状态,我们现在可以回头再看看那10个人跑出的12秒,算不算药物有效的证明。

这10个人,吃了那种药,他们跑100米的速度是12秒,就是说快了一个标准差,按照跑步速度的正态分布曲线,一个标准差是说这种事情本来就有68%的可能性。就是说即使不吃药,随便抓10个人来跑,也会有大约68%的可能直接跑出12秒的成绩来。

但是如果这10个人跑出少于10秒的成绩,比如说跑了9.9秒,这就是快了不止3个标准差。3个标准差的含义是什么?就是说如果随便抓10个人,不吃药,直接跑,居然跑出9.9秒的成绩,这种事情,正常情况下(就是说,不吃药的情况下),发生几率只有1%。因为,上面说了,99%的人都是在加减3个标准范围之内,就是说都在10—17秒之间。而这10个人能跑9.9秒,这就超出了3个标准差的范围,就是说“咱跟你们那99%不一样”了

这两个例子,第一个,跑12秒的,因为自然波动的关系,它出现机率高达68%,第二个,跑9.9秒的,可能的出现率就只有1%

前一个例子是是一个验证失败的例子。因为,68%这个机率太高,偶然碰上天然快腿的可能性太大,所以那不足以证明这个药有效。

要到多少比率才算有效?

统计学经过大量调查测量,发现真有效和假有效的分界线是5%。就是说,根据你这个测试内容的数据分布状态,如果你的试验组出现的某种变化,“天然发生”的可能小于5%,就可以接受为有效的证明。如果天然发生的几率是1%,可以说是“很有效”的证明。如果有人能得出0.1%的几率,那就是可以拍着胸口大声说我拿人头担保有效!

所以,我们这个验证新药的例子里,给如果10个人吃了这种药,他们跑100米的速度是12秒,虽然是快了,但是这种事情不吃药自然发生的可能性高达68%,这样的速度改变就没有说服力,结论是药物无效。这10个人只是碰巧跑得比别人稍快而已。

如果他们吃了药,跑的平均速度是9.9秒,这就可以说有效,因为,如果不吃药,随便抓10个人,跑出这种成绩的可能是小于1%,这就基本可以排除巧合了。

这个就是用统计学原理来验证一个假说的方法。就是说,一个假说,要跟大样本测量得到的“正态分布曲线”做对比,来证明你的假说所描述的那些变化,在正常情况下自然发生的可能性小之又小,于是我们就可以有信心说这不是自然的波动,而确实是发生了一种新的变化。如果是关于药效的假说,我们就可以说这个药是真的有效了。

没有经过科学训练的人,容易犯的错误就是不知道如何排除那种自然波动导致的巧合,于是给几个人吃了一种草,发现他们跑步速度加快了一秒,就立刻把这作为定理给记载到典籍里。古代各民族的原始医学里,记载了几万种治疗药物的方子,其中绝大多数是没有作用的,原因之一就是因为古人不知道用这种系统的分析方法来排除事物属性的自然波动。

说明一下:为了方便描述,我这里举的例子,比如这个跑步速度的测定方法,是简化了的。真正做研究,实验的设计当然要比这复杂,比如应该有对照组,应该有条件控制来排除其他因素的干扰。但那个是别的话题了,此处从略。

二项式分布、泊松分布、伯努利分布

http://f.dataguru.cn/forum.php?mod=viewthread&tid=97052

伯努利分布是最简单的二项式分布。进行一系列试验,满足1.在每次试验中只有两种可能的结果,而且是互相对立的;2.每次实验是独立的,与其它各次试验结果无关;3.结果事件发生的概率在整个系列试验中保持不变,则这一系列试验称为伯努力试验。举个例子:
如导弹射击实验题。命中40%,脱靶60%
那么我们来看看这个分布的均值:u=对*40%+错*60%,这个式子没什么意义,我们用数值来表示,1表示命中,0表示脱靶。u=1*40%+0*60%=0.4,这个结果既不是命中对也不是脱靶,也就是说均值不在分布变量的取值范围内,这非常有意思,进行100次射击实验,期望命中是40%,脱靶是60%。方差为=40%*(0-0.4)^2+60%(1-0.6)^2=0.24,该分布明显是一个右偏的。
注意:导弹射击每次要么命中目标,要么脱靶;如果我们做了100次实验,命中率80%,并不能说明第101次实验命中的概率会低于40%,他仍然是40%
二项式分布是复杂的伯努利分布。举个例子,同样是导弹射击实验,单发命中不变,如果5发导弹同时射击,考虑实验结果:
0发命中p0=60%*60%*60%*60%*60%=0.6^5=0.0776
1发命中有5种情况,第一发命中,第二发命中….第五发命中,因此有C(5,1)种组合。
p1=C(5,1)*40%*60%*60%*60%*60%=0.2592
2发命中有C(5,2)种情况,五发中任意2发命中,因此有C(5,2)种组合。
p2=C(5,2)*40%*40%*60%*60%*60%==0.3456
3发命中有C(5,3)种情况,五发中任意3发命中,因此有C(5,3)种组合。
p3=C(5,3)*40%*40%*40%*60%*60%==0.2304
4发命中有C(5,4)种情况,五发中任意4发命中,因此有C(5,4)种组合。
p4=C(5,4)*40%*40%*40%*40%*60%==0.0768
5发命中p5=40%*40%*40%*40%*40%==0.01024
我们可以得到均值u=0*0.0776+1*0.2592+2*0.3456+3*0.2304+4*0.0768+5*0.01024=2,即均值为两发命中,也就是每次5发导弹打击目标,期望是两发击中目标,也就是说两发击中的可能性最大。
方差=(0-2)^2*0.0776+(1-2)^2*0.2592+(2-2)^2*0.3456+(3-2)^2*0.2304+(4-2)^2*0.0768+(5-2)^2*0.01024=0.24,分布是右偏,如果命中率为50%的话,分布居中
一般情况,我们令实验成功概率为p,失败为q=(1-p),则实验n次,则实验均值为np,方差为pq。
成功k次的概率为Pk=C(n,k)*p^k*(1-p)^(n-k),这里
二项式展开的牛顿公式表示为:
(a+b)^n=a^n + … + [n!/m!(n-m)!][a^(n-m)b^m]+ … + b^n (其中m=1,2,……n-1)。
到这里,大家应该明白为什么叫二项式分布了吧。下图是上面例子的分布图,均值为2,方差0.24,很明显右偏。

下图是p=50%的分布图,均值为3,方差为0.25。如果n很大的话,该分布近似正态分布。

泊松分布
Poisson分布是二项分布n很大而P很小时的特殊形式,在n次实验中发生x次某种结果(结果满足二类对立结果,如正和反,命中和脱靶)的概率分布。
举个例子:假设到银行办业务的人是相互独立的,每个小时m个人。现在问一小时3个人的概率多大?
我们可以把一个小时分成很多区间,比如60个区间,那么每分钟就是m/60个人,如果m/60大于一个人,那我们可以把区间分得更小,不能让单位区间人数超过1人,这样我们就可以把单位区间到达1人认为成功,否则是失败,于是用下面的式子来求概率。
P(x=3)=C(60,3)*(m/60)^3*(1-m/60)^(60-3),这个式子C(60,3)是3个人可以是60个区间的任意3个区间,后面分别是3个区间有人的概率和57个区间无人的概率。
更一般来讲
P(x=k)=C(n,k)*(λ/n)^k*(1-λ/n)^(n-k)=λ^k/k! *exp(-λ)

二项分布到泊松分布演变

http://f.dataguru.cn/forum.php?mod=viewthread&tid=104171

泊松分布
Poisson分布是二项分布n很大而P很小时的特殊形式,在n次实验中发生x次某种结果(结果满足二类对立结果,如正和反,命中和脱靶)的概率分布。
举个例子:假设到银行办业务的人是相互独立的,每个小时m个人。现在问一小时3个人的概率多大?
我们可以把一个小时分成很多区间,比如60个区间,那么每分钟就是m/60个人,如果m/60大于一个人,那我们可以把区间分得更小,不能让单位区间人数超过1人,这样我们就可以把单位区间到达1人认为成功,否则是失败,于是用下面的式子来求概率。
P(x=3)=C(60,3)*(m/60)^3*(1-m/60)^(60-3),这个式子C(60,3)是3个人可以是60个区间的任意3个区间,后面分别是3个区间有人的概率和57个区间无人的概率。
如果我们把区间分为n个,并且用希腊字母λ代替m,当n->∞多时,我们可以得到泊松分布概率密度函数,先看下面的预备知识
,该极限可以证明,这里我直接拿来用
于是我们可以得到在n->∞时,

image017.png (1.32 KB, 下载次数: 0)
image017.png
image016.png (1.13 KB, 下载次数: 0)
image016.png
image014.png (1.31 KB, 下载次数: 0)
image014.png
image012.png (1.75 KB, 下载次数: 0)
image012.png
image010.png (1.59 KB, 下载次数: 0)
image010.png
image008.png (863 Bytes, 下载次数: 0)
image008.png
image005.png (1.95 KB, 下载次数: 0)
image005.png
image003.png (1.62 KB, 下载次数: 0)
image003.png
image001.png (1.03 KB, 下载次数: 0)
image001.png
http://f.dataguru.cn/forum.php?mod=viewthread&tid=104171


本页面的文字允许在知识共享 署名-相同方式共享 3.0协议和GNU自由文档许可证下修改和再使用,仅有一个特殊要求,请用链接方式注明文章引用出处及作者。请协助维护作者合法权益。


系列文章

文章列表

  • BigData 白话统计学:什么叫正态分布

这篇文章对你有帮助吗,投个票吧?

rating: 0+x

留下你的评论

Add a New Comment