Free考研资料

标题: 统计-如果用多组t检验的方法，犯二类错误的概率是会增加还是减小还是不变？ [打印本页]

作者: 笔为剑 时间: 09-6-15 17:20
标题: 统计-如果用多组t检验的方法，犯二类错误的概率是会增加还是减小还是不变？
在多组平均数比较的时候，如果不用方差分析而用多组t检验的方法，犯二类错误的概率是会增加还是减小还是不变呢？
注意我问的是二类错误。这个问题在书上并没有说。

[ 本帖最后由笔为剑于 2009-6-23 10:03 编辑 ]

作者: talent54321 时间: 09-6-16 18:39
提示: 作者被禁止或删除内容自动屏蔽

作者: 笔为剑 时间: 09-6-16 18:51

原帖由 talent54321 于 2009-6-16 18:39 发表
减小吧

理由呢？

作者: jiangj3 时间: 09-6-17 00:08
提示: 作者被禁止或删除内容自动屏蔽

作者: 笔为剑 时间: 09-6-17 00:19

原帖由 jiangj3 于 2009-6-17 00:08 发表
所谓b应该是指不完全同但被认为相同的概率吧，假如有三组数据的话，要是这三组的总体是完全不同的话，那么新的二类错误应该是1-（1-b\')(1-b\'\'）（1-b\'\'\'),这时b是增大的。要是这三组来自的总体有两组相同的话，那么被判断为三组都相同的概率是（1-a）（1-b\')(1-b\'\'),这时b是减小的

恩，我导师的想法和你这条是一样的。但他说他也拿不准。

作者: talent54321 时间: 09-6-17 01:02
提示: 作者被禁止或删除内容自动屏蔽

作者: talent54321 时间: 09-6-17 01:24
提示: 作者被禁止或删除内容自动屏蔽

作者: 天界乌托邦 时间: 09-6-23 06:17
标题: 我的想法
不好意思，习惯了，我的帖总是很长，希望有耐心的人耐着性子看。不见得一定正确，只是分享一下自己的思路。

为方便叙述，我们假设自变量X有x1.x2.x3.x4.x5这样5个水平

事后检验的目的就是在主效应显著的基础上，弄清楚X变量的哪些水平之间有显著差异。

这里，我们不难发现t检验，是针对2个水平而事后检验却针对多个水平。

（注意，简单效应分析针对多个因素，事后检验针对一个因素多个水平.t检验针对一因素2水平。当然，简单效应分析与本题不相关，没复习到的可以暂时无视括号中的话）

那么，我们在这种多水平比较的情况下误用了t检验，会带来什么样的后果呢？

我们假设用t检验两两比较的结果如下（为简略起见，下标12345对应x1.x2.x3.x4.x5）

T12* T13 T14  T15* T23  T24 T25* T34 T35 T45* (*代表在0.05的水平上显著)

这里一共有10次比较，其中4次差异显著，6次差异不显著。

在前面的假设基础上，我们来分析误用T检验对ab错误的影响。

一，a错误（默认显著性水平是0.05）

我们知道，我们在得出差异显著的结果的情况下（拒绝H0）才可能犯a错误，在得出差异不显著的情况下（接受H0）绝对不会犯a错误。

也就是说，上面那10个两两比较的情况下，只有打*的4种情况才会犯a错误(概率均为0.05)，其余6种情况下a错误概率为0.

所以分别对应上面10种情况，我们没有犯a错误的概率分别是（1-0.05）（1-0）（1-0）（1-0.05）（1-0）（1-0）（1-0.05）（1-0）（1-0）（1-0.05）

这10个T检验，要他任何哪次都不犯a错误的概率就是上面十个括号的乘积，也就（1-0.05）的4次方

犯a错一次或者一次以上的概率就是 1- （1-0.05）的4次方即 0.185 也就是他有18.5%的可能犯了一次或以上的a错误

所以从这里，我们不难总结出这样一个公式

Pn= 1- （1-0.05）的N次方 (N为两两比较得出显著差异的次数)

这里我必须说明，这个公式可能与张厚璨老师的公式有出入，差别在于对于N的解释上。我觉得这里可能是张老师的疏忽，也可能是我没弄明白。

有异议的同学，欢迎帮我指正！（张老师的N是10，而我是4 其原因我上面已说，其它6次我们不可能犯a错）

言归正传，我们画出Pn-N的坐标图，不难发现Pn(在M次两两比较中犯a错一次或以上的概率)随着N（得出差异显著的次数，其取值可能是0和一切自然数）的增大，形成一条向上凸的递增曲线，其极限为1.也就是，随着N的增大，我们在M次两两比较中，犯了a错的可能性在呈减加速递增，最后无线趋近于1.

二, b错误

同理，我们知道上述*情况下，我们不可能犯b错误，而无*的情况下，我们可能犯b错误。（下一段可略过不看，有很多易混概念，有兴趣的可以看）

不同在于，a错误的可能性我们可以人为设定成0.05，而b错误确取决于总体参数（请分清参数与统计量的区别），而统计的实质又是透过样本（请理解样本分布抽样分布总体分布，以及统计是怎么由样本推到总体的，其中标准误这一概念是关键节），在一定的概率范围内去研究总体。换句话说，精确的总体参数，我们永远也不知道，统计的世界中，永远存在这种不确定性。所以精确的b等于多少，我们无法得出，只知道二类错误确实存在。我们把x1到x5的被试看成5个样本，每个样本后面都有一个总体。T13对应总体1和3，T14对应总体1和4，由于总体这个假想的总体分布（由X1的样本平均数，和样本方差估计总体分布）不一样，T13对应的b错误可能性，和T14对应b错误的可能性也不一样。我们记为b13,b14(下同)。

废话说完了，言归正传。

上面10次两两比较中，我们没有犯b错误的概率分别是（1-0）（1-b13）（1-b14）（1-0）（1-b23）（1-b24）（1-0）（1-b34）（1-b35）（1-0）

这10个T检验，要他任何哪次都不犯b错误的概率就是就是上面十个括号的乘积  （1-b13）×（1-b14）×（1-b23）×（1-b24）×（1-b34）×（1-b35）

犯b错一次或者一次以上的概率就是  1-<（1-b13）×（1-b14）×（1-b23）×（1-b24）×（1-b34）×（1-b35）>

虽然我们不知道具体的b值，但是我们知道b是在（0，1）这个区间内取值的。故，不难得出随着我们两两比较得出无显著差异次数的增加（有几次比较不显著，上面括号内就有几个数相乘），犯b错一次或者一次以上的概率也应该增加。

三，总结

可能是书上的原因，我觉得好多人都弄混了，分析这种两两比较，每次比较都存在犯a或b错的可能。书上说的，犯a错误的可能，我觉得更准确点应该是犯a（或b）错一次或者一次以上的概率。换句话说，要是两两比较的次数多了，在这么多比较的次数中，一次都不犯错的可能性极低（极可能犯错，犯错可能性大大超过0.05这个我们能接受的范围）。

所以，楼上的a变大所以b变小的逻辑，在这里不适用。那个逻辑适用于一次假设检验内的分析，这里的a和b对应的总体都不一样（*下才有a 无*才有b）.

还有就是上面有想到（1-b\'）(1-b\'\')……的，我想估计的你思路，应该和我差不多的，但是你把（1-a）(1-b)乘在一起了我不太赞同（a和b不可能在一次假设检验中同时存在）。仔细屡出来大致就是这样了。

总之，用t检验的方法多次比较，不仅a而且b都会受到极大的影响，对应坐标图，可以看出他们呈一种减加速的上升趋势。

希望对楼主有帮助，也相信，只要认真看完看懂，各位应该有所思考。

[ 本帖最后由笔为剑于 2009-6-23 10:10 编辑 ]

作者: 北之 时间: 09-6-23 11:45
楼上的逻辑很好，脱脱真是辛苦工作了。
不过我有个疑问，任何一次假设检验，不管结果是否显著，他的两类错误都是存在的，你怎么能把不显著时候的错误概率整没了呢？你小样了玩多了游戏脑子抽了吧？所以我建议你什么时候请我吃饭，我们去游玩游玩。你心情舒爽自然就好了，呵呵。

作者: talent54321 时间: 09-6-23 11:46
提示: 作者被禁止或删除内容自动屏蔽

作者: 北之 时间: 09-6-23 11:52
我个人觉得这个题不是判断标准的问题，是真假分布的相对位置的问题，即用T检验进行两两比较的时候，对事后检验这个事件来说，它的真假分布越来越考近，不管标准如何，由于真假分布重合的面积增大，不管他NND几类错误，都会增加。总之是变得更难分辨。

作者: talent54321 时间: 09-6-23 11:58
提示: 作者被禁止或删除内容自动屏蔽

作者: 天界乌托邦 时间: 09-6-23 18:31

原帖由北之于 2009-6-23 11:45 发表
楼上的逻辑很好，脱脱真是辛苦工作了。
不过我有个疑问，任何一次假设检验，不管结果是否显著，他的两类错误都是存在的，你怎么能把不显著时候的错误概率整没了呢？你小样了玩多了游戏脑子抽了吧？所以我建议你 ...

、
、、

哈哈 ……  必须的…… 最近在等通知，别人的都到了，就我没  炯……

假设检验的ab错误是有前提的拒绝H0 的情况下就可能犯a错误  犯b错误的可能为0
  接受H0的情况下  可能犯b错误  a错误的可能性为0啊

我想老北你的意思应该是  任何假设检验不管结果是否显著都有犯错的可能  要么是a错  要么是b错
但是 ab错误不可能同时犯啊因为ab错误的前提（拒绝H0 接受H0）是互不相融的

想想如果ab错误同犯是什么情景？情况只有  我们T检验  既接受了H0  又拒绝了H0
这个显然矛盾

作者: 天界乌托邦 时间: 09-6-23 18:33

原帖由 talent54321 于 2009-6-23 11:46 发表
T12* T13 T14 T15* T23 T24 T25* T34 T35 T45* (*代表在0.05的水平上显著)

这里一共有10次比较，其中4次差异显著，6次差异不显著。

你这个怎么得来的啊？为什么4次显著，6次不显著？

这个只是为了方便叙述的一个假设（举的特例）
你完全能理解成 n次显著 10-n次不显著

作者: talent54321 时间: 09-6-23 19:33
提示: 作者被禁止或删除内容自动屏蔽

作者: 笔为剑 时间: 09-6-23 19:45
我明白了，乌托邦认为应该用后验概率来算，而不是用先验概率。
但我不是很赞同这个。在算之前，谁也不知道检验的结果到底是显著还是不显著，所以才需要概率。等检验完了，概率就失效了。

作者: ztsm_730 时间: 09-6-23 20:24
我的结论是b会增大

假如三组全不同，那么取伪错误概率就如4楼那位仁兄所说，二类错误应该是1-（1-b\')(1-b\'\'）（1-b\'\'\'),这时b是增大的

假如有两组相同，那么相同的组不应出现b错误，因为b错误前提是比较组不同，那么二类错误为1-（1-b\'）(1-b\'\'),b还是增大的

从常识角度看，比较组增多，取伪错误概率增大，也是可以理解的

作者: 笔为剑 时间: 09-6-23 20:35
我想从宏观大道理上来说：
如果，二类错误概率减小，那么就没必要非得用方差分析而弃用逐对t检验……
二类错误的概率是不可知的，一类错误的概率是人为定的。不可知的东西更应该控制……如果逐对t检验能够让二类错误概率减小，那我就会喜欢用逐对t检验。

[ 本帖最后由笔为剑于 2009-6-23 20:37 编辑 ]

作者: 北之 时间: 09-6-24 01:03

原帖由 天界乌托邦 于 2009-6-23 18:31 发表

、
、、

哈哈 ……  必须的…… 最近在等通知，别人的都到了，就我没  炯……

假设检验的ab错误是有前提的拒绝H0 的情况下就可能犯a错误  犯b错误的可能为0
  接受H0的情况下  可能犯b错误  a错 ...

恩,好孩子,看来我要请你吃饭.Orz~~ing~~~
意思没表达对. 不过不管他拒绝还是接受, 总之两个分布会比原来靠近, 因此不管哪类错误都是会增大的. 我这边说的两个分布是指\"事后检验\"这个整体事件的概率分布,不是单次两两检验的分布. 因为用了T, 因此两两比较的这些相互独立事件使得这个整体事件的成功的概率下降,那么整体事件的真假分布会靠近, 因此无论拒绝还时接受犯错的概率都增加. 如果结论是差异显著的话那么一类错误概率增加, 反之,二类增加.

强调的是我们要考察\"用T进行事后检验\"和\"用Q进行事后检验\"这两个事件的成功概率的比较.很明显后者成功的概率大,说明后者的真假分布距离大,容易分辨, 因此不管结论如何, 犯错的概率都是小的.

HOHO, 不知道对了没有, 也不知道大家懂不懂俺说的~ 最近没泡妞,没聊天,表达欠佳, 再次建议脱脱请我吃饭.哈哈..

作者: 天界乌托邦 时间: 09-6-24 22:32
呃……正文部分研究中！！！！！！！！

不过从你的首尾句看来，你确实有点没表达好啊。这可不是你的风格啊 ——！

首句：恩,好孩子,看来我要请你吃饭.

尾句：再次建议脱脱请我吃饭.

咋俩到底谁请谁？彷徨中！！！！！！

作者: 北之 时间: 09-6-25 22:58

原帖由 天界乌托邦 于 2009-6-24 22:32 发表
呃……正文部分研究中！！！！！！！！

不过从你的首尾句看来，你确实有点没表达好啊。这可不是你的风格啊 ——！

首句：恩,好孩子,看来我要请你吃饭.

尾句：再次建议脱脱请我吃饭.

咋俩到底 ...

对...所以呢,你请我吃饭吧!

作者: 笔为剑 时间: 09-6-25 23:16

原帖由北之于 2009-6-25 22:58 发表

对...所以呢,你请我吃饭吧!

你们两个都在武汉？那现在趁早见面吧。

作者: 赖赖 时间: 09-6-25 23:24

原帖由北之于 2009-6-25 22:58 发表

对...所以呢,你请我吃饭吧!

哇~北北和脱脱要约会鸟~~

作者: 花开中科 时间: 09-7-12 00:22

原帖由 talent54321 于 2009-6-23 11:58 发表
我觉得这样理解吧！

三组数比较，直观理解就是因为只要其中任意两组数得到的结果有差异，我们就认为所得到的结果有差异。

相反，如果任意两组数比较结果都没有差异，我们才认为结果没有差异。

好了，先 ...

从12楼的思路里我又有了一种新想法，不过貌似不对，请大家斧正
举个例子，假设本来有6组数据，用方差分析得出的正确结果是，3组差异显著，3组差异不显著。但是，若此时没有用方差分析而是以t检验来计算的，那么，犯a错误的概率将增大，即得出的差异显著组数要更多。

不妨假设，用t检验的结果是，有5组数据都显著，仅1组是不显著的。

那么反过来想，从结论来看，现在的情况是5组显著，1组不显著，要想犯b错误，即本来显著，但说它不显著，那么有5组数据可以为它提供机会。相对于方差分析的结果，（3组显著，3组不显著，反过来想，要犯b的错误，只有3组数据可以提供这个机会）。所以这样一比较，就可以看出b是增大了。

那么现在正过来，顺着题目来想，t检验所得的5组显著，1组不显著的结果是由增大的b还是减小的b带来的呢？

我还是糊涂，这2个过程有没有错，很疑惑，，望高手指点迷津啊！我想我是入了牛角尖了

作者: talent54321 时间: 09-7-12 11:44
提示: 作者被禁止或删除内容自动屏蔽

作者: 花开中科 时间: 09-7-12 17:15

原帖由 talent54321 于 2009-7-12 11:44 发表
现在的情况是5组显著，1组不显著，要想犯b错误，即本来显著，但说它不显著，那么有5组数据可以为它提供机会。

这里好像有点问题，5组显著，1组不显著，那么只有这组不显著的可能犯b错误，因为b错误是本来显著 ...

对头！你的意思我明白，b减小了。
我前面的前提是从结论开始推算，就是反过来思考，以结论为新题，所以b是增大的。因此，实际上的b也是减小的。
不过，好像就是这里出了问题。我觉得这个反过来思考有点不对，但又说不上哪里不对

作者: talent54321 时间: 09-7-12 19:40
提示: 作者被禁止或删除内容自动屏蔽

作者: 花开中科 时间: 09-7-12 22:03
标题: 回复 #27 talent54321 的帖子
这个不重要，不管怎样，我们的答案是一样的。

作者: livi915 时间: 09-7-12 23:58

原帖由 笔为剑 于 2009-6-25 23:16 发表

你们两个都在武汉？那现在趁早见面吧。

谁在？我也要插一腿。。。

作者: 记事贴 时间: 11-1-13 02:05
提示: 作者被禁止或删除内容自动屏蔽

作者: 记事贴 时间: 11-1-13 02:08
提示: 作者被禁止或删除内容自动屏蔽

欢迎光临 Free考研资料 (http://tool.freekaoyan.com/)