统计-如果用多组t检验的方法，犯二类错误的概率是会增加还是减小还是不变？

在多组平均数比较的时候，如果不用方差分析而用多组t检验的方法，犯二类错误的概率是会增加还是减小还是不变呢？
注意我问的是二类错误。这个问题在书上并没有说。

[ 本帖最后由 笔为剑 于 2009-6-23 10:03 编辑 ]

原帖由 笔为剑 于 2009-6-15 17:20 发表
我再接着楼主的问题扩充一下：如果用多组t检验的方法，犯二类错误的概率是会增加还是减小还是不变呢？
注意我问的是二类错误。这个问题在书上并没有说。

减小吧

原帖由 talent54321 于 2009-6-16 18:39 发表
减小吧

理由呢？

原帖由 talent54321 于 2009-6-16 18:39 发表



减小吧

我用a 代表下一类错误，b 代表二类错误
a增大了照理b应该减小的，可是我想想又觉得不太对
所谓b应该是指不完全同但被认为相同的概率吧，假如有三组数据的话，要是这三组的总体是完全不同的话，那么新的二类错误应该是1-（1-b\')(1-b\'\'）（1-b\'\'\'),这时b是增大的。要是这三组来自的总体有两组相同的话，那么被判断为三组都相同的概率是（1-a）（1-b\')(1-b\'\'),这时b是减小的
真是混乱，貌似我想复杂了

原帖由 jiangj3 于 2009-6-17 00:08 发表
所谓b应该是指不完全同但被认为相同的概率吧，假如有三组数据的话，要是这三组的总体是完全不同的话，那么新的二类错误应该是1-（1-b\')(1-b\'\'）（1-b\'\'\'),这时b是增大的。要是这三组来自的总体有两组相同的话，那么被判断为三组都相同的概率是（1-a）（1-b\')(1-b\'\'),这时b是减小的

恩，我导师的想法和你这条是一样的。但他说他也拿不准。

原帖由 笔为剑 于 2009-6-16 18:51 发表


理由呢？

仅供参考哈，感觉不太好说，我说简单点，假如我们把第一类错误增大到1，也就是每次我都把其结果判断为有差异。

这时我们来看第二类错误，这类错误的虽前提条件不同，但针对的确实同样的数据，换句话说，如果我每次都认为其有差异的话，那我根本不可能再犯第二类错误了。

我觉得要是弄张图来可能比较好说明一点，比如当两个分布的差异变大，以为这第二类错误减小吧，好了，当第一类错误变大，是不是我们的判断标准向左移了，相当于两个分布的差异变大了。

我不晓得我说清楚没，其实我感觉这个和信号检测论比较类似。

原帖由 jiangj3 于 2009-6-17 00:08 发表

我用a 代表下一类错误，b 代表二类错误
a增大了照理b应该减小的，可是我想想又觉得不太对
所谓b应该是指不完全同但被认为相同的概率吧，假如有三组数据的话，要是这三组的总体是完全不同的话，那么新的二类 ...

我都没怎么看懂，可能久了没看这个问题了，有点忘了，不知道说得对不对。（那么被判断为三组都相同的概率是（1-a）（1-b\')(1-b\'\'),这时b是减小的，主要是这句，怎么变小的？或者怎么得出的判断为相同的概率为这个？）

我想了想，如果要这么分析，然后最后再来看第二类错误是变大还是变小就变的很复杂了。

我明白你的意思，不过我觉得这里好像有个漏洞，就是我们其实并不知道这三组数据的情况，换句话说，当我们得出第一类错误和第二类错误的概率时，指的是这三组数据的整体情况，也就是包括了三组都一样，三组有两组一样，三组中都不一样这三种情况。所以，如果要进行比较的话，就应该要将这三组所得到的概率值相加才对。

[ 本帖最后由 talent54321 于 2009-6-17 01:27 编辑 ]

不好意思，习惯了，我的帖总是很长，希望有耐心的人耐着性子看。不见得一定正确，只是分享一下自己的思路。


为方便叙述，我们假设自变量X有x1.x2.x3.x4.x5这样5个水平

事后检验的目的就是在主效应显著的基础上，弄清楚X变量的哪些水平之间有显著差异。

这里，我们不难发现t检验，是针对2个水平 而 事后检验却针对多个水平。

（注意，简单效应分析针对多个因素，事后检验针对一个因素多个水平.t检验针对一因素2水平。当然，简单效应分析与本题不相关，没复习到的可以暂时无视括号中的话）

那么，我们在这种多水平比较的情况下误用了t检验，会带来什么样的后果呢？

我们假设用t检验 两两比较的结果如下（为简略起见，下标12345对应x1.x2.x3.x4.x5）

T12*   T13   T14  T15*    T23  T24   T25*   T34   T35    T45*   (*代表 在0.05的水平上显著)

这里一共有10次比较，其中4次差异显著，6次差异不显著。

在前面的假设基础上，我们来分析误用T检验对ab错误的影响。

一，a错误（默认显著性水平是0.05）


我们知道，我们在得出差异显著的结果的情况下（拒绝H0）才可能犯a错误，在得出差异不显著的情况下（接受H0）绝对不会犯a错误。

也就是说，上面那10个两两比较的情况下，只有打*的4种情况才会犯a错误(概率均为0.05)，其余6种情况下a错误概率为0.

所以分别对应上面10种情况，我们没有犯a错误的概率分别是（1-0.05）（1-0）（1-0）（1-0.05）（1-0）（1-0）（1-0.05）（1-0）（1-0）（1-0.05）

这10个T检验，要他任何哪次都不犯a错误的概率就是 上面十个括号的乘积，也就（1-0.05）的4次方

犯a错一次或者一次以上的概率就是 1- （1-0.05）的4次方 即 0.185 也就是他有18.5%的可能犯了一次或以上的a错误

所以从这里，我们不难总结出这样一个公式

Pn= 1- （1-0.05）的N次方   (N为两两比较得出显著差异的次数)

这里我必须说明，这个公式可能与张厚璨老师的公式有出入，差别在于对于N的解释上。我觉得这里可能是张老师的疏忽，也可能是我没弄明白。

有异议的同学，欢迎帮我指正！（张老师的N是10，而我是4 其原因我上面已说，其它6次我们不可能犯a错）

言归正传，我们画出Pn-N的坐标图，不难发现Pn(在M次两两比较中犯a错一次或以上的概率)随着N（得出差异显著的次数，其取值可能是0和一切自然数）的增大，形成一条向上凸的递增曲线，其极限为1.也就是，随着N的增大，我们在M次两两比较中，犯了a错的可能性在呈减加速递增，最后无线趋近于1.

二, b错误

同理，我们知道上述*情况下，我们不可能犯b错误，而无*的情况下，我们可能犯b错误。（下一段可略过不看，有很多易混概念，有兴趣的可以看）

不同在于，a错误的可能性我们可以人为设定成0.05，而b错误确取决于总体参数（请分清参数与统计量的区别），而统计的实质又是透过样本（请理解样本分布 抽样分布 总体分布，以及统计是怎么由样本推到总体的，其中标准误这一概念是关键节），在一定的概率范围内去研究总体。换句话说，精确的总体参数，我们永远也不知道，统计的世界中，永远存在这种不确定性。所以精确的b等于多少，我们无法得出，只知道二类错误确实存在。我们把x1到x5的被试看成5个样本，每个样本后面都有一个总体。T13对应总体1和3，T14对应总体1和4，由于总体这个假想的总体分布（由X1的样本平均数，和样本方差估计总体分布）不一样，T13对应的b错误可能性，和T14对应b错误的可能性也不一样。我们记为b13,b14(下同)。

废话说完了，言归正传。

上面10次两两比较中，我们没有犯b错误的概率分别是（1-0）（1-b13）（1-b14）（1-0）（1-b23）（1-b24）（1-0）（1-b34）（1-b35）（1-0）

这10个T检验，要他任何哪次都不犯b错误的概率就是 就是上面十个括号的乘积  （1-b13）×（1-b14）×（1-b23）×（1-b24）×（1-b34）×（1-b35）

犯b错一次或者一次以上的概率就是  1-<（1-b13）×（1-b14）×（1-b23）×（1-b24）×（1-b34）×（1-b35）>

虽然我们不知道具体的b值，但是我们知道b是在（0，1）这个区间内取值的。故，不难得出随着我们两两比较得出无显著差异次数的增加（有几次比较不显著，上面括号内就有几个数相乘），犯b错一次或者一次以上的概率也应该增加。


三，总结

可能是书上的原因，我觉得好多人都弄混了，分析这种两两比较，每次比较都存在犯a或b错的可能。书上说的，犯a错误的可能，我觉得更准确点应该是 犯a（或b）错一次或者一次以上的概率。换句话说，要是两两比较的次数多了，在这么多比较的次数中，一次都不犯错的可能性极低（极可能犯错，犯错可能性大大超过0.05这个我们能接受的范围）。

所以，楼上的a变大 所以b变小的逻辑，在这里不适用。那个逻辑适用于一次假设检验内的分析，这里的a和b对应的总体都不一样（*下才有a 无*才有b）.

还有就是上面有想到（1-b\'）(1-b\'\')……的，我想估计的你思路，应该和我差不多的，但是你把（1-a）(1-b)乘在一起了我不太赞同（a和b不可能在一次假设检验中同时存在）。仔细屡出来大致就是这样了。

总之，用t检验的方法多次比较，不仅a而且b都会受到极大的影响，对应坐标图，可以看出他们呈一种减加速的上升趋势。




希望对楼主有帮助，也相信，只要认真看完看懂，各位应该有所思考。

[ 本帖最后由 笔为剑 于 2009-6-23 10:10 编辑 ]

楼上的逻辑很好，脱脱真是辛苦工作了。
不过我有个疑问，任何一次假设检验，不管结果是否显著，他的两类错误都是存在的，你怎么能把不显著时候的错误概率整没了呢？你小样了玩多了游戏脑子抽了吧？所以我建议你什么时候请我吃饭，我们去游玩游玩。你心情舒爽自然就好了，呵呵。

T12* T13 T14 T15* T23 T24 T25* T34 T35 T45* (*代表 在0.05的水平上显著)

这里一共有10次比较，其中4次差异显著，6次差异不显著。

你这个怎么得来的啊？为什么4次显著，6次不显著？