《红楼梦》的作者有多少个,数据分析带你来探索

statist39272019-05-31 02:53:09

十多年前吧,我们几个小伙伴还是一起组队参赛“挑战杯”的时候,我们队里面有个统计系的前辈跟我们分享了一个关于统计学应用在文学中的一个案例。

这个是关于通过统计学判断《红楼梦》的两个作者是谁的事情。

我们都在读书的时候学过《红楼梦》的作者有两个!曹雪芹写了前80回,高鹗续写了后40回。不过我读书那会儿从来就没怀疑过,因为老师说的都是权威的嘛。然而,红学上关于《红楼梦》的作者争议一直很大,存在着很多种版本。这里俺就不去像红学家们做很深入的研究了,毕竟俺是数据分析师,不是汉语言文学的研究者。

话说回来,我相信读过《红楼梦》的人可能都感觉的出,前80回和后40回从文笔上是有些差距的,但这种差距也不至于是狗尾续貂。而我在写本文而收集素材的时候,不停的复制+粘贴电子版的红楼梦各章节时,也发觉越到后面的章节,诗词越少甚至没有了。因此,直观上也感觉有那么一点意思。

统计学家则不是依靠直觉做判断。曾经有统计学家试图从一个作家的虚词使用分布上去做甄别《红楼梦》的作者。首先,统计学家通过虚词的分布,证明了前80回和后40回是存在显著性差异的,说明确实是来自于两个不同的作者。然后,再通过曹雪芹和高鹗在出版《红楼梦》相关章节之前和之后的文章的虚词分布做比对,发现最终在统计上能说明《红楼梦》是曹雪芹和高鹗两个作者。

但是前辈和我们说,从后40回的详细分析来看,统计学家还发现可能还不止高鹗一个人写的,或许存在第3个作者!

前辈的这个案例的分享,在当时无疑对我增添对统计学的兴趣爱好之熊熊烈火火,又加了一把干柴。

时光荏苒,时隔多年我在知乎上又看到了这个老话题。

不过知乎上涉及的内容,得益于现在数据分析方法工具的日益丰富,有好多人用更多的新方法例如主成分分析法,用SVM,用聚类分析都做了相似的研究。

看到大家都那么有热情用数据分析的工具来搞搞小研究,正好挠到我的痒处!我也打算尝试过下小瘾,我也来试试看,《红楼梦》的作者通过数据分析的方法能不能用识别出来到底是多少个人。

首先第一步,你得有一个电子版的,可用于分析的《红楼梦》。于是我就上网从电子书下载的网站上,找一篇下载量比较靠前的TXT格式的《红楼梦》。这个电子版红楼梦我试着读了几个章节,没有那种劣质读本错别字、漏字语句不顺的现象。而且和1982年经典版本的《红楼梦》总字数非常接近。算是没有糟蹋这次的研究吧。

接下来要做的事情并不是说马上去做分析研究,而是要认真想一想前人他们做研究时的一个假设,到底是不是有道理。什么假设呢?那就是“作家的作品中,虚词分布有其独特性,是相当难模仿出来的,因此可以作为分辨作者身份的参照物(或者说文学指纹)”。

我发现在知乎里面,这个假设几乎是所有分析的人都默认的,然而就是没有人能够站出来说这个假设是合理的。

那虚词是啥,就是区别于实词的。搜了一下资料,大众对虚词的认识有2个共同点:一是虚词必须依附于实词或语句,来表达或丰富语法意义;二是虚词不能单独成句,不能单独作句法成分。

由于我不是学语言文学的,所以我也没办法从汉语言文学的理论角度上去证明这个假设。不过我就想尝试着从逻辑上,从现实的感知上看能不能说得过去。因为“每个作家作品中虚词使用是有其独特性”的这个假设,那么多的人都认为它有道理,我想必然有他合理的地方。我归纳了一下,大致原因有3个:

1. 每个作家都是生长在一个独特的环境的,这种环境对作家语言的影响是非常的深远,因此形成的虚词使用习惯也非常独特。

最具典型的特点就是方言环境,让虚词对语句的影响最明显。举个例子,普通话里面看完报纸后他挺难过的这个时候就是虚词,作为副词用,表示非常地。要是这句话换成东北小品的作品的话,就会变成看完报纸后他老难过了,这个时候东北方言代替了;而要是作者是个广西人,那么可能这句话就变成了看完报纸后他蛮难过的,此时代替了;若作者是个广东人,那么就会变成看完报纸后他几难过,此时就替代了……,例子太多了。

而且,同一个作家即便写作对象变了,虚词的使用习惯和很难改变。例如还是刚才的例子,那个广西的作家即便是将句子换成看完报纸后他蛮高兴的,或者看完电影后他蛮多牢骚的看完广告后他蛮……的这个虚词是很难从他的用词习惯中甩掉的。

虚词除了选择有独特性外,虚词在句子中使用的位置每个人都不一样。比方说,他时不时用手擦擦汗他用手时不时擦擦汗,意思就是一样的,但“时不时”的位置就不一样。不同人写作习惯不同,对虚词的位置使用习惯也是不同的。

除去刚才所说的作家生长语言环境的独特性外,再加上每个作家所处的时代、本身的阅历、受教育程度、人生重要事件经历又各自不同,因此其使用虚词的习惯必然是独特的,也是很难模仿的。

2.虚词不受情节的影响,这点是和实词相比最大的优势。写一本小说,如果我们统计实词的话,很容易被情节所干扰,因为实词构成了情节。比方说《水浒传》里面,武松因为打过老虎,因此在写