英语论文网

1 评价方法本文选择

目前市场上领先的机器翻译系统Systran 和 Google 翻译作为评价对象，因为这两种机器翻译系统分别是基于规则和基于数据的翻译系统，并采用人工评价和机器自动测评对比分析的方法评价译文质量。人工评价以语言学数据库( Linguistics Data Consortium) 首先提出的Adequacy Scale Task( 充足性目标) 为标准( Den-kowski: 2011，2 － 6) 。AST 使用了许多不同的标准评价机器的翻译，其中常用的是从完整性和连贯性两方面打分。完整性指的是译文表达信息的量，连贯性则不考虑句义，注重的是翻译的结构与格式。考虑到人工翻译不可能百分之百的客观和公正，本文还采用了自动的检测手段，以客观的检测机器翻译系统的性能水平。

2 评价的实施

2． 1 人工评估者的确定

本文小规模的随机选取了 10 位评估者。评估者的母语为中文，均为非语言类专业研究生，负责以 AST 为标准对机器翻译的译文进行人工评估。

2． 2 源文本和参考译文

本文选取了新闻、商业写作、体育报导和小说四种代表性的文本类型，四种类型的源文本选自两个双语网站———Chinadailynews 和 Yeeyan，源文本为英语，网站上有原文及其译文。因此每种文本都有人工翻译作为评估译文质量的“黄金标准”( Simon: 2011) 。

2． 3 人工评估

在 AST 评 估 部 分，本 文 使 用 Systran 和Google 翻译生成对四种文本的中文翻译，随后将源文本与其对应的机器翻译分割成小的段落并评估者可在相同的时间内任意地点独立进行人工的评价工作。2． 3 BLEU 的自动评估BLEU 是利兹大现代语言学院翻译中心开发的一款自动检测程序。对比人工评测，BLEU的评测简单快捷，可对多语种、多类型文本进行测试，能够比较机器翻译与标准译文间的分差，并与人工评价高度相关。它基于 N － Gram( 大词汇连续语音识别语言模型) 测算译文词汇的精确度，还能够快速就译文的连贯性进行打分，分值范围在 0 到 1 之间。输入机器译文和标准译文后，BLEU 对两种机器翻译系统译文同样从完整性和连贯性两方面进行打分。

3 评估结果

3． 1 AST 结果

表 2 显示了运用 AST 标准评价的四种类型文本在完整性和连贯性上的平均分数，图 1 和图2 则用柱状图清晰的比较了 Systran 和 Google 翻译在完整性和连贯性上的差异。表 2 AST 标准下 Systran 和 Google 翻译的得分文本类型Google 翻译( 完整性)Systran( 完整性)Google 翻译( 连贯性)Systran( 连贯性)商业文本 从图 1 和图 2 可以看出，四种类型文本译文在完整性上，Google 翻译均较 Systran 的得分高，在连贯性上 Google 翻译也均较 Systran 的得分高，说明 Google 翻译的译文质量较高。在新闻、商业文本和小说类型上，两个翻译系统所存在的差异较小。在小说文本中，两个翻译系统均取得了最高的分数，而体育新闻的翻译则得分最低。在体育文章上，Google 翻译比 Systran 得分又相对高一些。在完整性和连贯性上，完整性的得分也比连贯性要高。两种系统在小说上得分差异最小，在体育上得分差异最大。

3． 2 BLEU 评价结果

表 3 显示了 BLEU 对 Google 和 Systran 翻译的四种类型文本译文的评估结果，Google 翻译在所有的四种文本类型上都比 Systran 的表现更好。总体来看，Google 译文的得分要比 Systran的高，平均分相差 0． 1265，其中商业文本差距最大，小说差距最小( 如图 3 所示) 。从不同类型文本的得分来看，小说得分最高，体育报道类得分最低; 两种系统得分相比，在小说上得分差异最小，在体育上得分差异最大。将人工评估结果与 BLEU 的进行对比分析，发现它们对两个翻译系统译文质量评价具有一致性。表现在: 均认为 Google 翻译译文要比 Sys-tran 译文质量高; 均认为小说的译文质量最高，体育报道的译文质量最差; 均认为系统之间小说类上得分差异最小，在体育上得分差异最大。这种现象的产生原因是 BLEU 的评估基于 N －gram( 大词汇连续语音识别中常用的一种语言模型，国际上处于主流地位的一种分词方法，它按照固定单词数进行分词，单词数目( N) 越大，准确性就越高) 对标准译文和原文比对，句子的意思完全不同仍可获得较高的分数。

结语

本文用人工评价和自动评价两种手段对Systran 和 Google 翻译两种翻译系统的英译汉译文进行了评估。结果表明 Google 翻译在选取的四种代表性文本上的译文质量较 Systran 高。根据两种翻译系统的表现，体育报道是四种文本类型中最难翻译的文本。两种系统在小说的翻译上都得分最高，这表明 Systran 和 Google 翻译处理小说类型的文本较容易。总的来说，基于同化目的时，Google 翻译的译文相对而言更容易为使用者接受。Systran 翻译系统则还有较大的提升空间。除此之外，BLEU 评估的结果显示了自动评价与人工评价显著的相关性。在某种程度上，体现了自动评测工具是评价机器翻译系统表现的一种十分有用的工具。