論文の概要: AI translation of literary texts is "fine", but readers still prefer human translations
- arxiv url: http://arxiv.org/abs/2606.26040v1
- Date: Wed, 24 Jun 2026 17:15:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.401012
- Title: AI translation of literary texts is "fine", but readers still prefer human translations
- Title（参考訳）: 文学テキストのAI翻訳は「微妙」だが、読者はまだ人間の翻訳を好む
- Abstract要約: 我々は、最近出版されたヒト翻訳(HT)と機械翻訳(MT)の比較を熱心な読者に依頼する。
読み手は8K単語の抜粋を2つの条件で評価した。
全体として、読者はMTを「微妙」とみなすが、単純さ、明快さ、没入感のある性質から、HT(抜粋レベル19/30、より明確にチャンクレベル522/772)を好む。
- 参考スコア（独自算出の注目度）: 7.62066411906057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI translation of literary works is increasingly common. While the content may be rendered adequately, we do not know enough about how readers experience it in terms of immersiveness and literary effect, aspects poorly captured by automatic machine translation metrics or human evaluation targeting fluency and adequacy. We ask 15 avid readers to compare recently published human translations (HT) to machine translations (MT) generated with an agentic large language model (LLM)-based pipeline, for 15 recent novels in French, Polish, and Japanese and translated into English. Readers evaluated approximately 8K-word excerpts in two conditions: immersive reading of the whole excerpt (30 comparisons) and close reading of 386 aligned HT-MT chunk pairs (772 comparisons), with two readers per book and in alternating order of presentation. Overall, readers find MT "fine", but prefer HT (slightly at excerpt-level 19/30, more clearly at chunk-level 522/772) for its ease, clarity, and immersive nature. Readers' highlights show that MT's quality varies more within one book than HT's does. Crucially, readers cannot reliably tell the two apart (17/30 guess correctly) and tend to prefer the version they believe to be human. Automatic metrics, including LLM-as-a-judge approaches, fail to recover reader preferences and favor MT. We release LAIT (Literary AI Translation), a reader-centered evaluation dataset with 1K reader comments, 2K judgments and preference ratings, and 7.2K span-level annotations, along with our evaluation protocol and supporting interface.
- Abstract（参考訳）: 文学作品のAI翻訳はますます一般的になっている。
コンテンツは適切にレンダリングされるかもしれないが、読者が没入感や文学的効果の観点からどのように経験するかは分かっていない。
我々は15人の熱心な読者に、最近出版されたヒト翻訳(HT)とエージェント言語モデル(LLM)ベースのパイプラインで生成された機械翻訳(MT)を比較し、フランス語、ポーランド語、日本語の15の小説を英語に翻訳する。
読み手は約8K単語の抜粋を2つの条件で評価した:全抜粋の没入読み(30回比較)と386行のHT-MTチャンクペア(772回比較)。
全体として、読者はMTを「微妙」とみなすが、単純さ、明快さ、没入感のある性質から、HT(抜粋レベル19/30、より明確にチャンクレベル522/772)を好む。
読者のハイライトは、MTの品質がHTよりも1冊の範囲内で変化していることを示している。
重要な点として、読者は2つを確実に(正確には17/30)区別することができず、人間だと信じているバージョンを好む傾向にある。
LLM-as-a-judgeアプローチを含む自動メトリクスは、読者の嗜好を回復せず、MTを好まない。我々は、読者中心の評価データセットであるLAIT(Literary AI Translation)をリリースした。
関連論文リスト
- Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation [57.11989521509119]
本稿では,特殊なサブエージェントを起動するリフレクティブコアエージェントを中心に,エージェント翻訳評価フレームワークを提案する。
実験の結果、RATEの有効性が示され、現在の測定値と比較して少なくとも3.2メタスコアの改善が達成された。
論文 参考訳（メタデータ） (2026-01-12T09:03:42Z) - DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation [31.1561882673283]
DIINGは、Webノベル翻訳のための最初の総合的な評価フレームワークである。
AgentEvalは専門家による検討をシミュレートし、語彙オーバーラップを超えて翻訳品質を評価する。
誤りラベルとスカラー品質スコアを付加した300文対のメタ評価データセットであるMetricAlignを開発した。
論文 参考訳（メタデータ） (2025-10-10T08:10:10Z) - Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。
我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
論文 参考訳（メタデータ） (2025-04-10T09:24:54Z) - DRT: Deep Reasoning Translation via Long Chain-of-Thought [73.21414200780171]
ニューラル・マシン・トランスフォーメーション(MT)に長いチェーン・オブ・シークレットの成功をもたらす試みであるDRTを紹介する。
まず、既存の文献から模範文や比喩文を含む文を抽出し、その後、長い思考を通してこれらの文を翻訳する多エージェントフレームワークを開発する。
Qwen2.5とLLama-3.1をバックボーンとして使用することで、DRTモデルは機械翻訳中に思考プロセスを学ぶことができる。
論文 参考訳（メタデータ） (2024-12-23T11:55:33Z) - A 2-step Framework for Automated Literary Translation Evaluation: Its Promises and Pitfalls [23.30119735386842]
文芸機械翻訳を評価するための2段階パイプラインの実現可能性を提案し,評価する。
私たちのフレームワークは、文学翻訳に適した細粒度で解釈可能なメトリクスを提供します。
論文 参考訳（メタデータ） (2024-12-02T10:07:01Z) - (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [56.7988577327046]
翻訳企業の役割と協調の実践をシミュレートする,新しいマルチエージェントフレームワークであるTransAgentsを紹介する。
本研究は,翻訳品質の向上,特にテキストの長文化におけるマルチエージェント協調の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2024-05-20T05:55:08Z) - Findings of the WMT 2023 Shared Task on Discourse-Level Literary
Translation: A Fresh Orb in the Cosmos of LLMs [80.05205710881789]
我々は、著作権と文書レベルの中国英語ウェブ小説コーパスをリリースする。
今年は7つのアカデミックチームと業界チームから14の応募を受け取りました。
システムの公式ランキングは、全体的な人間の判断に基づいている。
論文 参考訳（メタデータ） (2023-11-06T14:23:49Z) - To be or not to be: a translation reception study of a literary text
translated into Dutch and Catalan using machine translation [3.3453601632404073]
本稿では、クルト・ヴォネグートが英語からカタルーニャ語とオランダ語に翻訳した架空の物語の受容に関する研究結果を紹介する。
被験者223名を対象に, ナラティブ・エンゲージメント, エンジョイメント, 翻訳受容の3尺度を用いて, 読解条件の評価を行った。
論文 参考訳（メタデータ） (2023-07-05T15:18:52Z) - Discourse Centric Evaluation of Machine Translation with a Densely
Annotated Parallel Corpus [82.07304301996562]
本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。
ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。
我々はMT出力が人間の翻訳と基本的に異なることを発見した。
論文 参考訳（メタデータ） (2023-05-18T17:36:41Z) - Exploring Document-Level Literary Machine Translation with Parallel
Paragraphs from World Literature [35.1398797683712]
文献翻訳者は, 機械翻訳段落よりも, 84%の割合で人文翻訳を好んでいる。
我々は、通常のMT出力よりも出力が好ましい後編集モデルを専門家によって69%の速度で訓練する。
論文 参考訳（メタデータ） (2022-10-25T18:03:34Z) - ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality
Estimation and Corrective Feedback [70.5469946314539]
ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。
統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
論文 参考訳（メタデータ） (2021-07-30T17:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。