論文の概要: Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy
- arxiv url: http://arxiv.org/abs/2606.29489v1
- Date: Sun, 28 Jun 2026 16:39:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.940114
- Title: Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy
- Title（参考訳）: どのトークンがコンテキストを必要とするか? 妊婦とエントロピーを用いた翻訳責任の基準的分析
- Abstract要約: 語彙や構文レベルでの文脈感度を定量化するためのモデルに依存しないフレームワークを提案する。
また, コンテクストは, 全体の肥育性を変えることなく, 発生責任をソースからコンテクストトークンに選択的に再分配することを示した。
本フレームワークは,機械翻訳モデルを評価するための診断基準を確立することを目的として,人間翻訳における文脈利用の基幹的特徴付けを行う。
- 参考スコア（独自算出の注目度）: 28.838326003809176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When humans translate, not every word depends equally on the surrounding context. Some tokens, particularly function words like pronouns and auxiliaries, rely heavily on preceding or following sentences, while others, such as proper nouns, do not. Understanding this inherent context sensitivity is essential for evaluating whether machine translation systems use context in human-like ways. However, existing approaches to analysing context usage rely on discourse-specific test sets or model internals, making them narrow or model-dependent. We propose a post-hoc, model-agnostic framework to quantify context sensitivity at lexical and syntactic levels using two measures derived from word alignments: fertility (number of target tokens generated per source token) and entropy (stability of fertility patterns across contexts). Using reference translations for three language pairs (German $\leftrightarrow$ English, English $\rightarrow$ Hindi) under four context conditions, we show that context selectively redistributes generative responsibility from source to context tokens without altering overall fertility. Function words show the largest fertility reductions, while content words remain stable, suggesting that context resolves ambiguity rather than adding new information. Our framework provides a ground-truth characterisation of selective context usage in human translation, establishing a diagnostic baseline for evaluating machine translation models.
- Abstract（参考訳）: 人間が翻訳するとき、すべての単語が周囲の文脈に等しく依存するわけではない。
いくつかのトークン、特に代名詞や補助詞のような機能的な単語は、前または後続の文に大きく依存するが、適切な名詞など他のトークンは依存しない。
この固有の文脈感受性を理解することは、機械翻訳システムが人間のような方法で文脈を使用するかどうかを評価するのに不可欠である。
しかし、コンテキストの使い方を分析する既存のアプローチは、談話固有のテストセットやモデル内部に依存しており、それらが狭く、あるいはモデルに依存している。
本稿では,単語アライメントから導かれる2つの尺度,すなわち肥大度(ソーストークン毎に生成されるターゲットトークンの数)とエントロピー(コンテキスト間の肥大パターンの安定性)を用いて,語彙的・統語的レベルの文脈感度を定量化する,ポストホックなモデルに依存しないフレームワークを提案する。
4つの文脈条件下で3つの言語対 (ドイツ語 $\leftrightarrow$ English, English $\rightarrow$ Hindi) に対する参照翻訳を用いて、コンテクストは、全体の肥大性を変えることなく、ソースからコンテキストトークンへの生成責任を選択的に再分配することを示す。
機能語は最大出生率の低下を示すが、内容語は安定であり、新しい情報を追加するのではなく、文脈があいまいさを解決することを示唆している。
本フレームワークは,機械翻訳モデルを評価するための診断基準を確立することを目的として,人間翻訳における文脈利用の基幹的特徴付けを行う。
関連論文リスト
- Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。
我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
論文 参考訳（メタデータ） (2025-04-10T09:24:54Z) - Evaluating Distributed Representations for Multi-Level Lexical Semantics: A Research Proposal [3.3585951129432323]
この論文は、計算モデルと語彙意味論を橋渡しし、互いに補完することを目的としている。
現代のニューラルネットワーク(NN)は、個々の単語を密度が高く連続的な高次元ベクトルに圧縮することで分散表現を構築する。
論文 参考訳（メタデータ） (2024-06-02T14:08:51Z) - On Measuring Context Utilization in Document-Level MT Systems [12.02023514105999]
本稿では,文脈利用の尺度を用いて,精度に基づく評価を補完することを提案する。
自動アノテート支援コンテキストは人間のアノテートコンテキストに類似した結論を与えることを示す。
論文 参考訳（メタデータ） (2024-02-02T13:37:07Z) - That was the last straw, we need more: Are Translation Systems Sensitive
to Disambiguating Context? [64.38544995251642]
我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。
我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。
現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
論文 参考訳（メタデータ） (2023-10-23T06:38:49Z) - Quantifying the Plausibility of Context Reliance in Neural Machine
Translation [25.29330352252055]
我々は、PECoRe(Context Reliance)の可塑性評価を導入する。
PECoReは、言語モデル世代におけるコンテキスト使用量の定量化を目的として設計されたエンドツーエンドの解釈可能性フレームワークである。
我々は、文脈対応機械翻訳モデルの妥当性を定量化するために、pecoreを使用します。
論文 参考訳（メタデータ） (2023-10-02T13:26:43Z) - HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。
無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。
そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
論文 参考訳（メタデータ） (2023-01-17T12:07:13Z) - Language model acceptability judgements are not always robust to context [30.868765627701457]
目標構文評価における言語モデルの性能の安定性について検討する。
モデル判断は、ランダムにサンプル化された言語コンテキストに置かれる場合、一般的には堅牢である。
これらのモデル性能の変化は、コンテキストとテスト入力にマッチする単純な特徴によって説明できないことを示す。
論文 参考訳（メタデータ） (2022-12-18T00:11:06Z) - Do Context-Aware Translation Models Pay the Right Attention? [61.25804242929533]
コンテキスト対応機械翻訳モデルは文脈情報を活用するように設計されているが、しばしば失敗する。
本稿では,人間の翻訳者が曖昧な単語を解くために使用する文脈について述べる。
SCAT(Supporting Context for Ambiguous Translations)は、14K翻訳のコンテキストワードをサポートする新しい英仏データセットです。
SCATを用いて,支援語の位置的特徴と語彙的特徴をあいまいにするために使用される文脈を詳細に分析する。
論文 参考訳（メタデータ） (2021-05-14T17:32:24Z) - Measuring and Increasing Context Usage in Context-Aware Machine
Translation [64.5726087590283]
機械翻訳モデルによるコンテキストの使用を定量的にするために、新しいメトリクス、条件付き相互情報を導入します。
次に,コンテキスト認識モデルによってコンテキストの使用量を増やすために,コンテキスト認識ワードドロップアウトという,新しい簡易なトレーニング手法を導入する。
論文 参考訳（メタデータ） (2021-05-07T19:55:35Z) - Decontextualization: Making Sentences Stand-Alone [13.465459751619818]
質問応答、対話エージェント、要約のモデルは、しばしばリッチな文脈で文の意味を解釈する。
キーピースはローカルウィンドウで明示されない可能性があるため、テキストの抜粋を取ることは問題となる可能性がある。
文の非文脈化(decontextualization)の問題は、文を文脈とともに取り、文脈から解釈できるように書き換えることである。
論文 参考訳（メタデータ） (2021-02-09T22:52:37Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。