論文の概要: Quantifying the Plausibility of Context Reliance in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2310.01188v1
• Date: Mon, 2 Oct 2023 13:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 21:39:10.040663
• Title: Quantifying the Plausibility of Context Reliance in Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳における文脈依存の妥当性の定量化
• Authors: Gabriele Sarti, Grzegorz Chrupa{\l}a, Malvina Nissim, Arianna Bisazza
• Abstract要約: 我々は、PECoRe(Context Reliance)の可塑性評価を導入する。 PECoReは、言語モデル世代におけるコンテキスト使用量の定量化を目的として設計されたエンドツーエンドの解釈可能性フレームワークである。 PECoReを用いて文脈対応機械翻訳モデルの妥当性を定量化する。
• 参考スコア（独自算出の注目度）: 25.29330352252055
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Establishing whether language models can use contextual information in a human-plausible way is important to ensure their safe adoption in real-world settings. However, the questions of when and which parts of the context affect model generations are typically tackled separately, and current plausibility evaluations are practically limited to a handful of artificial benchmarks. To address this, we introduce Plausibility Evaluation of Context Reliance (PECoRe), an end-to-end interpretability framework designed to quantify context usage in language models' generations. Our approach leverages model internals to (i) contrastively identify context-sensitive target tokens in generated texts and (ii) link them to contextual cues justifying their prediction. We use PECoRe to quantify the plausibility of context-aware machine translation models, comparing model rationales with human annotations across several discourse-level phenomena. Finally, we apply our method to unannotated generations to identify context-mediated predictions and highlight instances of (im)plausible context usage in model translations.
• Abstract（参考訳）: 言語モデルが人間らしい方法でコンテキスト情報を利用できるかどうかを確立することは、実際の環境での安全な採用を確保するために重要である。 しかしながら、コンテキストのどの部分がモデル世代に影響を与えるかという問題は、一般的には個別に取り組まれており、現在の妥当性評価は、事実上少数の人工ベンチマークに限られている。 そこで本稿では,言語モデルの世代における文脈利用の定量化を目的としたエンドツーエンド解釈フレームワークであるcontext reliance(pecore)の信頼性評価を紹介する。 我々のアプローチはモデル内部を活用する (i)生成されたテキスト中の文脈に敏感なターゲットトークンを対照的に識別し、 (ii)その予測を正当化する文脈的手がかりと結びつける。 我々はPECoReを用いて文脈認識機械翻訳モデルの妥当性を定量化し、モデル論理と人間のアノテーションを比較した。 最後に,この手法を無記名世代に適用し,モデル翻訳における(im)表現可能な文脈使用のインスタンスを強調表示する。

関連論文リスト

• On Measuring Context Utilization in Document-Level MT Systems [12.02023514105999]
  本稿では,文脈利用の尺度を用いて,精度に基づく評価を補完することを提案する。 自動アノテート支援コンテキストは人間のアノテートコンテキストに類似した結論を与えることを示す。
  論文  参考訳（メタデータ） (2024-02-02T13:37:07Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• Reference-less Analysis of Context Specificity in Translation with Personalised Language Models [3.527589066359829]
  本研究は、リッチキャラクタとフィルムアノテーションがいかにパーソナライズ言語モデル(LM)に活用できるかを考察する。 非文脈モデルと比較して、難易度を最大6.5%削減するために、リッチな文脈情報を活用するLMを構築している。 我々の領域における専門翻訳の文脈特化度は、文脈機械翻訳モデルによりよりよく保存できることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:19:23Z)
• HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
  コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。 無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。 そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-17T12:07:13Z)
• Contextual information integration for stance detection via cross-attention [59.662413798388485]
  スタンス検出は、著者の目標に対する姿勢を特定することを扱う。 既存のスタンス検出モデルの多くは、関連するコンテキスト情報を考慮していないため、制限されている。 文脈情報をテキストとして統合する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-03T15:04:29Z)
• Improve Discourse Dependency Parsing with Contextualized Representations [28.916249926065273]
  本稿では,異なるレベルの単位の文脈化表現を符号化するトランスフォーマーの活用を提案する。 記事間で共通に共有される記述パターンの観察に動機付けられ,談話関係の識別をシーケンスラベリングタスクとして扱う新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-05-04T14:35:38Z)
• Measuring and Increasing Context Usage in Context-Aware Machine Translation [64.5726087590283]
  機械翻訳モデルによるコンテキストの使用を定量的にするために、新しいメトリクス、条件付き相互情報を導入します。 次に,コンテキスト認識モデルによってコンテキストの使用量を増やすために,コンテキスト認識ワードドロップアウトという,新しい簡易なトレーニング手法を導入する。
  論文  参考訳（メタデータ） (2021-05-07T19:55:35Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。