論文の概要: Translation Error Detection as Rationale Extraction

• arxiv url: http://arxiv.org/abs/2108.12197v1
• Date: Fri, 27 Aug 2021 09:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-30 16:40:15.950008
• Title: Translation Error Detection as Rationale Extraction
• Title（参考訳）: 論理抽出による翻訳誤り検出
• Authors: Marina Fomicheva, Lucia Specia, Nikolaos Aletras
• Abstract要約: 本稿では,現在最先端の文レベルQEモデルの振る舞いについて検討し,翻訳誤りを検出するために実際に説明が利用できることを示す。 単語レベルQEのための新しい半教師付き手法を導入し、(ii)特徴属性の妥当性を評価するための新しいベンチマークとしてQEタスクを提案する。
• 参考スコア（独自算出の注目度）: 36.616561917049076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Quality Estimation (QE) models based on multilingual pre-trained representations have achieved very competitive results when predicting the overall quality of translated sentences. Predicting translation errors, i.e. detecting specifically which words are incorrect, is a more challenging task, especially with limited amounts of training data. We hypothesize that, not unlike humans, successful QE models rely on translation errors to predict overall sentence quality. By exploring a set of feature attribution methods that assign relevance scores to the inputs to explain model predictions, we study the behaviour of state-of-the-art sentence-level QE models and show that explanations (i.e. rationales) extracted from these models can indeed be used to detect translation errors. We therefore (i) introduce a novel semi-supervised method for word-level QE and (ii) propose to use the QE task as a new benchmark for evaluating the plausibility of feature attribution, i.e. how interpretable model explanations are to humans.
• Abstract（参考訳）: 多言語事前学習表現に基づく最近の品質推定(QE)モデルは、翻訳文の全体的な品質を予測する際に非常に競争力のある結果を得た。 翻訳エラー、すなわち、予測する。 どの単語が間違っているかを正確に検出することは、特に限られたトレーニングデータで、より困難な作業である。 我々は、成功したqeモデルは、人間と異なり、翻訳エラーに依存し、文全体の品質を予測すると仮定する。 モデル予測を説明するために、入力に関連点を割り当てる一連の特徴属性法を探索することにより、最先端の文レベルQEモデルの振る舞いを調べ、その説明を示す。 これらのモデルから抽出された論理は、翻訳エラーの検出に使用できる。 そこで, (i) 単語レベルQEの新しい半教師付き手法を導入し, (ii) 特徴属性の妥当性を評価するための新しいベンチマークとしてQEタスクを提案する。 モデルの説明がいかに人間に解釈されるか

関連論文リスト

• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
  本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。 まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。 問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
  論文  参考訳（メタデータ） (2024-01-23T16:07:43Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Classification-based Quality Estimation: Small and Efficient Models for Real-world Applications [29.380675447523817]
  機械翻訳の文レベル品質評価(QE)は、伝統的に回帰タスクとして定式化されている。 近年のQEモデルでは, 人的判断と既往の相関が達成されている。 我々はQEのモデル圧縮技術を評価し、他のNLPタスクで人気があるにもかかわらず、この回帰環境では性能が劣っていることを発見した。
  論文  参考訳（メタデータ） (2021-09-17T16:14:52Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• MDQE: A More Accurate Direct Pretraining for Machine Translation Quality Estimation [4.416484585765028]
  データ品質とトレーニングの目的の両方において,予測器と推定器の間にはまだギャップがある,と我々は主張する。 本稿では,QEタスクに対してより正確な事前学習を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-24T09:48:37Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。