論文の概要: Analyzing the Use of Influence Functions for Instance-Specific Data Filtering in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2210.13281v1
• Date: Mon, 24 Oct 2022 14:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 16:52:26.684683
• Title: Analyzing the Use of Influence Functions for Instance-Specific Data Filtering in Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳におけるインスタンス固有データフィルタリングにおける影響関数の使用分析
• Authors: Tsz Kin Lam, Eva Hasler, Felix Hieber
• Abstract要約: 影響関数 (IF) は, 分類作業に関係のある訓練例を見つけるのに有効であることが示されている。 美術効果関数の状態に対する2つの効果的な拡張を提案し、模擬学習例のサブプロブレムを実証する。
• 参考スコア（独自算出の注目度）: 2.990760778216954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Customer feedback can be an important signal for improving commercial machine translation systems. One solution for fixing specific translation errors is to remove the related erroneous training instances followed by re-training of the machine translation system, which we refer to as instance-specific data filtering. Influence functions (IF) have been shown to be effective in finding such relevant training examples for classification tasks such as image classification, toxic speech detection and entailment task. Given a probing instance, IF find influential training examples by measuring the similarity of the probing instance with a set of training examples in gradient space. In this work, we examine the use of influence functions for Neural Machine Translation (NMT). We propose two effective extensions to a state of the art influence function and demonstrate on the sub-problem of copied training examples that IF can be applied more generally than handcrafted regular expressions.
• Abstract（参考訳）: 顧客からのフィードバックは、商用機械翻訳システムを改善する重要なシグナルとなる。 特定の翻訳エラーを修正するひとつの解決策は、関連する誤ったトレーニングインスタンスを削除し、その後に、インスタンス固有のデータフィルタリングと呼ばれる機械翻訳システムを再トレーニングすることです。 影響関数 (IF) は, 画像分類, 有害音声検出, エンテーメントタスクなどの分類タスクにおいて, 関連する訓練例を見つけるのに有効であることが示されている。 探索例が与えられた場合、IFは勾配空間における一連の訓練例と探索例の類似性を測定することによって、影響のある訓練例を見つける。 本稿では,ニューラルマシン翻訳(nmt)における影響関数の利用について検討する。 美術影響関数の状態に対する2つの効果的な拡張を提案し, IFが手作り正規表現よりも一般的に適用可能であることを示す。

関連論文リスト

• How Far Can In-Context Alignment Go? Exploring the State of In-Context Alignment [48.0254056812898]
  In-Context Learning (ICL) は、大規模言語モデルと、In-Context Alignment (ICA) と呼ばれる人間の好みを合わせることができる。 コンテキストテキストは、形式、システムプロンプト、例の3つのカテゴリに分けられる。 本研究は,モデルのアライメント能力を高めるために,サンプル部が重要であることを示唆する。
  論文  参考訳（メタデータ） (2024-06-17T12:38:48Z)
• In-context Examples Selection for Machine Translation [101.50473468507697]
  大規模生成モデルは、コンテキスト内学習を用いて、幅広い自然言語処理(NLP)タスクを実行するという印象的な能力を示している。 機械翻訳(MT)の場合、これらの例は、通常、開発データセットからランダムにサンプリングされ、評価セットと同じような分布を持つ。 テキスト内サンプルの翻訳品質とドメインが重要であり,1ショットノイズ非関連例が出力品質に破滅的な影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-12-05T17:25:15Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)
• Robust Neural Machine Translation: Modeling Orthographic and Interpunctual Variation [3.3194866396158]
  そこで本研究では,10種類の逆例を生成するための簡易な生成ノイズモデルを提案する。 ノイズの多いデータでテストすると、敵の例を使って訓練されたシステムは、クリーンなデータを翻訳するのと同様に、ほぼ同等に機能することを示す。
  論文  参考訳（メタデータ） (2020-09-11T14:12:54Z)
• The Impact of Indirect Machine Translation on Sentiment Classification [6.719549885077474]
  本稿では,顧客からのフィードバックを他の言語に翻訳する機械翻訳システムを提案する。 直接翻訳が必ずしも可能であるとは限らないため、翻訳された文に対する自動分類器の性能について検討する。 提案する感情分類システムの性能を解析し、翻訳文の分類の利点と欠点について考察する。
  論文  参考訳（メタデータ） (2020-08-25T20:30:21Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• RelatIF: Identifying Explanatory Training Examples via Relative Influence [13.87851325824883]
  インフルエンス関数を使用して、関連するトレーニング例を特定し、機械学習モデルの予測を"説明"することを望んでいます。 本稿では,グローバルな影響に制約を課す最適化目標を用いて,関連するトレーニング事例を選択するための新しい基準であるRelatIFを紹介する。 経験的評価では、RelatIFで返される例は影響関数を用いた例に比べて直感的であることが判明した。
  論文  参考訳（メタデータ） (2020-03-25T20:59:54Z)
• Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training [66.39561682517741]
  unsupervised neural machine translation (UNMT) は機械翻訳コミュニティに大きな関心を集めている。 UNMTの主な利点は、必要な大規模な訓練用テキストの簡単な収集にある。 本稿では,UNMT ベースのシステムのロバスト性を改善するため,まずノイズを考慮に入れた。
  論文  参考訳（メタデータ） (2020-02-28T05:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。