Fugu-MT 論文翻訳(概要): With a Little Push, NLI Models can Robustly and Efficiently Predict Faithfulness

論文の概要: With a Little Push, NLI Models can Robustly and Efficiently Predict Faithfulness

arxiv url: http://arxiv.org/abs/2305.16819v1
Date: Fri, 26 May 2023 11:00:04 GMT
ステータス: 処理完了
システム内更新日: 2023-05-29 15:31:48.860811
Title: With a Little Push, NLI Models can Robustly and Efficiently Predict Faithfulness
Title（参考訳）: 小さなプッシュで、NLIモデルはロバストかつ効果的に忠実さを予測できる
Authors: Julius Steen, Juri Opitz, Anette Frank, Katja Markert
Abstract要約: 条件付き言語モデルは、入力によってサポートされない不誠実な出力を生成します。我々は、タスク適応型データ拡張と堅牢な推論手順を組み合わせることで、純粋なNLIモデルの方がより複雑なメトリクスより優れていることを示す。
参考スコア（独自算出の注目度）: 19.79160738554967
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Conditional language models still generate unfaithful output that is not supported by their input. These unfaithful generations jeopardize trust in real-world applications such as summarization or human-machine interaction, motivating a need for automatic faithfulness metrics. To implement such metrics, NLI models seem attractive, since they solve a strongly related task that comes with a wealth of prior research and data. But recent research suggests that NLI models require costly additional machinery to perform reliably across datasets, e.g., by running inference on a cartesian product of input and generated sentences, or supporting them with a question-generation/answering step. In this work we show that pure NLI models _can_ outperform more complex metrics when combining task-adaptive data augmentation with robust inference procedures. We propose: (1) Augmenting NLI training data to adapt NL inferences to the specificities of faithfulness prediction in dialogue; (2) Making use of both entailment and contradiction probabilities in NLI, and (3) Using Monte-Carlo dropout during inference. Applied to the TRUE benchmark, which combines faithfulness datasets across diverse domains and tasks, our approach strongly improves a vanilla NLI model and significantly outperforms previous work, while showing favourable computational cost.
Abstract（参考訳）: 条件付き言語モデルはまだ入力によってサポートされない不適切な出力を生成する。これらの不誠実な世代は、要約や人間と機械の相互作用のような現実世界のアプリケーションに対する信頼を損なう。このようなメトリクスを実装するために、NLIモデルは、豊富な先行研究とデータを伴う強い関連するタスクを解決するため、魅力的に思える。しかし最近の研究によると、nliモデルは入力文と生成文のデカルト積上で推論を実行したり、質問生成/応答ステップでそれらをサポートしたりすることで、データセットをまたいで確実に実行するために、コストのかかる追加の機械を必要としている。本研究では、タスク適応型データ拡張と堅牢な推論手順を組み合わせる際に、純粋なNLIモデル_can_がより複雑なメトリクスより優れていることを示す。 1) 対話における忠実性予測の特異性にnl推論を適用するためのnli訓練データの強化, (2) nliにおける包含と矛盾の確率の両立, (3) 推論中のモンテカルロ・ドロップアウトを用いた。多様な領域やタスクにまたがる忠実度データセットを組み合わせたTRUEベンチマークを適用することで,本手法はバニラNLIモデルを大幅に改善し,計算コストも良好に向上する。

関連論文リスト

Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
我々は,主に半教師あり学習の手法として,自己学習について研究している。我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
論文参考訳（メタデータ） (2023-10-19T02:18:29Z)
Self-augmented Data Selection for Few-shot Dialogue Generation [18.794770678708637]
我々は,MR-to-Text生成問題に対処するために,自己学習フレームワークを採用する。我々は,我々の生成モデルが最も不確実なデータを選択するための新しいデータ選択戦略を提案する。
論文参考訳（メタデータ） (2022-05-19T16:25:50Z)
Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization [63.21819285337555]
高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
論文参考訳（メタデータ） (2022-05-12T10:43:42Z)
Stretching Sentence-pair NLI Models to Reason over Long Documents and Clusters [35.103851212995046]
自然言語推論(NLI)は,文ペア間の意味的関係を推定するフレームワークとして,NLPコミュニティによって広く研究されている。我々は、NLIモデルの実アプリケーションへの直接ゼロショット適用性について、訓練された文ペア設定を超えて検討する。本研究では,ContractNLIデータセット上で,フルドキュメント上で動作し,最先端のパフォーマンスを実現するための新たなアグリゲーション手法を開発した。
論文参考訳（メタデータ） (2022-04-15T12:56:39Z)
Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文参考訳（メタデータ） (2021-09-09T12:32:28Z)
Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
論文参考訳（メタデータ） (2021-08-14T07:15:25Z)
Generative Adversarial Networks for Annotated Data Augmentation in Data Sparse NLU [0.76146285961466]
データスパーシティは、自然言語理解におけるモデル開発に関連する重要な課題の1つです。 GAN (Sequence Generative Adversarial Network) を用いたトレーニングデータ拡張によるNLUモデルの性能向上について報告する。本実験により, 逐次生成逆数ネットワークを用いて生成した合成データにより, 複数の指標間で大きな性能向上が得られた。
論文参考訳（メタデータ） (2020-12-09T20:38:17Z)
Looking Beyond Sentence-Level Natural Language Inference for Downstream Tasks [15.624486319943015]
近年,自然言語推論(NLI)タスクが注目されている。本稿では,この不満足な約束を,質問応答(QA)とテキスト要約という2つの下流タスクのレンズから検討する。我々は、NLIデータセットとこれらの下流タスクの主な違いが前提の長さに関係していると推測する。
論文参考訳（メタデータ） (2020-09-18T21:44:35Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。