論文の概要: WT5?! Training Text-to-Text Models to Explain their Predictions

• arxiv url: http://arxiv.org/abs/2004.14546v1
• Date: Thu, 30 Apr 2020 02:20:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 03:03:40.145225
• Title: WT5?! Training Text-to-Text Models to Explain their Predictions
• Title（参考訳）: WT5! 予測記述のためのテキスト・テキストモデルの訓練
• Authors: Sharan Narang, Colin Raffel, Katherine Lee, Adam Roberts, Noah Fiedel, Karishma Malkan
• Abstract要約: 我々は、Raffel氏らによって提案されたテキスト・トゥ・テキスト・フレームワークを利用して、言語モデルをトレーニングし、予測とともに自然なテキスト説明を出力します。 提案手法は,説明可能性に関する最新の結果を得るだけでなく,ラベル付き説明の限られたセットから学習を行うことも可能であることを示す。
• 参考スコア（独自算出の注目度）: 38.59658315243017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have recently achieved human-level performance on various challenging natural language processing (NLP) tasks, but it is notoriously difficult to understand why a neural network produced a particular prediction. In this paper, we leverage the text-to-text framework proposed by Raffel et al.(2019) to train language models to output a natural text explanation alongside their prediction. Crucially, this requires no modifications to the loss function or training and decoding procedures -- we simply train the model to output the explanation after generating the (natural text) prediction. We show that this approach not only obtains state-of-the-art results on explainability benchmarks, but also permits learning from a limited set of labeled explanations and transferring rationalization abilities across datasets. To facilitate reproducibility and future work, we release our code use to train the models.
• Abstract（参考訳）: ニューラルネットワークは最近、さまざまな難易度の高い自然言語処理(nlp)タスクで人間レベルのパフォーマンスを達成したが、なぜニューラルネットワークが特定の予測を生んだのかを理解することは難しい。 本稿では,Raffelらが開発したテキスト・テキスト・フレームワークを活用する。 (2019) 言語モデルを訓練し, 予測とともに自然なテキスト説明を出力する。 重要なのは、これは損失関数やトレーニングやデコード手順の変更を必要とせず、モデルに(自然テキスト)予測を生成する後に説明を出力するようにトレーニングするだけです。 このアプローチは,説明可能性ベンチマークで最先端の結果を得るだけでなく,ラベル付き説明の限られたセットから学習し,データセット間の合理化能力の伝達を可能にする。 再現性と今後の作業を容易にするため、モデルをトレーニングするためのコード利用をリリースします。

関連論文リスト

• Semformer: Transformer Language Models with Semantic Planning [18.750863564495006]
  次世代の予測は、現在のニューラルネットワークモデルの主要なコンポーネントである。 本稿では,応答のセマンティックプランニングを明示的にモデル化したトランスフォーマー言語モデルのトレーニング手法であるSemformerを紹介する。
  論文  参考訳（メタデータ） (2024-09-17T12:54:34Z)
• Faithfulness Tests for Natural Language Explanations [87.01093277918599]
  ニューラルモデルの説明は、その予測のためのモデルの意思決定プロセスを明らかにすることを目的としている。 近年の研究では,サリエンシマップやファクトファクトファクトダクトなどの説明を行う手法が誤解を招く可能性があることが示されている。 本研究は,自然言語の説明の忠実さを評価する上での課題について考察する。
  論文  参考訳（メタデータ） (2023-05-29T11:40:37Z)
• Parallel Sentence-Level Explanation Generation for Real-World Low-Resource Scenarios [18.5713713816771]
  本論文は,弱教師付き学習から教師なし学習へ,問題を円滑に探求する最初の試みである。 並列説明生成と同時予測を容易にする非自己回帰解釈モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-21T14:52:21Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• You Can Do Better! If You Elaborate the Reason When Making Prediction [13.658942796267015]
  本論文では,大きな学習済み言語モデルと組み合わせた新しいニューラル予測フレームワークを提案し,予測を行い,それに対応する説明を同時に生成する。 中国の医学的複数選択質問応答, 英語自然言語推論, 常識質問回答タスクに関する予備的実証的研究を行った。 また,提案手法は,3つのデータセットに対する予測精度の向上も達成し,意思決定プロセスにおける説明の生成による予測のメリットが示唆された。
  論文  参考訳（メタデータ） (2021-03-27T14:55:19Z)
• Learning to Rationalize for Nonmonotonic Reasoning with Distant Supervision [44.32874972577682]
  モデル予測を説明する自然言語の理性について,ニューラルモデルが判断できる範囲について検討する。 トレーニング済みの言語モデル、ニューラルナレッジモデル、関連するタスクからの遠隔監視を使用します。 我々のモデルは、追加情報から推論が多かれ少なかれ起こりそうな理由を説明するポストホック論理を生成することを約束している。
  論文  参考訳（メタデータ） (2020-12-14T23:50:20Z)
• Towards Interpretable Natural Language Understanding with Explanations as Latent Variables [146.83882632854485]
  そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。 我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
  論文  参考訳（メタデータ） (2020-10-24T02:05:56Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。