論文の概要: Improving Neural Model Performance through Natural Language Feedback on Their Explanations

• arxiv url: http://arxiv.org/abs/2104.08765v1
• Date: Sun, 18 Apr 2021 08:10:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 09:35:03.929951
• Title: Improving Neural Model Performance through Natural Language Feedback on Their Explanations
• Title（参考訳）: 自然言語フィードバックによるニューラルネットワークの性能向上とその説明
• Authors: Aman Madaan, Niket Tandon, Dheeraj Rajagopal, Yiming Yang, Peter Clark, Keisuke Sakaguchi, Ed Hovy
• Abstract要約: 自然言語による人間のフィードバックを得ることで、与えられた推論タスクの説明を洗練するインタラクティブなシステムであるMERCURIEを紹介します。 提案手法は,市販のシステムに比べて40%の矛盾が少ないグラフを生成する。
• 参考スコア（独自算出の注目度）: 38.96890526935312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A class of explainable NLP models for reasoning tasks support their decisions by generating free-form or structured explanations, but what happens when these supporting structures contain errors? Our goal is to allow users to interactively correct explanation structures through natural language feedback. We introduce MERCURIE - an interactive system that refines its explanations for a given reasoning task by getting human feedback in natural language. Our approach generates graphs that have 40% fewer inconsistencies as compared with the off-the-shelf system. Further, simply appending the corrected explanation structures to the output leads to a gain of 1.2 points on accuracy on defeasible reasoning across all three domains. We release a dataset of over 450k graphs for defeasible reasoning generated by our system at https://tinyurl.com/mercurie .
• Abstract（参考訳）: 推論タスクのための説明可能なNLPモデルのクラスは、自由形式または構造化された説明を生成することによって、それらの決定をサポートする。 私たちの目標は、自然言語フィードバックを通じて、ユーザが対話的に説明構造を修正できるようにすることです。 本稿では,自然言語で人間のフィードバックを得ることで,特定の推論タスクの説明を洗練する対話型システムMERCURIEを紹介する。 本手法は,市販システムと比較して不整合が40%少ないグラフを生成する。 さらに、修正された説明構造を出力に単に付加するだけで、3つの領域すべてにわたるデファシブル推論の精度が1.2ポイント向上する。 我々は,我々のシステムが生成したデファジブル推論のための450k以上のグラフのデータセットをhttps://tinyurl.com/mercurie でリリースする。

関連論文リスト

• Towards More Faithful Natural Language Explanation Using Multi-Level Contrastive Learning in VQA [7.141288053123662]
  視覚的質問応答(VQA-NLE)における自然言語の説明は,ブラックボックスシステムに対するユーザの信頼を高めるために,自然言語文を生成することによって,モデルの意思決定プロセスを説明することを目的としている。 既存のポストホックな説明は、人間の論理的推論と常に一致している訳ではなく、1) 誘惑的不満足な説明は、生成した説明が論理的に答えに繋がらないこと、2) 現実的不整合性、2) 画像上の事実を考慮せずに解答の反事実的説明を偽示すること、3) 意味的摂動の過敏性、モデルは、小さな摂動によって引き起こされる意味的変化を認識できないこと、である。
  論文  参考訳（メタデータ） (2023-12-21T05:51:55Z)
• S3C: Semi-Supervised VQA Natural Language Explanation via Self-Critical Learning [46.787034512390434]
  VQA自然言語説明(VQA-NLE)タスクは、自然言語におけるVQAモデルの意思決定プロセスを説明することを目的としている。 自己批判学習(S3C)による半教師付きVQA-NLEを提案する。 S3Cは、報酬に答えることで、解答と合理性の間の論理的整合性を改善することによって、候補説明を評価する。
  論文  参考訳（メタデータ） (2023-09-05T11:47:51Z)
• Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
  本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。 我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
  論文  参考訳（メタデータ） (2023-05-24T08:33:15Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Parameterized Explainer for Graph Neural Network [49.79917262156429]
  グラフニューラルネットワーク(GNN)のためのパラメータ化説明器PGExplainerを提案する。 既存の研究と比較すると、PGExplainerはより優れた一般化能力を持ち、インダクティブな設定で容易に利用することができる。 合成データセットと実生活データセットの両方の実験では、グラフ分類の説明に関するAUCの相対的な改善が24.7%まで高い競争性能を示した。
  論文  参考訳（メタデータ） (2020-11-09T17:15:03Z)
• ExplanationLP: Abductive Reasoning for Explainable Science Question Answering [4.726777092009554]
  本稿では,帰納的推論問題としての質問応答について考察する。 それぞれの選択に対して妥当な説明を構築し、最終回答として最適な説明で候補を選択する。 提案システムであるExplainationLPは,各候補の回答に対して,関連事実の重み付きグラフを構築して説明を行う。
  論文  参考訳（メタデータ） (2020-10-25T14:49:24Z)
• Towards Interpretable Natural Language Understanding with Explanations as Latent Variables [146.83882632854485]
  そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。 我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
  論文  参考訳（メタデータ） (2020-10-24T02:05:56Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。