論文の概要: Towards Teachable Reasoning Systems
- arxiv url: http://arxiv.org/abs/2204.13074v1
- Date: Wed, 27 Apr 2022 17:15:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-28 15:16:33.162519
- Title: Towards Teachable Reasoning Systems
- Title（参考訳）: 教育可能な推論システムを目指して
- Authors: Bhavana Dalvi, Oyvind Tafjord, Peter Clark
- Abstract要約: 質問応答のための授業可能な推論システム(QA)を開発した。
私たちのアプローチは3つあります。 まず、生成された推論の連鎖は、システムの内部の信念によってどのように答えが示唆されるかを示しています。
第二に、ユーザーは説明と対話して誤ったモデル信念を特定し、修正を行うことができる。
第3に、そのような補正の動的なメモリでモデルを増強する。
- 参考スコア（独自算出の注目度）: 29.59387051046722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Our goal is a teachable reasoning system for question-answering (QA), where a
user can interact with faithful answer explanations, and correct errors so that
the system improves over time. Our approach is three-fold: First, generated
chains of reasoning show how answers are implied by the system's own internal
beliefs. Second, users can interact with the explanations to identify erroneous
model beliefs and provide corrections. Third, we augment the model with a
dynamic memory of such corrections. Retrievals from memory are used as
additional context for QA, to help avoid previous mistakes in similar new
situations - a novel type of memory-based continuous learning. To our
knowledge, this is the first system to generate chains that are both faithful
(the answer follows from the reasoning) and truthful (the chain reflects the
system's own beliefs, as ascertained by self-querying). In evaluation, users
judge that a majority (65%+) of generated chains clearly show how an answer
follows from a set of facts - substantially better than a high-performance
baseline. We also find that using simulated feedback, our system (called
EntailmentWriter) continually improves with time, requiring feedback on only
25% of training examples to reach within 1% of the upper-bound (feedback on all
examples). We observe a similar trend with real users. This suggests new
opportunities for using language models in an interactive setting where users
can inspect, debug, correct, and improve a system's performance over time.
- Abstract（参考訳）: 私たちのゴールは質問応答システム(qa)で、ユーザが忠実な回答説明と対話し、エラーを訂正することで、システムが時間とともに改善できるようにします。
第一に生成された推論の連鎖は、システムの内部的信念によってどのように答えが示唆されるかを示しています。
第二に、ユーザーは説明と対話して誤ったモデル信念を特定し、修正を行うことができる。
第3に、そのような補正の動的なメモリでモデルを増強する。
メモリからの検索は、新しいタイプのメモリベースの継続的学習である、同様の新しい状況で以前のミスを避けるために、qaの追加コンテキストとして使用される。
私たちの知る限りでは、これは(答えは推論から従う)忠実で真理に満ちた連鎖を生成する最初のシステムである(連鎖は自己クエリによって確かめられるように、システム自身の信念を反映する)。
評価では、生成されたチェーンの過半数(65%以上)が、ハイパフォーマンスなベースラインよりもはるかに優れた、一連の事実から回答がどのように続くかを明確に示していると判断する。
また、シミュレーションフィードバックを用いることで、システム(EntailmentWriterと呼ばれる)は時間とともに継続的に改善し、トレーニングサンプルの25%しか上り行の1%(すべての例にフィードバック)に到達できないことが分かりました。
実際のユーザでも同じような傾向が見られます。
これは、ユーザがシステムの時間的パフォーマンスを検査、デバッグ、修正、改善できるインタラクティブな環境で、言語モデルを使用する新たな機会を示唆する。
関連論文リスト
- What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。
ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。
このフィードバックの有効性を,文脈内学習を通じて評価する。
論文 参考訳（メタデータ） (2023-11-16T04:26:32Z) - Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。
我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
論文 参考訳（メタデータ） (2023-05-24T08:33:15Z) - ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness [67.49087159888298]
ReCEvalは2つの重要な特性(正確性と情報性)を通じて推論チェーンを評価するフレームワークである。
本稿では、ReCEvalが様々なエラータイプを効果的に識別し、従来の手法と比較して顕著な改善をもたらすことを示す。
論文 参考訳（メタデータ） (2023-04-21T02:19:06Z) - Entailer: Answering Questions with Faithful and Truthful Chains of
Reasoning [26.715242799194908]
質問応答システムは、体系的な推論の連鎖を通して、その答えが自身の内的信念によってどのように示唆されるかを示す。
我々のアプローチは、トレーニングされた後方チェーンモデルで、回答仮説を含む一連の前提を生成することができ、モデル自体がそれらの前提を信じることを確認する検証器を組み合わせることです。
私たちの知る限りでは、これは多段階連鎖を生成できる最初のシステムであり、それは忠実であり(その答えは推論から従う)、真実である(連鎖はシステムの内部の信念を反映している)。
論文 参考訳（メタデータ） (2022-10-21T19:51:56Z) - Using Interactive Feedback to Improve the Accuracy and Explainability of
Question Answering Systems Post-Deployment [20.601284299825895]
1)QAシステムのパフォーマンス自体の改善,2) 回答の正確性や誤りを説明する能力を備えたモデルの提供。
ユーザからの対話的なフィードバックを含む検索ベースのQAデータセットであるFeedbackQAを収集する。
フィードバックデータは、デプロイされたQAシステムの精度を向上するだけでなく、他のより強力な非デプロイシステムも改善することを示す。
論文 参考訳（メタデータ） (2022-04-06T18:17:09Z) - Simulating Bandit Learning from User Feedback for Extractive Question
Answering [51.97943858898579]
教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。
当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
論文 参考訳（メタデータ） (2022-03-18T17:47:58Z) - Improving scripts with a memory of natural feedback [38.81097942561449]
出力中のエラーに関するフィードバックが増大する動的メモリアーキテクチャを作成します。
スクリプト生成タスクでは、モデルがフィードバックを効果的に適用することを経験的に示す。
これは、デプロイされたモデルを強化するための第一歩であり、ユーティリティを拡大する可能性がある。
論文 参考訳（メタデータ） (2021-12-16T07:01:28Z) - Deep Feedback Inverse Problem Solver [141.26041463617963]
逆問題に対する効率的で効果的で汎用的なアプローチを提案する。
我々は、フォワードプロセスが提供するフィードバック信号を活用し、反復的な更新モデルを学ぶ。
私たちのアプローチは前もってのプロセスに制限がなく、事前の知識も必要ありません。
論文 参考訳（メタデータ） (2021-01-19T16:49:06Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳（メタデータ） (2020-11-01T19:50:34Z) - F1 is Not Enough! Models and Evaluation Towards User-Centered
Explainable Question Answering [30.95495958937006]
回答と説明の結合に関して、現在のモデルと評価設定に欠点があることが示される。
本稿では,階層モデルと新たな正規化項を提案し,回答-説明結合を強化する。
私たちのスコアはユーザエクスペリエンスと整合し,モデル選択の候補として期待できるものになります。
論文 参考訳（メタデータ） (2020-10-13T10:53:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。