論文の概要: Honest Students from Untrusted Teachers: Learning an Interpretable
Question-Answering Pipeline from a Pretrained Language Model
- arxiv url: http://arxiv.org/abs/2210.02498v1
- Date: Wed, 5 Oct 2022 18:23:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 15:23:35.368612
- Title: Honest Students from Untrusted Teachers: Learning an Interpretable
Question-Answering Pipeline from a Pretrained Language Model
- Title（参考訳）: 信頼できない教師からの正直な学生:事前学習言語モデルから解釈可能な質問答えパイプラインを学ぶ
- Authors: Jacob Eisenstein and Daniel Andor and Bernd Bohnet and Michael Collins
and David Mimno
- Abstract要約: 我々は,emphmarkup-and-maskと呼ばれるオープンブック質問応答のための新しい方法を提案する。
マークアップフェーズでは、節は自由テキストのマークアップで拡張され、各文は談話コンテキストの外側で独立して立つことができる。
教師として機能する凍結した事前学習言語モデルに一連のプロンプトを送信することで,銀アノテートデータを生成する。
正解を導いた合理性のサブセットをトレーニングすることで、より小さな学生モデルを微調整する。
- 参考スコア（独自算出の注目度）: 25.091068473676337
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explainable question answering systems should produce not only accurate
answers but also rationales that justify their reasoning and allow humans to
check their work. But what sorts of rationales are useful and how can we train
systems to produce them? We propose a new style of rationale for open-book
question answering, called \emph{markup-and-mask}, which combines aspects of
extractive and free-text explanations. In the markup phase, the passage is
augmented with free-text markup that enables each sentence to stand on its own
outside the discourse context. In the masking phase, a sub-span of the
marked-up passage is selected. To train a system to produce markup-and-mask
rationales without annotations, we leverage in-context learning. Specifically,
we generate silver annotated data by sending a series of prompts to a frozen
pretrained language model, which acts as a teacher. We then fine-tune a smaller
student model by training on the subset of rationales that led to correct
answers. The student is "honest" in the sense that it is a pipeline: the
rationale acts as a bottleneck between the passage and the answer, while the
"untrusted" teacher operates under no such constraints. Thus, we offer a new
way to build trustworthy pipeline systems from a combination of end-task
annotations and frozen pretrained language models.
- Abstract（参考訳）: 説明可能な質問応答システムは、正確な回答だけでなく、推論を正当化し、人間が作業を確認するための合理的な根拠も生み出すべきである。
しかし、どんな理屈が役に立つのか、どのようにシステムをトレーニングして生産するか?
本稿では,オープンブックの質問応答に対する新たな論理的手法である「emph{markup-and-mask}」を提案する。
マークアップフェーズでは、各文が談話コンテキストの外側で独立して立つことができるフリーテキストマークアップが追加される。
マスキングフェーズでは、マークアップ通路のサブスパンが選択される。
アノテーションなしでマークアップ・アンド・マスクの合理性を生成するシステムをトレーニングするために、コンテキスト内学習を利用する。
具体的には,教師として機能する凍結した事前学習言語モデルに一連のプロンプトを送信することで,銀アノテートデータを生成する。
そして, 正解に繋がる理論のサブセットを訓練することで, より小さな学生モデルを微調整した。
学生はパイプラインであるという意味では「正直」であり、道程と答えの間のボトルネックとして機能し、一方「信頼できない」教師はそのような制約の下で活動する。
したがって、エンドタスクアノテーションと凍結事前訓練された言語モデルを組み合わせて、信頼できるパイプラインシステムを構築する新しい方法を提供する。
関連論文リスト
- A Multi-Task Text Classification Pipeline with Natural Language Explanations: A User-Centric Evaluation in Sentiment Analysis and Offensive Language Identification in Greek Tweets [8.846643533783205]
この研究は、テキスト分類タスクで使用できる新しいパイプラインの初期の概念を紹介している。
テキストをラベル付けする分類器と、説明を提供する説明生成器の2つのモデルから構成される。
ギリシャのツイートにおける感情分析と攻撃的な言語識別のタスクを中心に実験が行われている。
論文 参考訳（メタデータ） (2024-10-14T08:41:31Z) - Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking [34.55545753125674]
自己学習型推論器の一般化であるQuiet-STaRについて述べる。
LMは、将来のテキストを説明するために各トークンで合理性を生成することを学ぶ。
GSM8KとCommonsenseQAではゼロショットの改善が見られた。
論文 参考訳（メタデータ） (2024-03-14T17:58:16Z) - Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。
このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
論文 参考訳（メタデータ） (2023-11-02T17:59:49Z) - HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale
Supervision [118.0818807474809]
本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。
提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
論文 参考訳（メタデータ） (2023-05-23T16:53:49Z) - Yes, this Way! Learning to Ground Referring Expressions into Actions
with Intra-episodic Feedback from Supportive Teachers [15.211628096103475]
本研究は,協調的な環境下でのエポゾディック内フィードバックを評価するための最初の研究である。
以上の結果から,エポゾディック内フィードバックにより,参加者はシーンの複雑さの側面を一般化できることがわかった。
論文 参考訳（メタデータ） (2023-05-22T10:01:15Z) - Parallel Sentence-Level Explanation Generation for Real-World
Low-Resource Scenarios [18.5713713816771]
本論文は,弱教師付き学習から教師なし学習へ,問題を円滑に探求する最初の試みである。
並列説明生成と同時予測を容易にする非自己回帰解釈モデルを提案する。
論文 参考訳（メタデータ） (2023-02-21T14:52:21Z) - Explanation Selection Using Unlabeled Data for Chain-of-Thought
Prompting [80.9896041501715]
非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。
本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
論文 参考訳（メタデータ） (2023-02-09T18:02:34Z) - NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning [59.16962123636579]
本稿では,Prologベースの推論エンジンを新たに提案する。
我々は手作りのルールを、ニューラルネットワークモデリング、ガイド付き生成、半密検索の組み合わせで置き換える。
我々の実装であるNELLIEは、完全に解釈可能なエンドツーエンドの基底QAを示す最初のシステムである。
論文 参考訳（メタデータ） (2022-09-16T00:54:44Z) - Generating Dialogue Responses from a Semantic Latent Space [75.18449428414736]
語彙のエンドツーエンド分類に代わる方法を提案する。
潜在空間上の回帰タスクとして,プロンプトと応答のペア関係を学習する。
人間の評価は、連続した空間でタスクを学習すると、関連性と情報性の両方を持つ応答が生成されることを示した。
論文 参考訳（メタデータ） (2020-10-04T19:06:16Z) - Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason
Over Implicit Knowledge [96.92252296244233]
大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。
本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。
我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
論文 参考訳（メタデータ） (2020-06-11T17:02:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。