論文の概要: Explaining Question Answering Models through Text Generation
- arxiv url: http://arxiv.org/abs/2004.05569v1
- Date: Sun, 12 Apr 2020 09:06:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 04:55:16.136771
- Title: Explaining Question Answering Models through Text Generation
- Title(参考訳): テキスト生成による質問応答モデルの説明
- Authors: Veronica Latcinnik, Jonathan Berant
- Abstract要約: 大規模な事前学習言語モデル(LM)は、常識と世界知識を必要とするタスクを微調整するときに驚くほどうまく機能することが示されている。
エンドツーエンドのアーキテクチャで正しい予測ができるような、LMの知識が何であるかを説明するのは難しい。
エンド・ツー・エンドのアーキテクチャに匹敵するパフォーマンスに達するタスクをいくつか示します。
- 参考スコア(独自算出の注目度): 42.36596190720944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large pre-trained language models (LMs) have been shown to perform
surprisingly well when fine-tuned on tasks that require commonsense and world
knowledge. However, in end-to-end architectures, it is difficult to explain
what is the knowledge in the LM that allows it to make a correct prediction. In
this work, we propose a model for multi-choice question answering, where a
LM-based generator generates a textual hypothesis that is later used by a
classifier to answer the question. The hypothesis provides a window into the
information used by the fine-tuned LM that can be inspected by humans. A key
challenge in this setup is how to constrain the model to generate hypotheses
that are meaningful to humans. We tackle this by (a) joint training with a
simple similarity classifier that encourages meaningful hypotheses, and (b) by
adding loss functions that encourage natural text without repetitions. We show
on several tasks that our model reaches performance that is comparable to
end-to-end architectures, while producing hypotheses that elucidate the
knowledge used by the LM for answering the question.
- Abstract(参考訳): 大規模な事前学習言語モデル(LM)は、常識と世界知識を必要とするタスクを微調整すると驚くほどうまく機能することが示されている。
しかし、エンドツーエンドアーキテクチャでは、正確な予測を可能にするLMの知識が何であるかを説明することは困難である。
そこで本研究では,LMをベースとした生成器が,後に分類器が質問に答えるために使用するテキスト仮説を生成する,多選択質問応答モデルを提案する。
この仮説は、人間が検査できる微調整lmによって使用される情報への窓を提供する。
このセットアップにおける重要な課題は、モデルに人間にとって意味のある仮説を生成するよう制約する方法である。
私たちはこれに取り組む
(a)有意義な仮説を奨励する単純な類似性分類器による共同訓練、及び
(b) 繰り返しなしで自然文を奨励する損失関数を追加する。
我々は,本モデルがエンド・ツー・エンドアーキテクチャに匹敵する性能を達成する上で,LMが疑問に答えるために使用する知識を解明する仮説を提示する。
関連論文リスト
- A Hypothesis-Driven Framework for the Analysis of Self-Rationalising
Models [0.8702432681310401]
我々はベイジアンネットワークを用いて、タスクの解決方法に関する仮説を実装している。
結果のモデルはGPT-3.5と強い類似性は示さない。
今後の作業において、LCM決定をよりよく近似するフレームワークの可能性だけでなく、これの意味についても論じる。
論文 参考訳(メタデータ) (2024-02-07T12:26:12Z) - R-Tuning: Teaching Large Language Models to Refuse Unknown Questions [68.60002086172133]
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
このアプローチは、まずパラメトリック知識と命令チューニングデータの間の知識ギャップを識別することによって定式化される。
実験により、この新しい命令チューニングアプローチは、既知の質問に答えるモデルの能力を効果的に改善することを示した。
論文 参考訳(メタデータ) (2023-11-16T08:45:44Z) - Towards a Mechanistic Interpretation of Multi-Step Reasoning
Capabilities of Language Models [107.07851578154242]
言語モデル(LM)は強力な多段階推論能力を持つ。
LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。
メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
論文 参考訳(メタデータ) (2023-10-23T01:47:29Z) - Zero-shot Commonsense Question Answering with Cloze Translation and
Consistency Optimization [20.14487209460865]
自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。
提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-01-01T07:12:49Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z) - Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason
Over Implicit Knowledge [96.92252296244233]
大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。
本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。
我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
論文 参考訳(メタデータ) (2020-06-11T17:02:20Z) - oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。
基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
論文 参考訳(メタデータ) (2019-12-31T12:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。