論文の概要: Generating Hypothetical Events for Abductive Inference
- arxiv url: http://arxiv.org/abs/2106.03973v1
- Date: Mon, 7 Jun 2021 21:34:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 08:59:39.609295
- Title: Generating Hypothetical Events for Abductive Inference
- Title(参考訳): 帰納的推論のための仮説事象の生成
- Authors: Debjit Paul and Anette Frank
- Abstract要約: 仮説的なシナリオから次に起こりうることを生成するために、特殊言語モデルLMIを訓練する。
次に、Abductive NLI タスクを解決するためにマルチタスクモデル MTL を提案する。
我々の手動による評価と分析は、様々な仮説的シナリオから起こりうる次の事象の学習が帰納的推論を支持することを示唆している。
- 参考スコア(独自算出の注目度): 16.676036625561057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Abductive reasoning starts from some observations and aims at finding the
most plausible explanation for these observations. To perform abduction, humans
often make use of temporal and causal inferences, and knowledge about how some
hypothetical situation can result in different outcomes. This work offers the
first study of how such knowledge impacts the Abductive NLI task -- which
consists in choosing the more likely explanation for given observations. We
train a specialized language model LMI that is tasked to generate what could
happen next from a hypothetical scenario that evolves from a given event. We
then propose a multi-task model MTL to solve the Abductive NLI task, which
predicts a plausible explanation by a) considering different possible events
emerging from candidate hypotheses -- events generated by LMI -- and b)
selecting the one that is most similar to the observed outcome. We show that
our MTL model improves over prior vanilla pre-trained LMs fine-tuned on
Abductive NLI. Our manual evaluation and analysis suggest that learning about
possible next events from different hypothetical scenarios supports abductive
inference.
- Abstract(参考訳): 帰納的推論はいくつかの観測から始まり、これらの観測の最も妥当な説明を見つけることを目的としている。
誘拐を行うために、人間はしばしば時間的および因果推論を利用し、仮説的な状況がどのようにして異なる結果をもたらすかを知る。
この研究は、そのような知識が帰納的nliタスクにどのように影響するかに関する最初の研究を提供する。
特定のイベントから進化する仮説的なシナリオから次に起こり得ることを生成するために、特殊言語モデルLMIをトレーニングします。
次に、Abductive NLI タスクを解くためのマルチタスクモデル MTL を提案し、(a) 予測仮説から生じる可能性のある事象(LMI が生成する事象)と(b) 観測結果と最もよく似た事象を選択することを考える。
Abductive NLIで微調整したバニラ前訓練LMよりもMTLモデルが改善された。
我々の手動による評価と分析は、様々な仮説シナリオから起こりうる次の事象の学習が帰納的推論を支持することを示唆している。
関連論文リスト
- Dual Operating Modes of In-Context Learning [10.236144875390924]
In-context Learning (ICL)は、タスク学習とタスク検索という2つの操作モードを示す。
最近の理論的研究は、ICLを解析するための様々な数学的モデルについて研究している。
本稿では,ICLの二重動作モードを同時に説明できる確率モデルを提案する。
論文 参考訳(メタデータ) (2024-02-29T03:06:10Z) - Understanding the Reasoning Ability of Language Models From the
Perspective of Reasoning Paths Aggregation [117.32019595678771]
我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。
我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。
複数のKGおよびMWPデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
論文 参考訳(メタデータ) (2024-02-05T18:25:51Z) - Towards a Mechanistic Interpretation of Multi-Step Reasoning
Capabilities of Language Models [107.07851578154242]
言語モデル(LM)は強力な多段階推論能力を持つ。
LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。
メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
論文 参考訳(メタデータ) (2023-10-23T01:47:29Z) - Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of
Language Models with Hypothesis Refinement [95.10400704620797]
言語モデル(LM)は、しばしば帰納的推論に不足する。
我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。
本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
論文 参考訳(メタデータ) (2023-10-12T17:51:10Z) - Inverse Dynamics Pretraining Learns Good Representations for Multitask
Imitation [66.86987509942607]
このようなパラダイムを模倣学習でどのように行うべきかを評価する。
本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。
逆動力学モデリングはこの設定に適していると主張する。
論文 参考訳(メタデータ) (2023-05-26T14:40:46Z) - Abductive Commonsense Reasoning Exploiting Mutually Exclusive
Explanations [118.0818807474809]
帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。
自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。
この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:35:10Z) - Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text
Correspondence [45.9949173746044]
大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。
そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。
このタスクにより、PLMは語彙意味情報を学習することができる。
論文 参考訳(メタデータ) (2022-05-08T08:37:36Z) - Visual Abductive Reasoning [85.17040703205608]
帰納的推論は、部分的な観察の可能な限りの可能な説明を求める。
本稿では,日常的な視覚的状況下でのマシンインテリジェンスの帰納的推論能力を調べるために,新たなタスクとデータセットであるVisual Abductive Reasoning(VAR)を提案する。
論文 参考訳(メタデータ) (2022-03-26T10:17:03Z) - Explaining Question Answering Models through Text Generation [42.36596190720944]
大規模な事前学習言語モデル(LM)は、常識と世界知識を必要とするタスクを微調整するときに驚くほどうまく機能することが示されている。
エンドツーエンドのアーキテクチャで正しい予測ができるような、LMの知識が何であるかを説明するのは難しい。
エンド・ツー・エンドのアーキテクチャに匹敵するパフォーマンスに達するタスクをいくつか示します。
論文 参考訳(メタデータ) (2020-04-12T09:06:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。