論文の概要: Explainable Verbal Reasoner Plus (EVR+): A Natural Language Reasoning
Framework that Supports Diverse Compositional Reasoning
- arxiv url: http://arxiv.org/abs/2305.00061v1
- Date: Fri, 28 Apr 2023 19:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 17:28:23.388401
- Title: Explainable Verbal Reasoner Plus (EVR+): A Natural Language Reasoning
Framework that Supports Diverse Compositional Reasoning
- Title（参考訳）: Explainable Verbal Reasoner Plus (EVR+): 多様な構成推論をサポートする自然言語推論フレームワーク
- Authors: Zhengzhong Liang, Zeyu Zhang, Steven Bethard, Mihai Surdeanu
- Abstract要約: 本稿では,言語モデルの合成推論能力を高めるための推論フレームワークであるExplainable Verbal Reasoner Plus(EVR+)を提案する。
私たちのフレームワークは、ネストループや異なるタイプの再帰といった、より多様な推論をサポートします。
その結果,5つのタスクにおける言語モデルの合成一般化性能を向上させることができることがわかった。
- 参考スコア（独自算出の注目度）: 41.99368317059466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Languages models have been successfully applied to a variety of reasoning
tasks in NLP, yet the language models still suffer from compositional
generalization. In this paper we present Explainable Verbal Reasoner Plus
(EVR+), a reasoning framework that enhances language models' compositional
reasoning ability by (1) allowing the model to explicitly generate and execute
symbolic operators, and (2) allowing the model to decompose a complex task into
several simpler ones in a flexible manner. Compared with its predecessor
Explainable Verbal Reasoner (EVR) and other previous approaches adopting
similar ideas, our framework supports more diverse types of reasoning such as
nested loops and different types of recursion. To evaluate our reasoning
framework, we build a synthetic dataset with five tasks that require
compositional reasoning. Results show that our reasoning framework can enhance
the language model's compositional generalization performance on the five
tasks, using a fine-tuned language model. We also discussed the possibility and
the challenges to combine our reasoning framework with a few-shot prompted
language model.
- Abstract（参考訳）: 言語モデルは、NLPにおける様々な推論タスクにうまく適用されてきたが、言語モデルは依然として構成的一般化に悩まされている。
本稿では,(1)モデルが記号演算子を明示的に生成・実行し,(2)モデルが複雑なタスクを柔軟に複数の単純なタスクに分解できるようにすることにより,言語モデルの合成推論能力を向上する推論フレームワークであるExplainable Verbal Reasoner Plus(EVR+)を提案する。
従来の Explainable Verbal Reasoner (EVR) や他の類似のアイデアを取り入れたアプローチと比較して、我々のフレームワークはネストループや異なるタイプの再帰のようなより多様な推論をサポートする。
推論フレームワークを評価するために、合成推論を必要とする5つのタスクからなる合成データセットを構築します。
その結果,5つのタスクにおける言語モデルの構成一般化性能を,微調整言語モデルを用いて向上させることができることがわかった。
また、推論フレームワークと数発のトリガー言語モデルを組み合わせる可能性と課題についても論じました。
関連論文リスト
- STREET: A Multi-Task Structured Reasoning and Explanation Benchmark [56.555662318619135]
マルチタスクとマルチドメインの自然言語推論と説明ベンチマークを統一的に導入する。
我々は、モデルが質問に答えるだけでなく、ある解の正しさを証明できる中間的な結論を生成するために、問題の前提がどのように使われているかを記述する、段階的に構造化された説明を生成することを期待している。
論文 参考訳（メタデータ） (2023-02-13T22:34:02Z) - Unifying Structure Reasoning and Language Model Pre-training for Complex
Reasoning [26.811507121199323]
本稿では,明示的な構造推論と言語事前学習を組み合わせ,PLMと構造推論のスキルを融合した統合学習フレームワークを提案する。
まず、コンテクスト内のいくつかの基本構造を識別し、構造化されたクエリを構築し、クエリに沿ってステップバイステップの推論を行い、回答エンティティを識別する。
4つのデータセットに対する実験結果から,提案モデルが多様構造を含む複雑な推論タスクにおいて,大幅な改善を達成できることが示されている。
論文 参考訳（メタデータ） (2023-01-21T08:18:11Z) - Disentangling Reasoning Capabilities from Language Models with
Compositional Reasoning Transformers [72.04044221898059]
ReasonFormerは、人間のモジュール的および構成的推論プロセスを反映するための統一的な推論フレームワークである。
表現モジュール(自動思考)と推論モジュール(制御思考)は、異なるレベルの認知を捉えるために切り離される。
統一された推論フレームワークは、単一のモデルで複数のタスクを解決し、エンドツーエンドでトレーニングされ、推論される。
論文 参考訳（メタデータ） (2022-10-20T13:39:55Z) - Learning to Reason With Relational Abstractions [65.89553417442049]
関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。
このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2022-10-06T00:27:50Z) - One for All: One-stage Referring Expression Comprehension with Dynamic
Reasoning [11.141645707535599]
推論状態と表現の複雑さに基づいて推論ステップを動的に調整できる動的多段階推論ネットワークを提案する。
この作業は、いくつかのRECデータセットの最先端のパフォーマンスや大幅な改善を実現する。
論文 参考訳（メタデータ） (2022-07-31T04:51:27Z) - Selection-Inference: Exploiting Large Language Models for Interpretable
Logical Reasoning [14.663216851932646]
言語モデルは1ステップの推論タスクでかなりうまく機能する傾向があるが、より複雑な問題を解決するために複数の推論ステップをチェーン化するのに苦労している。
本稿では,事前学習したLLMを汎用処理モジュールとして活用する選択推論(SI)フレームワークを提案する。
5ショットの一般化設定でSIフレームワーク内で使用する 7B パラメータ LLM が微調整なしで,100% 以上の性能向上が得られることを示す。
論文 参考訳（メタデータ） (2022-05-19T17:25:28Z) - Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。
実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
論文 参考訳（メタデータ） (2022-01-28T02:33:07Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳（メタデータ） (2020-09-01T23:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。