論文の概要: Assessing Logical Reasoning Capabilities of Encoder-Only Transformer
Models
- arxiv url: http://arxiv.org/abs/2312.11720v1
- Date: Mon, 18 Dec 2023 21:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 17:47:54.448953
- Title: Assessing Logical Reasoning Capabilities of Encoder-Only Transformer
Models
- Title(参考訳): エンコーダのみ変換器モデルの論理推論能力の評価
- Authors: Paulo Pirozelli, Marcos M. Jos\'e, Paulo de Tarso P. Filho, Anarosa A.
F. Brand\~ao, Fabio G. Cozman
- Abstract要約: 本稿では,エンコーダのみのトランスフォーマー言語モデル (LM) が論理規則に従ってどの程度理にかなっているかを検討する。
様々なデータセットの論理的妥当性を決定するために,エンコーダのみのLMを適度に訓練できることを示す。
これらのデータセット上で微調整されたモデルをクロスプロブすることで、LMはそれらの仮定的論理的推論能力の伝達が困難であることを示す。
- 参考スコア(独自算出の注目度): 0.13980986259786224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Logical reasoning is central to complex human activities, such as thinking,
debating, and planning; it is also a central component of many AI systems as
well. In this paper, we investigate the extent to which encoder-only
transformer language models (LMs) can reason according to logical rules. We ask
whether those LMs can deduce theorems in propositional calculus and first-order
logic; if their relative success in these problems reflects general logical
capabilities; and which layers contribute the most to the task. First, we show
for several encoder-only LMs that they can be trained, to a reasonable degree,
to determine logical validity on various datasets. Next, by cross-probing
fine-tuned models on these datasets, we show that LMs have difficulty in
transferring their putative logical reasoning ability, which suggests that they
may have learned dataset-specific features, instead of a general capability.
Finally, we conduct a layerwise probing experiment, which shows that the
hypothesis classification task is mostly solved through higher layers.
- Abstract(参考訳): 論理的推論は思考、議論、計画といった複雑な人間の活動の中心であり、多くのAIシステムの中心的なコンポーネントでもある。
本稿では,エンコーダのみのトランスフォーマー言語モデル (LM) が論理規則に則ってどの程度理屈を導けるかを検討する。
これらのlmsが命題計算と一階述語論理の定理を推論できるか、それらの問題の相対的成功が一般的な論理能力を反映しているのか、どの層がそのタスクに最も寄与するかを問う。
まず,複数のエンコーダのみのLMを適度に訓練して,様々なデータセットの論理的妥当性を判定できることを示す。
次に、これらのデータセット上で微調整されたモデルをクロスプロファイリングすることにより、LMはそれらの仮定的論理的推論能力の伝達に困難を持つことを示す。
最後に,階層的探索実験を行い,仮説分類タスクがより上位層を通じて解かれることを示した。
関連論文リスト
- Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating
LLMs' Mathematical and Coding Competency through Ontology-guided
Interventions [50.68293377521595]
大規模言語モデル(LLM)は論理的推論ベンチマークで顕著な結果を示した。
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
質問に対して、すべてのモデルで大幅なパフォーマンス低下を見せています。
論文 参考訳(メタデータ) (2024-01-17T18:13:07Z) - Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof
Generation with Contrastive Stepwise Decoding [11.385103498440932]
本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。
EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
論文 参考訳(メタデータ) (2023-11-12T05:12:49Z) - Language Models can be Logical Solvers [99.40649402395725]
論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。
LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
論文 参考訳(メタデータ) (2023-11-10T16:23:50Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Learning Deductive Reasoning from Synthetic Corpus based on Formal Logic [14.503982715625902]
本研究では,言語モデル(LM)に対する合成コーパスに基づくアプローチについて検討し,論理的帰納的推論能力を得る。
形式論理理論に基づく推論規則は,多段階的に組み合わせることで,他の推論規則を導出することができる。
我々は、FLDコーパスで訓練されたLMがより一般化可能な推論能力を取得することを実証的に検証した。
論文 参考訳(メタデータ) (2023-08-11T13:15:35Z) - Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。
我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。
2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文 参考訳(メタデータ) (2023-05-23T06:13:10Z) - Query Structure Modeling for Inductive Logical Reasoning Over Knowledge
Graphs [67.043747188954]
KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。
線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。
2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-05-23T01:25:29Z) - Differentiable Logic Machines [38.21461039738474]
微分可能論理マシン(DLM)と呼ばれる新しいニューラル論理アーキテクチャを提案する。
DLMは帰納論理プログラミング(ILP)と強化学習(RL)の両方の問題を解くことができる。
解釈可能な解を必要としないRL問題では、DLMは他の解釈不可能なニューラル論理的RLアプローチよりも優れている。
論文 参考訳(メタデータ) (2021-02-23T07:31:52Z) - oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。
基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
論文 参考訳(メタデータ) (2019-12-31T12:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。