論文の概要: Improved Logical Reasoning of Language Models via Differentiable
Symbolic Programming
- arxiv url: http://arxiv.org/abs/2305.03742v1
- Date: Fri, 5 May 2023 07:24:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 19:41:00.112944
- Title: Improved Logical Reasoning of Language Models via Differentiable
Symbolic Programming
- Title(参考訳): 微分可能シンボリックプログラミングによる言語モデルの論理的推論の改善
- Authors: Hanlin Zhang, Jiani Huang, Ziyang Li, Mayur Naik, Eric Xing
- Abstract要約: 事前訓練された大規模言語モデル(LM)は、スケールと構成性の進歩にもかかわらず、論理的推論を確実に行うのに苦労する。
本稿では,DSR-LMを提案する。DSR-LMは,事前学習したLMが事実知識の認識を制御し,帰納的推論を行う,微分可能なシンボリック推論フレームワークである。
- 参考スコア(独自算出の注目度): 12.984852480664378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained large language models (LMs) struggle to perform logical reasoning
reliably despite advances in scale and compositionality. In this work, we
tackle this challenge through the lens of symbolic programming. We propose
DSR-LM, a Differentiable Symbolic Reasoning framework where pre-trained LMs
govern the perception of factual knowledge, and a symbolic module performs
deductive reasoning. In contrast to works that rely on hand-crafted logic
rules, our differentiable symbolic reasoning framework efficiently learns
weighted rules and applies semantic loss to further improve LMs. DSR-LM is
scalable, interpretable, and allows easy integration of prior knowledge,
thereby supporting extensive symbolic programming to robustly derive a logical
conclusion. The results of our experiments suggest that DSR-LM improves the
logical reasoning abilities of pre-trained language models, resulting in a
significant increase in accuracy of over 20% on deductive reasoning benchmarks.
Furthermore, DSR-LM outperforms a variety of competitive baselines when faced
with systematic changes in sequence length.
- Abstract(参考訳): 事前訓練された大規模言語モデル(LM)は、スケールと構成性の進歩にもかかわらず、論理的推論を確実に行うのに苦労する。
本研究では,この課題を記号プログラミングのレンズを通して解決する。
本稿では,事前学習されたlmsが事実知識の知覚を制御できる微分可能な記号推論フレームワークdsr-lmを提案する。
手作りの論理規則に依存する作業とは対照的に、我々の微分可能な記号推論フレームワークは、重み付けされた規則を効率よく学習し、意味的損失を適用してLMをさらに改善する。
DSR-LMはスケーラブルで解釈可能で、事前知識の容易な統合を可能にし、より広範な記号プログラミングをサポートし、論理的な結論をしっかりと導き出す。
実験の結果,dsr-lmは事前学習した言語モデルの論理推論能力を改善し,帰納的推論ベンチマークにおいて20%以上の精度向上が得られた。
さらに、DSR-LMは、配列長の体系的な変化に直面した場合に、様々な競争ベースラインより優れる。
関連論文リスト
- Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and
Improving LLMs [95.41575344721691]
大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。
しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。
本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T03:38:51Z) - LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。
近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
論文 参考訳(メタデータ) (2024-01-17T08:22:52Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [113.72984199026094]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
生成モデルのカウンターファクトの能力を効果的に評価するために,革新的な評価指標であるLogicAware Counterfactual Scoreを提案する。
分析の結果,提案手法は人間の好みとよく一致していることがわかった。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof
Generation with Contrastive Stepwise Decoding [11.385103498440932]
本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。
EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
論文 参考訳(メタデータ) (2023-11-12T05:12:49Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Meta-Reasoning: Semantics-Symbol Deconstruction for Large Language
Models [36.71701231399167]
実世界の象徴的手法の適用性と適応性を広げるためのメタ推論を提案する。
この方法はLLMに対して、推論に依存しない意味情報を汎用的な記号表現に分解する権限を与える。
我々は、算術、記号、論理的推論といった従来の推論タスクを含む10以上のデータセットと、理論の推論のようなより複雑な対話的推論タスクに関する広範な実験を行う。
論文 参考訳(メタデータ) (2023-06-30T17:38:10Z) - Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。
我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。
2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文 参考訳(メタデータ) (2023-05-23T06:13:10Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z) - The Impact of Symbolic Representations on In-context Learning for
Few-shot Reasoning [14.717238616181353]
論理プログラマとしての言語モデル(LMLP)は、論理規則とそれに対応する例を含む実演から学習し、知識ベース(KB)を反復的に理由づける。
実験により、LMLPはパラメータが少なくても長さ一般化ベンチマークでCoTよりも25%以上精度が高いことがわかった。
論文 参考訳(メタデータ) (2022-12-16T19:30:01Z) - LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。
人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。
LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
論文 参考訳(メタデータ) (2022-05-18T08:46:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。