論文の概要: Adaptive Selection of Symbolic Languages for Improving LLM Logical Reasoning
- arxiv url: http://arxiv.org/abs/2510.10703v1
- Date: Sun, 12 Oct 2025 17:04:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:30.076109
- Title: Adaptive Selection of Symbolic Languages for Improving LLM Logical Reasoning
- Title(参考訳): LLM論理推論改善のための記号型言語の適応的選択
- Authors: Xiangyu Wang, Haocheng Yang, Fengxiang Cheng, Fenrong Liu,
- Abstract要約: 本稿では、異なるNL論理的推論問題と翻訳のための最適なSL形式とが一致することを主張し、検証する。
本稿では,翻訳前の各問題に対して最適なSLを適応的に選択することで,大規模言語モデルの論理的推論性能を向上させる手法を提案する。
提案手法は96%の精度を達成し,一階述語論理翻訳の2番目に高い精度に比べて25%向上した。
- 参考スコア(独自算出の注目度): 1.8127437064374707
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Large Language Models (LLMs) still struggle with complex logical reasoning. While previous works achieve remarkable improvements, their performance is highly dependent on the correctness of translating natural language (NL) problems into a symbolic language (SL). Though numerous works focusing on improving this translation accuracy, they only consider the similarity between the meaning of SL and NL, overlooking another crucial influencing factor, the selection of the target SL type itself. For example, first-order logic language specializes in logical reasoning with categorical syllogisms and complex quantifiers, while Boolean satisfiability formalism excels at representing constraint satisfaction like partial problems. To our knowledge, this is the first paper to claim and verify that different NL logical reasoning problem corresponds to different optimal SL formalization for translation. Based on this, we propose a methods to improve the logical reasoning performance of LLMs by adaptively selecting the most suitable SL for each problem prior to translation. Specifically, we leverage LLMs to select the target SL among first-order logic, logic programming and Boolean satisfiability and then translate the problem in NL to target SL expressions as well as employ the corresponding logical solver to derive the final answer. Experimental results on benchmarks show that our adaptive selection method significantly outperforms translating all into single SL and randomly selecting the SL. On a mixed dataset of these benchmarks, our approach achieves 96% accuracy, which improving performance by 25% compared to the second highest accuracy from the first-order logic translation.
- Abstract(参考訳): 大規模言語モデル(LLM)は複雑な論理的推論に苦しむ。
従来の研究は目覚ましい改善を達成しているが、その性能は自然言語(NL)問題を記号言語(SL)に変換することの正しさに大きく依存している。
この翻訳精度の向上に焦点を当てた多くの研究は、SLとNLの意味の類似性のみを考慮し、別の重要な影響要因であるターゲットSLタイプ自体の選択を見越すのみである。
例えば、一階述語論理言語は分類的シロジズムと複素量化器による論理的推論を専門とし、ブール整合形式は部分問題のような制約的満足度を表現することに長けている。
我々の知る限りでは、異なるNL論理的推論問題と翻訳のための最適なSL形式が一致することを主張し、検証する最初の論文である。
そこで本研究では,LLMの論理的推論性能を向上させる手法を提案する。
具体的には、LLMを利用して、一階述語論理、論理プログラミング、ブール適合性の中から目的のSLを選択し、NLの問題をSL式に変換し、対応する論理解法を用いて最終解を導出する。
ベンチマーク実験の結果, 適応選択法は, 全てを単一SLに変換し, ランダムに選択する手法よりも優れていた。
これらのベンチマークの混合データセットでは,1次論理変換の2番目に高い精度と比較して,性能を25%向上させるため,96%の精度が得られた。
関連論文リスト
- Making Mathematical Reasoning Adaptive [61.45161826629692]
大規模言語モデル(LLM)における適応推論を実現するためのAdaRフレームワークを提案する。
AdaRは可変値によって論理的に等価なクエリを合成し、これらのデータに基づいてRLVRでモデルを訓練し、スプリアス論理をペナルライズする。
実験により, AdaRはロバスト性や一般化を向上し, 数学的推論の大幅な改善を実現していることが示された。
論文 参考訳(メタデータ) (2025-10-06T09:30:05Z) - LOGICPO: Efficient Translation of NL-based Logical Problems to FOL using LLMs and Preference Optimization [6.173941239083289]
本稿では、選好最適化データセットにファインタニングを用いて、自然言語問題全体を一貫した論理プログラムに解析し、表現することを提案する。
Phi-3.5による最良のモデルでは、GPT-3.5-turboよりも10%精度が高く、構文エラーが14%少ない。
論文 参考訳(メタデータ) (2025-06-23T08:15:24Z) - Intermediate Languages Matter: Formal Choice Drives Neurosymbolic LLM Reasoning [50.99811144731619]
形式言語の選択は構文的および意味論的推論能力の両方に影響を及ぼすことを示す。
平均的な文脈認識エンコーディングはLCMの推論に役立つが、コメントやマークダウン構文を使うことによる明らかな影響はない、と結論付けている。
論文 参考訳(メタデータ) (2025-02-24T14:49:52Z) - Divide and Translate: Compositional First-Order Logic Translation and Verification for Complex Logical Reasoning [28.111458981621105]
複雑な論理的推論タスクは、長い推論を必要とするが、それは、チェーン・オブ・シークレットのプロンプトを持つ大きな言語モデル(LLM)が依然として不足している。
本稿では,翻訳中に自然言語に隠された論理的意味を抽出する合成一階論理翻訳を提案する。
提案手法は,CLOVERと呼ばれる7つの論理的推論ベンチマークを用いて評価し,従来のニューロシンボリックアプローチよりも優れていたことを示す。
論文 参考訳(メタデータ) (2024-10-10T15:42:39Z) - A Closer Look at Logical Reasoning with LLMs: The Choice of Tool Matters [8.178862820609297]
論理的推論へのアプローチの性能のばらつきが、採用法や特定の記号解法に起因しているかどうかは不明である。
Z3,Pyke,Prover9の3つの帰納的推論ベンチマークとLarge Language Modelsを併用した実験を行った。
異なるLLMによって生成される記号翻訳のツール実行速度は、ほぼ50%の性能変化を示す。
論文 参考訳(メタデータ) (2024-06-01T03:29:56Z) - Autoformalizing Natural Language to First-Order Logic: A Case Study in Logical Fallacy Detection [44.31755414036022]
自然言語をFOLに自動変換するフレームワークであるNL2FOLについて,Large Language Models (LLMs) を用いて段階的に導入する。
本手法は,暗黙の背景知識の統合など,翻訳プロセスにおける重要な課題に対処する。
ニューロシンボリックなアプローチでは、推論プロセスに対する解釈可能な洞察も提供し、モデル微調整やラベル付きトレーニングデータを必要とせずに堅牢性を示す。
論文 参考訳(メタデータ) (2024-04-18T00:20:48Z) - LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。
提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。
GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
論文 参考訳(メタデータ) (2024-01-01T13:53:53Z) - Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs [95.07757789781213]
LLMの複雑な推論には2行のアプローチが採用されている。
1行の作業は様々な推論構造を持つLLMを誘導し、構造出力は自然に中間推論ステップと見なすことができる。
他方の行では、LCMのない宣言的解法を用いて推論処理を行い、推論精度は向上するが、解法のブラックボックスの性質により解釈性に欠ける。
具体的には,Prologインタプリタが生成した中間検索ログにアクセスし,人間可読推論に解釈可能であることを示す。
論文 参考訳(メタデータ) (2023-11-16T11:26:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。