Fugu-MT 論文翻訳(概要): SoLA: Solver-Layer Adaption of LLM for Better Logic Reasoning

論文の概要: SoLA: Solver-Layer Adaption of LLM for Better Logic Reasoning

arxiv url: http://arxiv.org/abs/2402.11903v1
Date: Mon, 19 Feb 2024 07:38:57 GMT
ステータス: 処理完了
システム内更新日: 2024-02-20 17:52:26.422536
Title: SoLA: Solver-Layer Adaption of LLM for Better Logic Reasoning
Title（参考訳）: SoLA: より良い論理推論のためのLLMのソルバー層適応
Authors: Yu Zhang, Hui-Ling Zhen, Zehua Pei, Yingzhao Lian, Lihao Yin, Mingxuan Yuan, Bei Yu
Abstract要約: そこで我々は,大言語モデルの新たな層としてソルバを導入し,新しいソルバ層適応法(SoLA)を提案する。 SoLAは、自然言語で記述された検索空間を理解し、高品質のローカルソリューションを特定することを目的としている。既存の記号解法に対する一貫した性能を実証的に実証する。
参考スコア（独自算出の注目度）: 12.402431071735446
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Considering the challenges faced by large language models (LLMs) on logical reasoning, prior efforts have sought to transform problem-solving through tool learning. While progress has been made on small-scale problems, solving industrial cases remains difficult due to their large scale and intricate expressions. In this paper, we propose a novel solver-layer adaptation (SoLA) method, where we introduce a solver as a new layer of the LLM to differentially guide solutions towards satisfiability. In SoLA, LLM aims to comprehend the search space described in natural language and identify local solutions of the highest quality, while the solver layer focuses solely on constraints not satisfied by the initial solution. Leveraging MaxSAT as a bridge, we define forward and backward transfer gradients, enabling the final model to converge to a satisfied solution or prove unsatisfiability. The backdoor theory ensures that SoLA can obtain accurate solutions within polynomial loops. We evaluate the performance of SoLA on various datasets and empirically demonstrate its consistent outperformance against existing symbolic solvers (including Z3 and Kissat) and tool-learning methods in terms of efficiency in large-scale problem-solving.
Abstract（参考訳）: 論理推論における大規模言語モデル(llm)が直面する課題を考えると、以前の取り組みはツール学習による問題解決の転換を試みてきた。小規模な問題では進展が見られるが, 大規模かつ複雑な表現のため, 産業ケースの解決は依然として困難である。本稿では,LLMの新たな層として解法を導入し,解法を満足度に導出する,新しい解法層適応法(SoLA)を提案する。 SoLAでは、LLMは自然言語で記述された探索空間を理解し、最高品質の局所解を識別することを目的としており、解法層は初期解が満たさない制約にのみ焦点をあてている。 MaxSATを橋梁として利用し、前方および後方移行勾配を定義し、最終モデルが満足した解に収束したり、満足できないことを証明できる。バックドア理論は、SoLAが多項式ループ内で正確な解を得ることができることを保証している。我々は,様々なデータセット上でのSoLAの性能を評価し,既存の記号解法(Z3やKissatを含む)やツール学習法に対して,大規模問題解決における効率性の観点から,その一貫した性能を実証的に実証した。

関連論文リスト

Reasoning-as-Logic-Units: Scaling Test-Time Reasoning in Large Language Models Through Logic Unit Alignment [21.12989936864145]
CoT(Chain-of-Thought)のプロンプトによって,大規模言語モデル(LLM)の推論能力の向上が期待できる。本稿では、生成したプログラムと対応するNL記述との間に論理単位を整列させることにより、より信頼性の高い推論経路を構築するReasoning-as-Logic-Units (RaLU)を提案する。
論文参考訳（メタデータ） (2025-02-05T08:23:18Z)
ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning [92.76959707441954]
我々はLLM推論性能を評価するための総合的な評価フレームワークであるZebraLogicを紹介した。 ZebraLogicは、制御可能で定量化可能な複雑さを持つパズルの生成を可能にする。その結果,複雑性が増大するにつれて,精度が著しく低下することが明らかとなった。
論文参考訳（メタデータ） (2025-02-03T06:44:49Z)
Systematic Analysis of LLM Contributions to Planning: Solver, Verifier, Heuristic [6.687149103409949]
大規模言語モデル(LLM)が計画問題の解決にどのように貢献するかを系統的に分析する。解析の結果,LLMは最適計画を生成するのが難しいが,中間/不完全解に対してフィードバック信号を提供するのがはるかに優れていることがわかった。
論文参考訳（メタデータ） (2024-12-12T18:16:46Z)
Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning [40.069109287947875]
我々はフォレスト・オブ・サート(FoT)と呼ばれる新しい推論フレームワークを提案する。 FoTは複数の推論木を統合し、複雑な論理問題を解くために集合的な意思決定を活用する。本稿では,リアルタイムの誤り訂正を可能にする動的自己補正戦略と,コンセンサス誘導による意思決定戦略を導入する。
論文参考訳（メタデータ） (2024-12-12T09:01:18Z)
Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
論文参考訳（メタデータ） (2024-11-21T04:23:17Z)
RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
論文参考訳（メタデータ） (2024-11-04T00:01:34Z)
Leveraging LLMs for Hypothetical Deduction in Logical Inference: A Neuro-Symbolic Approach [11.400815134634016]
本稿では,忠実な論理的推論のためのニューロシンボリックアプローチであるLINAを紹介する。 LLMが命題論理抽出から洗練された論理推論への移行を自律的に行えるようにすることで、LINAは推論プロセスのレジリエンスを高める。実証的な評価は、LINAが確立された命題論理フレームワークと従来のプロンプト技術の両方を著しく上回っていることを示している。
論文参考訳（メタデータ） (2024-10-29T06:38:46Z)
Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up [9.42385235462794]
大規模言語モデル(LLM)は、推論タスクにおいて顕著な性能を示すが、数学的および複雑な論理的推論において制限に直面している。バッチ推論前のウォームアップフェーズにおいて,LLMの論理的推論能力を高めるために,Reversal of Thought (RoT)を提案する。 RoT は Preference-Guided Reverse Reasoning warm-up 戦略を利用している。
論文参考訳（メタデータ） (2024-10-16T07:44:28Z)
Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文参考訳（メタデータ） (2024-08-17T11:49:53Z)
Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文参考訳（メタデータ） (2024-06-20T13:08:09Z)
Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。