論文の概要: Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions

• arxiv url: http://arxiv.org/abs/2502.12616v1
• Date: Tue, 18 Feb 2025 07:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:02:57.172918
• Title: Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions
• Title（参考訳）: 擬似シンボリック抽象化によるチェーン・オブ・ソート推論の改善
• Authors: Leonardo Ranaldi, Marco Valentino, Alexander Polonsky, Andrè Freitas,
• Abstract要約: CoT(Chain-of-Though)は、大規模言語モデルにおける推論のための一般的な戦略である。 準シンボリックな説明を通じて,LLMを高レベルの抽象化で動作させる,CoTのバリエーションであるQuaSARを提案する。 実験の結果,準記号的抽象化はCoT法を最大8%精度で改善できることがわかった。
• 参考スコア（独自算出の注目度）: 45.950841507164064
• License:
• Abstract: Chain-of-Though (CoT) represents a common strategy for reasoning in Large Language Models (LLMs) by decomposing complex tasks into intermediate inference steps. However, explanations generated via CoT are susceptible to content biases that negatively affect their robustness and faithfulness. To mitigate existing limitations, recent work has proposed using logical formalisms coupled with external symbolic solvers. However, fully symbolic approaches possess the bottleneck of requiring a complete translation from natural language to formal languages, a process that affects efficiency and flexibility. To achieve a trade-off, this paper investigates methods to disentangle content from logical reasoning without a complete formalisation. In particular, we present QuaSAR (for Quasi-Symbolic Abstract Reasoning), a variation of CoT that guides LLMs to operate at a higher level of abstraction via quasi-symbolic explanations. Our framework leverages the capability of LLMs to formalise only relevant variables and predicates, enabling the coexistence of symbolic elements with natural language. We show the impact of QuaSAR for in-context learning and for constructing demonstrations to improve the reasoning capabilities of smaller models. Our experiments show that quasi-symbolic abstractions can improve CoT-based methods by up to 8% accuracy, enhancing robustness and consistency on challenging adversarial variations on both natural language (i.e. MMLU-Redux) and symbolic reasoning tasks (i.e., GSM-Symbolic).
• Abstract（参考訳）: CoT(Chain-of-Though)は、複雑なタスクを中間推論ステップに分解することで、LLM(Large Language Models)における推論のための一般的な戦略である。 しかし、CoTによって生成された説明は、その堅牢性と忠実性に悪影響を及ぼすコンテンツバイアスに影響を受けやすい。 既存の制限を緩和するために、最近の研究は論理形式と外的記号解法を併用して提案されている。 しかし、完全に象徴的なアプローチは、効率と柔軟性に影響を与えるプロセスである自然言語から形式言語への完全な翻訳を必要とするボトルネックを持っている。 そこで本研究では,論理的推論からコンテンツを引き離す手法について,完全な形式化を伴わずに検討する。 特に、準シンボリックな説明を通じてLLMを高レベルの抽象化で動作させるCoTのバリエーションであるQuaSAR(Quasi-Symbolic Abstract Reasoning)を提案する。 我々のフレームワークは、LLMの能力を活用して、関連する変数と述語のみを形式化し、自然言語との記号的要素の共存を可能にする。 In-context Learning に対する QuaSAR の影響と,より小さなモデルの推論能力を向上させるための実演の構築について述べる。 実験の結果, 準記号的抽象化は, 自然言語(MMLU-Redux)とシンボリック推論タスク(GSM-Symbolic)の両方において, 強靭性と整合性を向上し, 最大8%の精度でCoTベースの手法を改善することができることがわかった。

関連論文リスト

• Proof of Thought : Neurosymbolic Program Synthesis allows Robust and Interpretable Reasoning [1.3003982724617653]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、一貫性のない推論に苦戦している。 本研究では,LLM出力の信頼性と透明性を高めるフレームワークであるProof of Thoughtを紹介する。 主な貢献は、論理的整合性を高めるためのソート管理を備えた堅牢な型システム、事実的知識と推論的知識を明確に区別するための規則の明示である。
  論文  参考訳（メタデータ） (2024-09-25T18:35:45Z)
• Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding [10.421832675327712]
  本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。 EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
  論文  参考訳（メタデータ） (2023-11-12T05:12:49Z)
• Meta-Reasoning: Semantics-Symbol Deconstruction for Large Language Models [34.22393697176282]
  実世界の象徴的手法の適用性と適応性を広げるためのメタ推論を提案する。 この方法はLLMに対して、推論に依存しない意味情報を汎用的な記号表現に分解する権限を与える。 我々は、算術、記号、論理的推論といった従来の推論タスクを含む10以上のデータセットと、理論の推論のようなより複雑な対話的推論タスクに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2023-06-30T17:38:10Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Improved Logical Reasoning of Language Models via Differentiable Symbolic Programming [12.984852480664378]
  事前訓練された大規模言語モデル(LM)は、スケールと構成性の進歩にもかかわらず、論理的推論を確実に行うのに苦労する。 本稿では,DSR-LMを提案する。DSR-LMは,事前学習したLMが事実知識の認識を制御し,帰納的推論を行う,微分可能なシンボリック推論フレームワークである。
  論文  参考訳（メタデータ） (2023-05-05T07:24:46Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。