論文の概要: PEPS: Quantum-Inspired Reinforcement Learning for Coherent Reasoning Traces in LLMs

• arxiv url: http://arxiv.org/abs/2509.20105v1
• Date: Wed, 24 Sep 2025 13:29:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.826015
• Title: PEPS: Quantum-Inspired Reinforcement Learning for Coherent Reasoning Traces in LLMs
• Title（参考訳）: PEPS:LLMにおけるコヒーレント推論トレースのための量子インスパイアされた強化学習
• Authors: Venkat Margapuri, Garik Kazanjian, Naren Kosaraju,
• Abstract要約: 大規模言語モデル(LLM)は、コヒーレントな多段階推論トレースの維持にしばしば苦労する。 この研究は、忠実度に基づく報酬を組み込むことによって、この課題に対処する量子的に着想を得たアプローチを導入する。 提案手法は, 教師付き, コントラスト付き, 事前学習されたベースラインアプローチよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often struggle with maintaining coherent multi-step reasoning traces, particularly in tasks that require a structured logical flow. This work introduces a quantum-inspired approach to address the challenge by incorporating a fidelity-based reward derived from Projected Entangled Pair States (PEPS) into Proximal Policy Optimization. Unlike prior approaches that use direct supervision or contrastive objectives, the proposed method guides learning through structural consistency, offering a novel approach to enforce global coherence in generated reasoning traces. The proposed framework is evaluated using multiple coherence-determining metrics on diverse datasets such as GSM8K, StrategyQA, and EntailmentBank spanning arithmetic, intuitive, and entailment-based reasoning. Results show that the proposed quantum-inspired approach offers significant improvements over supervised, contrastive, and pretrained baseline approaches, highlighting the effectiveness of quantum-inspired fidelity as a foundation to improve reasoning trace coherence in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に構造化論理フローを必要とするタスクにおいて、コヒーレントな多段階推論トレースの維持に苦慮することが多い。 この研究は、プロジェクテッド・エンタングルド・ペアステート(PEPS)から導かれる忠実度に基づく報酬を近似ポリシー最適化に組み込むことによって、この問題に量子的に着想を得たアプローチを導入する。 直接監督や対照的な目的を用いた従来の手法とは異なり、提案手法は構造的整合性を通じて学習を誘導し、生成された推論トレースにグローバルな一貫性を強制するための新しいアプローチを提供する。 提案フレームワークは,GSM8K,StrategyQA,EntailmentBankなどの多種多様なデータセット上の複数のコヒーレンス決定指標を用いて,算術的,直観的,そしてエントリメントに基づく推論にまたがる評価を行う。 提案した量子インスパイアされたアプローチは、教師付き、対照的な、事前訓練されたベースラインアプローチよりも大幅に改善され、LLMにおける推論トレースコヒーレンスを改善する基盤としての量子インスパイアされた忠実性の有効性が強調された。

関連論文リスト

• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• RaCT: Ranking-aware Chain-of-Thought Optimization for LLMs [30.216174551427443]
  大規模言語モデル(LLM)は、テキスト再ランクタスクにおいて顕著な可能性を示している。 LLMをランク付けタスクに特化するための従来の微調整手法は、しばしばモデルの汎用能力を著しく低下させる。 本稿では,CoT(Chain-of-Thought)と革新的な2段階トレーニングパイプラインを戦略的に組み合わせた手法を提案する。
  論文  参考訳（メタデータ） (2024-12-18T23:24:15Z)
• Rethinking Chain-of-Thought from the Perspective of Self-Training [10.722453877596998]
  思考の連鎖(CoT)推論はLLMの潜在能力を活性化するための効果的なアプローチとして現れている。 推論性能を改善するための新しいCoTフレームワークを提案する。 本フレームワークは,初期推論プロセスを最適化するタスク固有のプロンプトモジュールと,動的に推論プロセスを洗練させる適応推論モジュールの2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-12-14T13:12:50Z)
• Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought [61.588465852846646]
  大型言語モデル(LLM)の性能向上のための有望なアプローチとして、Chain-of-Thought(CoT)推論が登場した。 本稿では,これらの課題に対処するための新しい推論境界フレームワーク(RBF)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T05:26:28Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。