論文の概要: Principled Thoughts for Latent Recursive LLM Systems

• arxiv url: http://arxiv.org/abs/2609.36159v1
• Date: Mon, 28 Sep 2026 19:29:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.971076
• Title: Principled Thoughts for Latent Recursive LLM Systems
• Title（参考訳）: 潜在再帰型LLMシステムの原理的考察
• Abstract要約: REST(Representation-Supervised Thoughts)は、有効な思考表現の4つのプロパティを差別化可能な損失に変換するトレーニング目標である。 エージェント設定とモデルサイズをまたいだCEのみのトレーニングよりも、最大7.5ポイントの精度向上と、最終回答の収束率の30%向上を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can reason in continuous space instead of decoded text, by recurring on their own hidden states or by passing those states between agents, while training supervises only the Cross-Entropy (CE) of the final decoded answer and does not constrain the thought. Theoretical and empirical analyses establish and confirm four failures of CE-only training that lead to a lower probability of the correct answer such as collapsing thoughts across distinct questions and retaining irrelevant information. We introduce REST (REpresentation-Supervised Thoughts), a training objective that turns four properties of a valid thought representation (causality, minimality, separability, and stability) into differentiable losses added to CE. We instantiate it in latent single-agent and multi-agent systems, without architectural changes or added parameters at inference. Across 7 benchmarks spanning mathematics, science, medicine, and code generation, with the same training data, compute, and latent budget, REST increases accuracy over CE-only training across agent settings and model sizes by up to 7.5 percentage points and convergence on a final answer by 30\%. Furthermore, REST thoughts encode more of what is required to achieve the correct answer, and decoding them better recovers the intended output of the agent, which makes latent communication easier to interpret. Project Website: https://fard-lab.github.io/REST
• Abstract（参考訳）: 大規模言語モデルは、復号されたテキストの代わりに連続的な空間で推論し、自分自身の隠れた状態を繰り返すか、エージェント間でそれらの状態を渡すことで推論することができるが、トレーニングは最終復号された回答のクロスエントロピー(CE)のみを監督し、思考を制約しない。 理論的および実証的な分析は、CEのみのトレーニングの4つの失敗を証明し、異なる質問にまたがって思考を崩壊させ、無関係な情報を保持するなど、正しい答えの確率を低くする。 REST(Representation-Supervised Thoughts)は、有効な思考表現(因果性、最小性、分離性、安定性)の4つの特性をCEに追加した差別化可能な損失に変換するトレーニング目標です。 アーキテクチャの変更や推論時のパラメータの追加なしに、潜時単エージェントとマルチエージェントシステムでインスタンス化する。 数学、科学、医学、コード生成にまたがる7つのベンチマークで、同じトレーニングデータ、計算、潜伏した予算で、RESTはエージェント設定とモデルサイズをまたいだCEのみのトレーニングを最大7.5ポイント、最終回答の収束率を30倍に向上させた。 さらに、RESTの考えは、正しい答えを達成するために必要となるものをエンコードし、それらをデコードすることで、エージェントの意図した出力をよりよく回復する。 プロジェクトウェブサイト:https://fard-lab.github.io/REST

関連論文リスト

• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment [2.8730465903425877]
  マルチモーダル文書QAにグループ相対ポリシー最適化を適用するトレーニングフレームワークであるPerception-RFTを紹介する。 推論可能なモデルは,4Bパラメータ尺度で直接知覚に基づくポリシーに収束して,学習中の推論トレースを抑制する。 初期のSFT$rightarrow$RLトランジションは65%のトレーニングデータで同等の精度を実現する。
  論文  参考訳（メタデータ） (2026-07-16T07:43:39Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Combining Trained Models in Reinforcement Learning [0.0]
  深層強化学習(DRL)は、AtariやGoといったドメインで大きな成果を上げているが、それでも高いサンプルコストとトレーニング環境を超えて、弱い移行に悩まされている。 一般的な反応は、転送、蒸留、アンサンブル法、フェデレーショントレーニングを通じて、以前に訓練されたモデルの情報を再利用することである。 本稿では、DRLにおける事前学習知識の再利用に関する実証的研究について、PRISMA指導による体系的レビューを行う。
  論文  参考訳（メタデータ） (2026-05-04T02:37:55Z)
• Incorporating Self-Rewriting into Large Language Model Reasoning Reinforcement [54.63337314382886]
  自己書き起こしフレームワークを導入し、モデルが独自の推論テキストを書き直し、その後、書き直し推論から学習し、内部思考プロセスの品質を向上させる。 アルゴリズム設計において、モデルの一貫した正当性によって定義される「単純な」サンプルのみを書き換える選択的な書き換え手法を提案する。 モデルサイズが異なる多様なタスクの実験は、自己書き換えの有効性を検証する。
  論文  参考訳（メタデータ） (2025-11-20T13:10:52Z)
• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
  本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
  論文  参考訳（メタデータ） (2025-10-02T02:00:20Z)
• Rethinking Reasoning Quality in Large Language Models through Enhanced Chain-of-Thought via RL [19.659532349434418]
  強化学習(Reinforcement Learning, RL)は、近年、大規模言語モデルの推論能力を強化する主要なパラダイムとなっている。 しかし、数学やプログラミングのベンチマークで一般的に使われるルールベースの報酬関数は、応答形式と正しさのみを評価する。 本稿では,報酬と有利な信号の両方を再生するプラグイン・アンド・プレイのRL報酬フレームワークであるDynamic Reasoning Efficiency Reward (DRER)を提案する。
  論文  参考訳（メタデータ） (2025-09-07T11:52:18Z)
• Inducing Faithfulness in Structured Reasoning via Counterfactual Sensitivity [6.908972852063454]
  大規模言語モデルは、欠陥や無関係な推論トレースに依存しながら、正しい答えを生成することが多い。 本稿では,新しい学習目標であるtextbfCounterfactual Sensitivity Regularization (CSR)を紹介する。 CSRは、標準的な微調整とプロセスの監督に対する忠実度を最大70パーセント向上させる。
  論文  参考訳（メタデータ） (2025-09-01T15:18:46Z)
• What makes Reasoning Models Different? Follow the Reasoning Leader for Efficient Decoding [84.42056293290015]
  推論モデルと非推論モデルの間のトークンレベルのミスアライメントを分析する。 本稿では,FoReaL-Decodingを提案する。 一般的な4つの数学推論ベンチマークにおいて、FoReaL-Decodingは理論FLOPを30から50%減らし、CoTの長さを最大40%減らした。
  論文  参考訳（メタデータ） (2025-06-08T05:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。