論文の概要: Geometry of Divergence: Tracking Hidden-State Trajectories for Adaptive Multi-Turn Reasoning
- arxiv url: http://arxiv.org/abs/2608.30650v1
- Date: Mon, 31 Aug 2026 11:51:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.37618
- Title: Geometry of Divergence: Tracking Hidden-State Trajectories for Adaptive Multi-Turn Reasoning
- Title(参考訳): 多様性の幾何学:適応型マルチターン推論のための隠れ状態軌道追跡
- Abstract要約: LLMエージェントは、厳密なリソース制約の下で、長期にわたる多ターン相互作用におけるゴール整合推論を維持する必要がある。
2つの相補的な信号によって特徴付けられるLLMの隠れ状態軌跡としてマルチターン推論を定式化する。
軌道幾何学は推論過程において重要なターンを識別でき、トークンコストを11.2%削減しながら、タスク成功率を24.1%から39.6%に引き上げる。
- 参考スコア(独自算出の注目度): 4.4288817363868205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents need to sustain goal-consistent reasoning across long multi-turn interactions under strict resource constraints. However, as the multi-turn context accumulates, it can destabilize the underlying LLM's internal representation of task-relevant information from earlier turns, blurring the boundary between constructive reasoning and representation drift. We formulate multi-turn reasoning as a hidden-state trajectory of the underlying LLM that is characterized via two complementary signals: temporal curvature that captures the directional consistency of turn-to-turn updates, and variance slope which measures the expansion or contraction of the exploration space. Across four tasks and three underlying LLMs, we observed that these geometric signals distinguish between correct and incorrect episodes prior to completion. We further decompose each episode into three-action chains formed from four actions (Read, Write, Respond, Transfer) and show that separability is action-dependent, with different signals distinguishing various chain patterns. Our experiments demonstrate that trajectory geometry can identify critical turns in the reasoning process, increasing task success rates on $τ$-Bench from 24.1% to 39.6% while reducing token cost by 11.2%.
- Abstract(参考訳): LLMエージェントは、厳密なリソース制約の下で、長期にわたる多ターン相互作用におけるゴール整合推論を維持する必要がある。
しかし、マルチターンコンテキストが蓄積されるにつれて、基礎となるLCMの内部表現であるタスク関連情報を以前のターンから不安定にし、構成的推論と表現のドリフトの境界を曖昧にすることができる。
2つの補完的な信号によって特徴付けられるLLMの隠れ状態軌跡としてマルチターン推論を定式化し、ターン・ツー・ターン更新の方向性の整合性を捉える時間曲率と、探索空間の膨張または収縮を測定する分散勾配を定式化する。
4つの課題と3つの基礎となるLCMにおいて,これらの幾何学的信号が完了前の正確なエピソードと誤エピソードを区別することがわかった。
さらに、各エピソードを4つのアクション(読み取り、書き込み、応答、転送)で構成した3つのアクションチェーンに分解し、分離性はアクション依存であり、異なるシグナルが様々な連鎖パターンを区別することを示す。
実験により, 軌道幾何学は推理過程において重要な旋回を識別し, 24.1% から 39.6% まで τ$-Bench のタスク成功率を向上し, トークンコストを 11.2% 削減できることを示した。
関連論文リスト
- A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM [40.07171947823021]
CoT(Chain-of-Thought)は、LLM(Large Language Models)の推論能力を改善するが、かなりの計算とコンテキストコストを発生させる。
A*-Thought-V2 は LLM ガイドフレームワークの幾何学的ダイナミクスであり,COT を隠れ状態軌道としてモデル化し,ハード削除を明示的かつ単純でインターリーブな潜在アーキテクチャに置き換える。
論文 参考訳(メタデータ) (2026-09-07T17:56:20Z) - Beyond Fixed Directions: Adaptive Representation Analysis of Reasoning and Memorization in LLMs [0.0]
1次元射影は AUROC = 1.00 の完全な 1024 次元線形プローブと一致する。
GRPO後、対応する方向を実質的に再構成する。
したがって、このエビデンスは研究されたタスク群に対して単一方向の分解性を支持するが、固定方向安定性に挑戦する。
論文 参考訳(メタデータ) (2026-08-22T11:15:43Z) - Flux control of measurement back-action and Leggett-Garg correlations in chiral quantum walks [0.0]
グラフに依存しない Lders を飽和させる十分な機構が見つかる。
調査されたサイクル全体にわたって、フラックスは最大レゲット-ガーグ違反を強化するか、または以前の測定時間に強い違反を移すことができる。
これらの結果は、局所的なバックアクションと時間的量子相関を工学的に測定するための資源としてゲージ不変フラックスを確立する。
論文 参考訳(メタデータ) (2026-08-12T18:51:37Z) - How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories [51.16651846289446]
我々は,個々のCoTステップの粒度における労力を定量化するための幾何学的枠組みであるステップ・アウェア・推論・エナジー(SARE)を提案する。
推理エネルギーはステップタイプにまたがって非常に不均一であり、軌道レベルの指標からは見えない位相的な遷移を示す。
SAREベースの機能は、ほとんどの設定でアウトプットベースの信頼ベースラインにマッチするか、向上します。
論文 参考訳(メタデータ) (2026-07-28T06:15:51Z) - Semantic Step Prediction: Multi-Step Latent Forecasting in LLM Reasoning Trajectories via Step Sampling [0.0]
セマンティックチューブ予測(STP)は、幾何学的表現を利用して、微調整中に隠れた軌道を局所線型測地線に向けて規則化する。
サンプリング位置が多段階推論のセマンティック構造をさらに強化できるかどうかを検討する。
その結果, サンプリング位置を幾何正則化における臨界変数として同定し, この手法の新たな評価基準として多段階潜時予測MSEを確立した。
論文 参考訳(メタデータ) (2026-04-20T16:19:02Z) - The Junction Law for Multipartite Entanglement in Confining Holographic Backgrounds [2.477977081568645]
まず,AdS$_3$ハードウォールトイモデルを解析的ベンチマークとして検討し,マルチウェイカットとジャンクションジオメトリーを明示的に分析する。
次に、D4-ソリトンとD3-ソリトン背景に焦点をあてて、ハードウォールのベンチマークを超えてスムーズな精細なジオメトリへと移行する。
スムーズな例では、接合図は持続するが、詳細な位相構造はハードウォールの場合と異なる。
論文 参考訳(メタデータ) (2026-04-12T11:02:36Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳(メタデータ) (2026-03-02T10:38:54Z) - Directional Reasoning Trajectory Change (DRTC): Identifying Critical Trace Segments in Reasoning Models [0.0]
Directional Reasoning Trajectory Change (DRTC) は、単一のオン政治ロールアウトからロングフォーム推論を解釈するためのプロセス因果的なフレームワークである。
DRTCは不確実性と分布シフト信号を用いてピボット決定点を検出する。
各介入がモデルのログ確率軌道の方向をリダイレクトするかどうかを測定する。
論文 参考訳(メタデータ) (2026-02-17T03:38:16Z) - VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。
出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。
本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
論文 参考訳(メタデータ) (2025-10-01T20:32:08Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳(メタデータ) (2025-05-19T11:30:41Z) - Path-of-Thoughts: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models [62.12031550252253]
本稿では,関係推論に対処するための新しいフレームワークであるPath-of-Thoughts(PoT)を提案する。
PoTは、問題コンテキスト内の重要なエンティティ、関係、属性を識別するタスクに依存しないグラフを効率的に抽出する。
PoTは、提案された質問に対応するグラフ内の関連する推論連鎖を特定し、潜在的な答えの推論を容易にする。
論文 参考訳(メタデータ) (2024-12-23T20:27:12Z) - Intensity Profile Projection: A Framework for Continuous-Time
Representation Learning for Dynamic Networks [50.2033914945157]
本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。
このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。
さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
論文 参考訳(メタデータ) (2023-06-09T15:38:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。