論文の概要: SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance
- arxiv url: http://arxiv.org/abs/2609.30192v1
- Date: Thu, 24 Sep 2026 17:33:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:10.173058
- Title: SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance
- Title（参考訳）: SAGE: トポロジカルガイダンスによる長方形推論バイアスの緩和
- Abstract要約: 長期水平推論は、スパース・リワード政権下での大規模言語モデルにとって依然として中心的な課題である。
本稿では,探索バイアスと複合バイアスを緩和するための構造ガイダンスを注入する統一フレームワークであるSAGEを提案する。
SAGEは、オープンな現実世界のロングホライゾンタスクであるAndrews-Curtis問題において、最大8倍の改善を実現している。
- 参考スコア（独自算出の注目度）: 17.65905492055071
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-horizon reasoning remains a central challenge for large language models (LLMs) under sparse-reward regimes. We argue that this brittleness arises from two biases induced by complex reasoning spaces: an exploration bias, where models are drawn toward locally plausible but structurally unstable branches, and a compounding bias, where small local deviations accumulate across depth and suppress rare rewards. We introduce Symbolic Closure Analysis (SCA) as a theoretical lens characterizing how branching structures and sparse rewards induce these biases in long-horizon reasoning with local admissibility, and as a design principle for structural priors in less formal reasoning tasks. Motivated by this analysis, we propose SAGE (Structural Admissibility-Guided Exploration), a unified framework that injects structural guidance to alleviate exploration bias and compounding bias in long-horizon reasoning. SAGE combines two complementary structural guidance: algebraic sparsification, which projects locally admissible candidates onto operator-indexed algebraic subspaces to suppress spurious branching and mitigate exploration bias, and hyperbolic structural guidance, which embeds reasoning states into a negatively curved space to provide dense depth-wise signals and mitigate compounding bias. Across 12 benchmarks and 7 model families, SAGE outperforms competitive baselines. In particular, SAGE achieves up to an 8-fold improvement on the Andrews-Curtis problem, an open real-world long-horizon task. Code is available at: https://github.com/Susan571/SAGE-NeurIPS2026.
- Abstract（参考訳）: ロングホライゾン推論は、スパース・リワード政権下での大規模言語モデル(LLM)にとって依然として中心的な課題である。
この脆さは、複雑な推論空間によって引き起こされる2つのバイアス、すなわち探索バイアス、モデルが局所的に可塑性だが構造的に不安定な分岐に向けられ、また、局所的な小さな偏差が深さにわたって蓄積され、稀な報酬を抑える複合バイアスから生じる。
そこで我々は,Smbolic Closure Analysis (SCA) を理論レンズとして導入し,分枝構造とスパース報酬が局所的許容性を持つ長軸推論においてこれらのバイアスを誘発し,非形式的推論タスクにおける構造的事前設計の原則として導入する。
この分析により,長期的推論における探索バイアスと複合バイアスを緩和するための構造的ガイダンスを注入する統一的なフレームワークであるSAGE(Structural Admissibility-Guided Exploration)を提案する。
SAGEは2つの相補的な構造的ガイダンスを組み合わせる: 代数的スパーシフィケーション(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)は、局所的に許容可能な候補を演算子付き代数部分空間に射影し、刺激的な分岐と緩和探索バイアスを抑える)と双曲的構造的ガイダンス(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)は、推論状態が負の曲面空間に埋め込まれ、密度の深い深みのある信号を提供し、複合バイアスを緩和する双曲的構造的ガイダンス(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)である。
12のベンチマークと7つのモデルファミリで、SAGEは競争上のベースラインを上回っている。
特にSAGEは、オープンな現実世界の長距離タスクであるAndrews-Curtis問題において、最大8倍の改善を実現している。
コードは、https://github.com/Susan571/SAGE-NeurIPS2026で入手できる。
関連論文リスト
- PIE-APT: A Unified Framework for Temporal Planning and Contradiction Hunting via Incremental Direct-Derivation Abduction [0.0]
本稿では、-textbfPIE-Abducer (Incremental direct-deivation abduction) と textbfPIE-APT (Abductive Planning for Temporal KGs) の2つの統合モジュールを用いた統合フレームワークを提案する。
インクリメンタルな推論をブラックボックスとして扱い、外部演算子なしでOWLのアクションを表現することは論理的決定可能性を保持する。
その結果、古典的プランナーよりも定性的優位性を示し、直接導出アプローチが導出エンリッチメント中にMHSに富んだベースラインを定量的に上回ることを示した。
論文 参考訳（メタデータ） (2026-07-29T14:44:46Z) - Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。
信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。
本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
論文 参考訳（メタデータ） (2026-06-23T05:28:47Z) - The Crowded Embedding Space: A Mean-Field Mechanism for Emergent Marginalization in Retrieval-Augmented Agents [51.56484100374058]
また,本論文では,本論文の関心事に役立てるために必要な文書密度が,意味論的に類似したマイノリティの検索地区を幾何的に超過することができることを示した。
本稿では,このような高密度検索における目標衝突が基本的性能限界をいかに引き起こすかを分析するための公式な枠組みを提案する。
このような目的が,過半数の利害にのみ貢献する状態に自己組織する上で,システムを促進することを実証する。
論文 参考訳（メタデータ） (2026-06-01T20:40:30Z) - Deep Reasoning in General Purpose Agents via Structured Meta-Cognition [58.185853639335896]
構造化メタ推論を用いてタスク固有の足場を構築するための推論時アプローチを提案する。
我々は、より制御された推論スレッドに複雑なタスクを分散する汎用エージェントでこのアプローチをインスタンス化する。
論文 参考訳（メタデータ） (2026-05-12T01:21:37Z) - From Intent to Evidence: A Categorical Approach for Structural Evaluation of Deep Research Agents [25.080554451314683]
深層研究エージェント(DRA)は、複雑な情報合成のための有望なパラダイムとして登場した。
我々は、DRAの挙動を圏論のレンズを通して形式化し、構造保存マップの合成として深層研究ワークフローをモデル化する。
エージェントを4つの解釈可能な軸に沿ってストレステストするために設計された296の質問を持つメカニズム認識ベンチマークを導入する。
論文 参考訳（メタデータ） (2026-03-26T11:37:26Z) - CatRAG: Functor-Guided Structural Debiasing with Retrieval Augmentation for Fair LLMs [1.7697598440512727]
構造的デバイアスを誘導する構造的デバイアス(RAG)を関手と統合する,二重進行型フレームワークであるCatRAG Debiasingを提案する。
オープンソースの3つのLCM(Meta Llama-3、OpenAI GPT-OSS、Google Gemma-3)を対象としたBias Benchmark for Question Answering (BBQ)では、CatRAGは対応するベースモデルに対して最大40%の精度で、事前のデバイアス法よりも10%以上の精度を実現している。
論文 参考訳（メタデータ） (2026-03-23T03:33:13Z) - Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。
本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
論文 参考訳（メタデータ） (2026-03-07T04:05:27Z) - On Multi-Step Theorem Prediction via Non-Parametric Structural Priors [50.16583672681106]
本研究では,インコンテキスト学習(ICL)のレンズによる学習自由な定理予測について検討する。
本稿では,過去の解の時間的依存関係を有向グラフとしてエンコードし,推論中に探索空間を効果的に引き起こす明示的なトポロジ的制約を課すTheorem Precedence Graphsを提案する。
FormalGeo7kベンチマークの実験から,本手法は89.29%の精度を実現し,ICLベースラインを著しく上回り,最先端の教師付きモデルに適合することがわかった。
論文 参考訳（メタデータ） (2026-03-05T06:08:50Z) - Intrinsic Stability Limits of Autoregressive Reasoning: Structural Consequences for Long-Horizon Execution [0.0]
大規模言語モデル(LLM)は顕著な推論能力を示すが、長い水平タスクでは性能が著しく低下することが多い。
本稿では, 自己回帰生成におけるプロセスレベルの不安定性から, 長期的推論の基本的制約が生じることを示唆する。
本研究は, 完全自己回帰型アーキテクチャ下での長期コヒーレンス維持に新たな限界があることを示唆する。
論文 参考訳（メタデータ） (2026-02-06T06:11:06Z) - C2PO: Diagnosing and Disentangling Bias Shortcuts in LLMs [21.78910192035563]
Causal-Contrastive Preference Optimization (C2PO) は、これらの相関を発見して抑制することによって、これらの特定の障害に対処するように設計されている。
C2POは、頑健な一般的な推論能力を保ちながら、ステレオタイプおよび構造バイアスを効果的に緩和する。
論文 参考訳（メタデータ） (2025-12-29T12:49:32Z) - Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。
RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。
RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
論文 参考訳（メタデータ） (2025-11-10T18:25:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。