論文の概要: Directional Attractors in LLM Reasoning: How Similarity Retrieval Steers Iterative Summarization Based Reasoning

• arxiv url: http://arxiv.org/abs/2601.08846v1
• Date: Mon, 22 Dec 2025 00:26:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.670832
• Title: Directional Attractors in LLM Reasoning: How Similarity Retrieval Steers Iterative Summarization Based Reasoning
• Title（参考訳）: LLM推論における指向性アトラクタ:反復的な要約に基づく推論の類似性について
• Authors: Cagatay Tekin, Charbel Barakat, Luis Joseph Luna Limgenco,
• Abstract要約: InftyThink with Cross-Chain Memoryは、以前成功した推論パターンの埋め込みベースのセマンティックキャッシュで反復推論を強化する拡張である。 実験により、意味補題検索は、不均一なドメインを含むテストにおいて、障害モードを露呈しながら、構造化ドメインの精度を向上させることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Iterative summarization based reasoning frameworks such as InftyThink enable long-horizon reasoning in large language models (LLMs) by controlling context growth, but they repeatedly regenerate similar reasoning strategies across tasks. We introduce InftyThink with Cross-Chain Memory, an extension that augments iterative reasoning with an embedding-based semantic cache of previously successful reasoning patterns. At each reasoning step, the model retrieves and conditions on the most semantically similar stored lemmas, guiding inference without expanding the context window indiscriminately. Experiments on MATH500, AIME2024, and GPQA-Diamond demonstrate that semantic lemma retrieval improves accuracy in structured domains while exposing failure modes in tests that include heterogeneous domains. Geometric analyses of reasoning trajectories reveal that cache retrieval induces directional biases in embedding space, leading to consistent fix (improve baseline accuracy) and break (degradation in baseline accuracy) attractors. Our results highlight both the benefits and limits of similarity-based memory for self-improving LLM reasoning.
• Abstract（参考訳）: InftyThinkのような反復的な要約に基づく推論フレームワークは、コンテキスト成長を制御することで、大きな言語モデル(LLM)における長い水平推論を可能にするが、タスク間で同様の推論戦略を繰り返し再現する。 InftyThink with Cross-Chain Memoryは、以前成功した推論パターンの埋め込みベースのセマンティックキャッシュで反復推論を強化する拡張である。 各推論ステップにおいて、モデルは最も意味的に類似した格納されたレムマの条件を検索し、コンテキストウィンドウを無差別に拡張することなく推論を導く。 MATH500, AIME2024, GPQA-Diamondの実験では, セマンティック・レンマ検索は不均一領域を含むテストにおいて障害モードを露呈しながら, 構造領域の精度を向上させることを示した。 推論軌道の幾何学的解析により、キャッシュ検索は埋め込み空間の方向バイアスを誘導し、一貫した固定(ベースライン精度の向上)と破壊(ベースライン精度の劣化)を誘導することが明らかになった。 本結果は,自己改善LDM推論における類似性に基づくメモリの利点と限界を強調した。

関連論文リスト

• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• Think Consistently, Reason Efficiently: Energy-Based Calibration for Implicit Chain-of-Thought [33.267497114389734]
  大規模言語モデル(LLM)は、emphChain-of-Thought(CoT)のプロンプトを通じて、強力な推論能力を示している。 CoT法は離散トークンレベルの推論プロセスに依存しており、誤りの伝播が難しく、語彙によって制限される。 EBM-CoT(Energy-based Chain-of-Thought)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-10T14:10:58Z)
• From Implicit Exploration to Structured Reasoning: Leveraging Guideline and Refinement for LLMs [33.17712742134723]
  本稿では,暗黙的な探索からガイドや改良を通じて構造化された推論へ移行する枠組みを提案する。 まず、成功した軌道から構造的推論パターンを抽出し、失敗から反射信号を抽出する。 推論中、モデルはこれらのガイドラインをステップバイステップで追従し、各ステップの後に改善を加えてエラーを修正し、推論プロセスを安定化させる。
  論文  参考訳（メタデータ） (2025-09-08T02:11:49Z)
• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Reason from Future: Reverse Thought Chain Enhances LLM Reasoning [18.637191592875155]
  我々はReason from Future(RFF)と呼ばれる新しい推論パラダイムを提案する。 RFFは、トップダウン計画とボトムアップ推論蓄積を組み合わせた双方向推論によって推論パスを生成する。 RFFは、複雑なタスクを解決するために、より正確で検索スペースの少ない従来のパラダイムよりも優れている。
  論文  参考訳（メタデータ） (2025-06-04T08:03:17Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。