論文の概要: Targeted Retrieval, Compact Representations: How CoT Reasoning Improves Long-Context Counting

• arxiv url: http://arxiv.org/abs/2609.38958v1
• Date: Wed, 30 Sep 2026 04:27:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.18387
• Title: Targeted Retrieval, Compact Representations: How CoT Reasoning Improves Long-Context Counting
• Title（参考訳）: ターゲット検索, コンパクト表現: CoT 推論が長期値を改善する方法
• Abstract要約: 大規模言語モデル (LLM) は、Chain-of-Thought (CoT) 推論を駆使して、長いコンテキストタスクにおいて急速に改善されている。 長文に分散したレコードの数をLLMが求めるNIAHカウントタスクを用いて,これらのメカニズムについて検討する。 12のモデル比較群において、思考(または推論)は非思考よりもカウントの精度を向上し、より大きな数で利得が顕著になる。
• 参考スコア（独自算出の注目度）: 8.08971653309167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have been rapidly improving in long-context tasks, powered by Chain-of-Thought (CoT) reasoning. However, the internal mechanisms underlying this improvement remain unclear. We investigate these mechanisms through a needle-in-a-haystack (NIAH) counting task, where an LLM is asked to count the number of records dispersed in a long text. Across twelve model comparison groups, Thinking (or reasoning) improves counting accuracy over Non-thinking, with pronounced gains at larger counts. This motivates our mechanistic analysis, which identifies two contrasting mechanisms: (i) broad retrieval, where Non-thinking models broadly attend to multiple needles; (ii) targeted retrieval, where Thinking models use enumeration in CoT traces to successively retrieve needles. Targeted retrieval concentrates attention on individual needles and is accompanied by more compact internal representations. Moreover, causal intervention analysis suggests that Thinking models use the CoT trace to maintain and update an internal counter as needles are successively retrieved, even without explicit numbering. In small controlled experiments, both retrieval mechanisms and counter states emerge under standard autoregressive training. Together, our results connect long-context retrieval with representation geometry of counting, supporting a state-tracking account of CoT reasoning.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、Chain-of-Thought (CoT) 推論を駆使して、長いコンテキストタスクにおいて急速に改善されている。 しかし、この改良の根底にある内部メカニズムはいまだ不明である。 長文に分散したレコードの数をLLMが求めるNIAHカウントタスクを用いて,これらのメカニズムを調査する。 12のモデル比較群において、思考(または推論)は非思考よりもカウントの精度を向上し、より大きな数で利得が顕著になる。 これは2つのコントラストメカニズムを識別する機械的分析を動機付けます。 (i)複数の針に広義に非思考モデルが付き添う広範検索 (II)ターゲット検索では、思考モデルがCoTトレースの列挙を用いて針を連続的に検索する。 ターゲット検索は個々の針に注意を集中させ、よりコンパクトな内部表現を伴う。 さらに、因果介入分析は、思考モデルがCoTトレースを使用して、針が明示的な番号付けなしで連続的に回収されるように内部カウンタの維持と更新を行っていることを示唆している。 小さな制御された実験では、標準的な自己回帰訓練の下で、検索機構とカウンター状態の両方が出現する。 本研究の結果は,長文検索とカウントの表現幾何学を結合し,CoT推論の状態追跡を裏付けるものである。

関連論文リスト

• Not All Thinking is Created Equal: Latent Reasoning Discovers a Recurrent Search Algorithm for Depth Generalization [5.49308792359292]
  我々は、拡張マルチホップ推論タスクにおいて、同じGPTNeoXバックボーンの5つのバリエーションをスクラッチからトレーニングし比較する。 バニラ, CoT および Pause Token モデルは ID 問題をよく解決するが, 主に局所グラフ機能に依存している。 潜在変種はより一般化され、グラフ上の前方到達可能性伝播と整合した内部ダイナミクスを示す。
  論文  参考訳（メタデータ） (2026-09-28T17:12:30Z)
• Reason What Matters: Retrieval-Grounded Reasoning for Universal Multimodal Embeddings [18.705254311226565]
  Retrieval-Aware Self-Distillation (RASD) は、入力支援された証拠から特権化されたガイダンスを構築し、正の項目を検索された強陰性と区別する。 検索適応推論(RAI)は、部分CoTの残りの検索ユーティリティを推定するために、検索信頼ヘッドを使用する。 ReWAMは、競合する明示的CoT UME法の推論スループットを最大5倍にし、最先端の検索性能を実現する。
  論文  参考訳（メタデータ） (2026-09-14T09:48:05Z)
• Retrieval Grounding Latent Reasoning for Dense Retrieval [30.66182684102075]
  推論集約的な検索は、与えられた命令の下で関連性を決定するのに必要な推論を必要とする。 本稿では,RGLT(Retrieval Grounding Latent Reasoning)を提案する。 推論集約型検索ベンチマークの実験は、RGLTが強いベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-14T09:08:03Z)
• UniT: Unified Multimodal Chain-of-Thought Test-time Scaling [85.590774707406]
  統一モデルは単一のアーキテクチャ内でマルチモーダル理解と生成の両方を扱うことができるが、通常は出力を反復的に書き換えることなく単一のパスで操作する。 マルチモーダルなテストタイムスケーリングのためのフレームワークであるUniTを導入し、単一の統一モデルで複数のラウンドをまたいだ推論、検証、精査を可能にします。
  論文  参考訳（メタデータ） (2026-02-12T18:59:49Z)
• CoT-Seg: Rethinking Segmentation with Chain-of-Thought Reasoning and Self-Correction [50.67483317563736]
  本稿では,段階的に考察し,必要な情報を検索し,結果を生成し,自己評価を行い,結果を洗練するシステムを提案する。 CoT-Segは、思考の連鎖推論と自己補正を組み合わせることで、推論セグメンテーションを再考する、トレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-01-24T11:41:54Z)
• Structured Reasoning for Large Language Models [59.215789462977206]
  本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。 SCRは推論効率と自己検証を大幅に改善する。 既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
  論文  参考訳（メタデータ） (2026-01-12T04:04:01Z)
• Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
  本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。 ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。 複数のベンチマーク実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-01-08T06:57:03Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Test-time Prompt Intervention [22.35022545068874]
  テストタイム・プロンプト・インターベンションのための新しいフレームワークであるPIを提案する。 PIは推論中の推論パスを動的にガイドし、規制するインターフェースを提供する。 これにより、人間の問題解決の専門知識と認知科学の原則がLLMの推論プロセスにシームレスに統合される。
  論文  参考訳（メタデータ） (2025-08-04T15:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。