Fugu-MT 論文翻訳(概要): Reading Between the Dots: Decoding Hidden Computation across Filler Tokens

論文の概要: Reading Between the Dots: Decoding Hidden Computation across Filler Tokens

arxiv url: http://arxiv.org/abs/2607.03502v1
Date: Fri, 03 Jul 2026 17:18:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-07 22:26:29.634171
Title: Reading Between the Dots: Decoding Hidden Computation across Filler Tokens
Title（参考訳）: ドット間の読み込み:Fillerトークン間で隠れた計算をデコードする
Abstract要約: LLMはドットや数列のようなコンテンツフリーのフィラートークンに対して多段階の推論を実行でき、目に見えるチェーン・オブ・シークレット(CoT)を使わずに正しい回答を生成することができる。これは行動監視の限界ケースであり、表面トークンは基礎となる推論に関する情報を一切持っていない。隠れ状態のみを入力として取り出し、80～95%の精度で中間値を復元する教師なし復号パイプラインを導入する。
参考スコア（独自算出の注目度）: 7.203846680259872
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Frontier LLMs can perform multi-step reasoning over content-free filler tokens like dots or counting sequences, producing correct answers with no visible chain-of-thought (CoT). This is a limit case for behavioral oversight, where surface tokens carry no information about the underlying reasoning. But hidden from the output is not the same as hidden from us. On four task families (fact retrieval, parallel numeric composition, string manipulation, and in-context computation), two open-weights frontier models (DeepSeek V3, Kimi K2) compute over filler tokens in a structured, legible way: attention routes the question through the filler region to the answer, logit-lens readouts show retrieved facts emerging early and their composition crystallizing in late layers, and KV-cache transplants at filler positions causally swap outputs between examples. We introduce an unsupervised decoding pipeline that takes only hidden states as input and recovers intermediate values with 80-95% accuracy (best LLM judge) across both models and all four tasks, without ground-truth labels or training. Hidden computation that defeats behavioral CoT monitoring is, on these tasks, directly readable from the residual stream, suggesting monitorability is a property of the model's full computational trace, not just its surface tokens.
Abstract（参考訳）: Frontier LLMは、ドットや数列のようなコンテンツフリーなフィラートークンに対して多段階の推論を実行でき、目に見えるチェーン・オブ・シント(CoT)が存在しない正確な回答を生成する。これは行動監視の限界ケースであり、表面トークンは基礎となる推論に関する情報を一切持っていない。しかし、アウトプットから隠されたものは、私たちから隠されたものと同じではありません。 4つのタスクファミリ(ファクト検索、並列数値合成、文字列操作、コンテキスト内計算)では、2つのオープンウェイトフロンティアモデル(DeepSeek V3, Kimi K2)が、構造化された正当性のある方法でフィラートークンを演算する。隠れ状態のみを入力として取り込む教師なし復号パイプラインを導入し、モデルと4つのタスクの80～95%の精度で中間値を復元する。行動CoTモニタリングを破る隠れた計算は、これらのタスク上で、残留ストリームから直接読み取ることができ、監視性は、その表面トークンだけでなく、モデルの完全な計算トレースの特性であることを示している。

関連論文リスト

Visual Access Boundaries in Vision-Language Model Reasoning [23.49046016297019]
チェーン・オブ・ソート(CoT)プロンプトは視覚言語モデル(VLM)のテスト時間スケーリング戦略として広く利用されている。我々は,CoTは推論トレース全体を通して直接画像へのアクセスを長くすることで,主に性能を向上しないことを示す。また、CoTゲインは知覚的読み出しによって制約されていることも示している。
論文参考訳（メタデータ） (2026-07-14T14:27:58Z)
How Does Reasoning Flow? Tracing Attention-Induced Information Flow for Targeted RL in LLMs [52.712343092801326]
FlowTracerは、注意重み付き非巡回グラフ上で回答対象の推論フローをトレースするRLフレームワークである。フロースループットによってトークンをスコアし、長期依存を仲介するハイインパクトなハブとアグリゲーションチェックポイントを明らかにする。これらの重要度はトークンレベルの報酬を形成するために使用され、学習信号は正しい回答に向けて情報をルーティングするトークンに正確に焦点を合わせることができる。
論文参考訳（メタデータ） (2026-06-09T09:56:51Z)
When Chain-of-Thought Fails, the Solution Hides in the Hidden States [6.13796568285414]
アクティベーションパッチを用いてトークンレベルの隠蔽状態をCoT生成からダイレクト・アンサー・ランに転送する。元のトレースが正しくない場合でも,個々のCoTトークンが正しい回答を回復するのに十分な情報をエンコードできることがわかった。
論文参考訳（メタデータ） (2026-04-25T15:33:21Z)
From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
論文参考訳（メタデータ） (2026-04-01T11:40:12Z)
ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。視覚トークンのコンパクトだが情報に富むサブセットを選択する。これは、計算、メモリ消費、推論遅延を効果的に削減する。
論文参考訳（メタデータ） (2026-03-22T07:44:45Z)
FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution [3.4666771782038652]
大規模言語モデル(LLM)は、その恒星の性能の大部分を入力コンテキストの拡大に負っているが、そのような冗長性は金銭的コスト、炭素フットプリント、推論時間の遅延を膨らませている。本稿では,LLMのための新しいプロンプト圧縮フレームワークであるFrugalPromptを紹介する。我々は,4つのNLPタスク(感性分析,コモンセンスQA,要約,数学的推論)にまたがるアプローチを評価する。
論文参考訳（メタデータ） (2025-10-18T10:22:13Z)
Addition in Four Movements: Mapping Layer-wise Information Trajectories in LLMs [0.4086920237000588]
LLaMA-3-8B-インストラクタの内部演算過程を解析する。人間が追加を行うステップバイステップ方式に着想を得て,コヒーレントな4段階軌道の提案と解析を行った。出力の近くで、モデルが最終内容を整理し、生成し、正しいトークンが上位ランクを確実に占有する。
論文参考訳（メタデータ） (2025-06-09T14:48:43Z)
Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2025-03-18T09:04:37Z)
Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
論文参考訳（メタデータ） (2025-02-05T15:33:00Z)
FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
論文参考訳（メタデータ） (2024-10-27T15:53:49Z)
Let's Think Dot by Dot: Hidden Computation in Transformer Language Models [30.972412126012884]
言語モデルの連鎖応答は、ほとんどのベンチマークのパフォーマンスを改善する。変換器は、2つの難解なアルゴリズムタスクを解くための思考の連鎖の代わりに無意味なフィラートークンを使用できることを示す。フィラートークンを使用する学習は困難であり、収束するためには、具体的で密集した監督が必要である。
論文参考訳（メタデータ） (2024-04-24T09:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。