論文の概要: SCIT: Testing Causal Cache Carriers in Latent Chain-of-Thought Models
- arxiv url: http://arxiv.org/abs/2608.27265v1
- Date: Thu, 27 Aug 2026 15:47:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.474435
- Title: SCIT: Testing Causal Cache Carriers in Latent Chain-of-Thought Models
- Title(参考訳): SCIT: 遅延連鎖モデルにおける因果キャッシュキャリアのテスト
- Abstract要約: SCITは, 正確なソース・レシピ・カウンセリを構成する因果プロトコルである。
CODI-GPT2とSim-CoTスタイルのGPT-2では、逆ファクト算術が主に値キャッシュサフィックスの軌跡を通して転送される。
- 参考スコア(独自算出の注目度): 7.892321765328599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent chain-of-thought models move intermediate reasoning from emitted text into continuous states, improving compactness but hiding the causal object. We introduce SCIT, the Suffix Cache Interchange Test, a causal protocol that constructs exact source-recipient counterfactuals, patches declared cache segments, and identifies which transformer object carries the counterfactual computation. SCIT combines sufficiency tests with K/V component splits, hidden-state controls, semantic source controls, decoded validation, and matched corruption. On CODI-GPT2 and a Sim-CoT-style GPT-2 reproduction, counterfactual arithmetic transfers primarily through value-cache suffix trajectories rather than hidden states, keys, reusable answer slots, or single-token triggers. Complete sufficiency-and-necessity evidence for the late-value-suffix mechanism holds for the main CODI-GPT2 checkpoint; the Sim-CoT-style checkpoint shows the same sufficiency and decoded-control pattern but insufficient matched-corruption evidence for a necessity call. Beyond these local arithmetic cells, SCIT reveals carrier-regime shifts: arithmetic-like GPT-2/1B cells preserve latent-tail value/KV transfer, whereas competent 8B and repaired non-arithmetic cells route through prompt-prefix or full-cache K/V; boundary cells receive no mechanism call. SCIT therefore contributes a cache-level diagnostic, a checkpoint-specific GPT-2 arithmetic mechanism, and a competence-gated carrier map rather than a universal latent-tail claim.
- Abstract(参考訳): 潜在チェーン・オブ・思想モデルは、出力されたテキストから連続状態への中間的推論を移動させ、コンパクト性を改善するが因果オブジェクトを隠蔽する。
SCIT(Suffix Cache Interchange Test)は、正確なソース待ちのカウンセリング、宣言されたキャッシュセグメントのパッチ、そして、どのトランスフォーマーオブジェクトがカウンセリング処理を行うかを識別する因果プロトコルである。
SCITは、十分なテストとK/Vコンポーネント分割、隠れ状態制御、セマンティックソース制御、デコードされたバリデーション、マッチした汚職を組み合わせる。
CODI-GPT2とSim-CoTスタイルのGPT-2の再現では、逆ファクト算術は、主に隠れ状態、キー、再利用可能な応答スロット、シングルトークントリガではなく、値キャッシュのサフィックストラジェクトリを通じて転送される。
CODI-GPT2 チェックポイントは、Sim-CoT スタイルのチェックポイントは、同じ正当性と復号化制御パターンを示すが、必要呼び出しに対する整合破壊証拠は不十分である。
算術的な GPT-2/1B 細胞は潜在テール値/KV の転送を保ち、有能な 8B 細胞はプロンプト-プリフィックスまたはフルキャッシュ K/V を経由し、非アリメティクス細胞を修復する。
したがって、SCITはキャッシュレベルの診断、チェックポイント固有のGPT-2演算機構、そして普遍的な潜在テールクレームではなく、コンピテンス付きキャリアマップに寄与する。
関連論文リスト
- CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。
Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文 参考訳(メタデータ) (2026-08-31T06:02:37Z) - Quantization-Triggered Backdoors in Language Models: Cross-Quantizer Transferability and the Validation--Deployment Gap [0.0]
学習後の量子化はしばしば、大規模言語モデルのエッジ展開に対する意味的に中立な最適化として扱われる。
バックドア翻訳モデルは、修復されたFP16におけるゼロの友情の腐敗から、量子化後の最大85.02%の逆転へと移行していることを示す。
我々は、量子化行動等価クラス(QBEC)を通してこのギャップを形式化し、QBECのメンバーシップが振る舞い等価性を含まないことを証明した。
論文 参考訳(メタデータ) (2026-08-27T08:34:10Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳(メタデータ) (2026-07-30T02:42:51Z) - Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。
固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
論文 参考訳(メタデータ) (2026-07-10T18:28:21Z) - Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion [0.0]
2パスのCFG実行パターンは、パラメータカウントとビット操作のメトリクスが完全に隠蔽する遅延オーバーヘッドを課します。
誘導予測に基づいて直接校正を行う誘導認識混合精度(GAMP)を提案する。
論文 参考訳(メタデータ) (2026-07-09T08:42:07Z) - Agent-Assisted Side-Channel Attacks on Non-Prefix KV Cache in RAG [17.045113249152234]
非KVキャッシュ融合をターゲットとした、最初のエンドツーエンドのサイドチャネルアタックを導入する。
SpliceLeakは、システマティックな2フェーズのプライバシ侵害を実行する。
SpliceDefenseは、非許容スループットオーバーヘッドでサイドチャネル信号(Delta TTFT 0)を効果的にフラットにする。
論文 参考訳(メタデータ) (2026-06-20T02:28:28Z) - SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。
暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。
そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
論文 参考訳(メタデータ) (2025-09-24T17:01:32Z) - Efficient Blockchain-based Steganography via Backcalculating Generative Adversarial Network [105.47203971578871]
汎用ブロックチェーンベースのステガノグラフィーフレームワーク(GBSF)を提案する。
送信者は、追加の隠蔽データを埋め込んでチャネル容量を高めるために、量や手数料などの必要なフィールドを生成する。
GBSFに基づいて, 可逆的生成逆ネットワーク(R-GAN)を設計する。
対数直観的データ前処理とカスタムアクティベーション機能を備えたR-GAN,すなわちCCR-GANを提案する。
論文 参考訳(メタデータ) (2025-06-19T04:43:41Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳(メタデータ) (2023-07-16T16:32:14Z) - Quantum Proofs of Deletion for Learning with Errors [91.3755431537592]
完全同型暗号方式として, 完全同型暗号方式を初めて構築する。
我々の主要な技術要素は、量子証明器が古典的検証器に量子状態の形でのLearning with Errors分布からのサンプルが削除されたことを納得させる対話的プロトコルである。
論文 参考訳(メタデータ) (2022-03-03T10:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。