論文の概要: More Than Memory: Task-Conditioned Signed FFN Writes in Long-Context Retrieval

• arxiv url: http://arxiv.org/abs/2607.16254v1
• Date: Sat, 27 Jun 2026 10:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.058929
• Title: More Than Memory: Task-Conditioned Signed FFN Writes in Long-Context Retrieval
• Title（参考訳）: メモリ以上:タスク定義署名FFNがロングコンテキスト検索で書き込み
• Abstract要約: FFN残差書き込みが現在の検索状態を正しい回答から遠ざけるかどうかを検証する。 コントロールされたリテラルとセマンティック検索スイート全体において、ネイティブFFN応答面は署名され、層固有であり、タスク条件付きである。 その結果、ネイティブFFNスケーリングは、検索において署名されたタスク条件の残差書き込み構造を公開することがわかった。
• 参考スコア（独自算出の注目度）: 3.5863289126242837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: FFNs are often treated as parametric memories. In long-context retrieval, however, the sharper question is not only what they store, but whether their native residual writes push the current retrieval state toward or away from the correct answer. We test this by scaling the model's own FFN write one layer at a time, without editing weights or injecting external steering vectors. Across controlled literal and semantic retrieval suites, native FFN response surfaces are signed, layer-specific, and task-conditioned: the final FFN is a suppressor in 7 of 8 model-suite cases, and 60% of layers switch role between retrieval modes (95% CI [50%, 69%]). A local directional derivative along the native write separates the two monotone roles: suppressors have negative derivative in 34/35 cases, and amplifiers have positive derivative in 18/18 cases, so the roles are not reducible to write size. On a safety-filtered LongBench retrieval-QA probe, the same diagnostic predicts attenuation damage with raw R^2=0.796 on Qwen2.5-7B and 0.791 on Qwen3.5-9B; a held-out suppressor-attenuation policy improves retrieval margins over random and norm-matched controls. These results show that native FFN scaling exposes a signed, task-conditioned residual-write structure in retrieval, and that write-gradient alignment is a compact diagnostic for the two monotone roles.
• Abstract（参考訳）: FFNはしばしばパラメトリック記憶として扱われる。 しかし、長文検索では、よりシャープな質問は、それらが格納しているものだけでなく、それらのネイティブな残差書き込みが現在の検索状態を正しい回答から遠ざけているかどうかである。 我々は、重みを編集したり、外部のステアリングベクトルを注入することなく、モデル自身のFFN書き込みを一度に1つのレイヤにスケーリングすることでこれをテストする。 コントロールされたリテラルとセマンティック検索スイート全体で、ネイティブFFN応答面は署名され、レイヤ固有であり、タスク条件付きである:最後のFFNは8つのモデル適合ケースのうち7つの抑制器であり、60%のレイヤが検索モード間で役割を切り替える(95% CI [50%, 69%])。 抑制剤は34/35ケースで負の微分を持ち、増幅器は18/18ケースで正の微分を持つので、その役割は書き込みサイズに還元できない。 また,Qwen2.5-7BでR^2=0.796,Qwen3.5-9Bで0.791,Qwen3.5-9Bで0。 これらの結果は、ネイティブFFNスケーリングは、検索において符号付きタスク条件付き残差書込み構造を露出し、書き込み勾配アライメントは、2つの単調な役割のコンパクトな診断であることを示している。

関連論文リスト

• LOCUS: Task-Aware Low-Rank Post-Training for Token-Efficient Language Generation [0.9179857807576733]
  学習後更新のパラメータ化が生成時間に与える影響について検討した。 本稿では,タスク対応の低ランク適応部分空間を選択し,出力トーケンコストを最小限に抑える方法であるLOCUSを提案する。
  論文  参考訳（メタデータ） (2026-09-10T15:53:25Z)
• Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs [0.23438564092609357]
  プロアクティブ干渉(英: Proactive interference, PI)は、大規模言語モデルにおける文書化された障害モードであり、繰り返し上書きされた値の検索は、事前上書きが蓄積されるにつれて劣化する。 PTQは現在、オープンウェイトモデルのデフォルトのデプロイメントパスとなっているが、この障害モードへの影響はテストされていない。 アーキテクチャ的に異なる3つの命令調整モデルの3つの精度レベル(FP16, INT8, INT4/NF4, ビット/バイト)を評価する。
  論文  参考訳（メタデータ） (2026-08-19T06:17:13Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Memory-Managed Long-Context Attention: A Preliminary Study of Editable Request-Local Memory [0.5371337604556311]
  メモリ管理型長コンテキストアテンションは、高速なリカレントまたはスパースバックボーンを、明示的な編集可能な要求ローカルメモリスロットから分離する研究ルートである。 構造化された合成タスク、トークン/チャンク/シーケンスブリッジ、生成された自然言語、ローカル凍結モデル診断、純粋な固定状態または純粋なスパースメソッドは、オーバーライト、バージョン、アンチ汚染またはノーライト署名ケースを失敗する。
  論文  参考訳（メタデータ） (2026-06-27T11:38:43Z)
• FIDES: Faithful Inference via Deep Evidence Signals for Retrieval-Memory Conflict in RAG [28.69005193011498]
  コントラストデコーディングは、パラメトリックバイアスを抑制するために文脈条件付き出力を増幅する。 単一のグローバルな対照的な重みは、真に矛盾したトークンを不十分に修正しながら、安全なトークンを過払いする。 本研究では,学習不要なデコーダであるFIDESを提案する。
  論文  参考訳（メタデータ） (2026-06-04T03:16:17Z)
• AURA: Intent-Directed Probing for Implicit-Need Surfacing in Situated LLM Agents [7.158614088800619]
  AURAは、シーン認識とIntentFrameを生成するツール使用の間の推論ステップを挿入する。 AURAはReActスタイルの探索よりも暗黙的なカバレッジを改善している。 このコントローラーは、プライバシに敏感なスライスでプローブを82%減らし、禁じられたツール違反をゼロにする。
  論文  参考訳（メタデータ） (2026-06-04T01:11:06Z)
• Reading Task Failure Off the Activations: A Sparse-Feature Audit of GPT-2 Small on Indirect Object Identification [0.0]
  我々は, GPT-2小火器のスパースオートコーダ(SAE)機能について, 失敗した試験と成功した試験との違いを報告した。 300プロンプトでは、GPT-2小径の精度は79.7%に達し、Bloom (2024)の層8残流SAEリリースの24,576個の特徴のうち146個はホルム補正値の閾値をクリアしている。 17,491, d=+2.93, Neuronpedia label 'cryptographic key' は、プロンプトの転送されたオブジェクトが「キー」である場合を除いて、本質的に静かである。
  論文  参考訳（メタデータ） (2026-05-21T16:55:27Z)
• The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models [4.738949927143789]
  CoT(Chain-of- Thought)プロンプトは、小さな言語モデルでの算術には必要だが、そのステップをシャッフルするとほとんどの性能が保たれる。 GSM8K 上の3つの 1-3B 命令調整 LM において,プリフィックス完了により回答読解段階を分離し,位置ショートカットを同定する。 金の回答は54-92ppの精度(各モデルの教師が調整した天井の89-92%)であり、誤った項目であっても最終回答は最後の95-96%のCoT番号と一致する。
  論文  参考訳（メタデータ） (2026-05-20T00:32:41Z)
• Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
  本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。 当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。 提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
  論文  参考訳（メタデータ） (2026-04-16T17:39:33Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Fast Quiet-STaR: Thinking Without Thought Tokens [51.79231070632772]
  Fast Quiet STaRは、より効率的な推論フレームワークであり、計算コストを削減しながらトークンレベルの推論の利点を保存する。 本手法では,段階的に思考トークン数を減少させるカリキュラムベースの学習戦略を導入する。 Mistral 7BとQwen2.5 7Bによる4つのベンチマークデータセットの実験では、Fast Quiet-STaRが平均精度でQuiet-STaRを一貫して上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-05-23T11:14:12Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。