論文の概要: What does FFN compression change downstream? Same-state causal restoration in diffusion language models

• arxiv url: http://arxiv.org/abs/2609.31685v1
• Date: Wed, 16 Sep 2026 17:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 13:50:33.006377
• Title: What does FFN compression change downstream? Same-state causal restoration in diffusion language models
• Title（参考訳）: FFN圧縮は下流に何をもたらすか?拡散言語モデルにおける同じ状態因果回復
• Abstract要約: 圧縮されたモデルで到達した正確な電流に基づいて、元のFFNを復元するSame-State Causal Restoration (SSR)を導入する。 我々の知る限り、DLM圧縮における除去FFN計算による同一電流入出力閉ループ効果の直接測定はこれが初めてである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion language models (DLMs) enable flexible, parallel generation, but their iterative denoising remains computationally expensive, motivating increasingly aggressive compression. Existing compression objectives largely measure how well compressed computation approximates the original locally, but local error does not reveal which removed computations actually matter to the downstream denoising trajectory. We introduce Same-State Causal Restoration (SSR), which restores the original FFN on the exact current input reached by the compressed model and measures how the resulting trajectory changes. To our knowledge, this is the first direct measurement of the same-current-input closed-loop effect of removed FFN computation in DLM compression. Across LLaDA-8B-Instruct and Dream-v0-Instruct-7B, compressed-side state ranks this downstream effect substantially better than local NMSE at fixed denoising phase, while controlled interventions show that correction structure matters beyond magnitude. Using task-label-free calibration, SSR freezes a single restoration window for held-out inference. Under aggressive LLaDA compression, restoring only four transitions recovers 89.9% of the lost accuracy while retaining an estimated 36.8% whole-model MAC saving and outperforming an equal-budget local-error baseline. Dream further shows that restoring dense behavior and repairing the final task are distinct outcomes.
• Abstract（参考訳）: 拡散言語モデル(DLMs)はフレキシブルで並列な生成を可能にするが、反復的復調は計算コストが高く、ますます攻撃的な圧縮を動機付けている。 既存の圧縮目的は、圧縮された計算がいかに局所的にどれだけよく近似するかを主に測定するが、局所的な誤差は、どの除去された計算が実際に下流の遮音軌道にとって重要であるかを明らかにしない。 圧縮されたモデルが到達した正確な電流に基づいて、元のFFNを復元し、その結果の軌跡がどう変化するかを測定するSSR(Same-State Causal Restoration)を導入する。 我々の知る限り、DLM圧縮における除去FFN計算による同一電流入出力閉ループ効果の直接測定はこれが初めてである。 LLaDA-8B-インストラクタとドリーム-v0-インストラクト-7B全体では、圧縮側では、この下流効果は固定化段階で局所的なNMSEよりもかなり良いが、制御された介入は補正構造が極端に重要であることを示している。 タスクラベルなしのキャリブレーションを使用して、SSRはホールドアウト推論のための単一の復元ウィンドウを凍結する。 攻撃的なLLaDA圧縮の下では、4つの遷移のみが損失精度の89.9%を回復し、推定36.8%のモデルMAC保存を保ち、同じ予算のローカルエラーベースラインを上回っている。 さらに夢は、密集した振る舞いを回復し、最終的なタスクを修復することが、明確な結果であることを示している。

関連論文リスト

• Spontaneous Context Restoration: How Language Models Recover from Corrupted Inputs [3.7173066596611926]
  言語モデルは、入力が削除、置換、ミススペルによって破損しても、正しい出力を生成することがある。 我々は,この行動に伴う内部プロセスについて検討し,その過程を文脈復元と呼ぶ。 注意のみのトランスでは、クリーンなシーケンスのみのトレーニングにもかかわらず、自然に回復する。
  論文  参考訳（メタデータ） (2026-09-28T15:54:56Z)
• NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption [67.57304101271096]
  Element-wise Masking (EM) は、エッジによって引き起こされるメッセージをゼロに抑制する。 ノイズ破壊(NC)は、一致したノームなランダムな方向の破損を通じて各メッセージに摂動を与える。 騒音破壊に基づく説明フレームワークであるNICEは、NCが引き起こす不確実性の下で復元境界(英語版)(SRB)を学習する。
  論文  参考訳（メタデータ） (2026-08-17T03:08:14Z)
• LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression [4.953709812007795]
  LLM圧縮に累積誤差補正を施したLos-Aware SVDフレームワークであるLACE-SVDを提案する。 LACE-SVDはまず、候補層ワイド圧縮比によって誘導されるキャリブレーション負-log-like-hood増加を推定する。 その後、圧縮されたモデルをクローズドフォームのローカル更新で洗練し、残ストリーム出力モジュールに対する伝搬認識補正を導入する。
  論文  参考訳（メタデータ） (2026-07-03T07:46:13Z)
• GRAIL: Post-hoc Compensation by Linear Reconstruction for Compressed Networks [9.487330689135595]
  GRAILはモデル圧縮後に適用される単純なゼロファインタニングステップである。 小さいキャリブレーションセットを使用して各ブロックの入出力動作を復元する。 データフリーでデータアウェアなプルーニングや折り畳みベースラインよりも正確さや難易度が一貫して向上する。
  論文  参考訳（メタデータ） (2026-02-27T08:37:55Z)
• Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
  バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。 自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
  論文  参考訳（メタデータ） (2026-02-13T04:05:03Z)
• EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
  拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。 本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
  論文  参考訳（メタデータ） (2025-11-29T23:47:47Z)
• SlimDiff: Training-Free, Activation-Guided Hands-free Slimming of Diffusion Models [7.68494752148263]
  SlimDiffはアクティベーションインフォームド構造圧縮フレームワークである。 DMの注意とフィードフォワード次元の両方を減少させるが、完全に勾配のない。 最大で35%のアクセラレーションと、ベースラインに対する$sim$100Mパラメータの削減を実現している。
  論文  参考訳（メタデータ） (2025-09-25T19:56:17Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。