論文の概要: CausalGate: Causal Importance Distillation for Transformer Module Pruning

• arxiv url: http://arxiv.org/abs/2607.22720v1
• Date: Tue, 21 Jul 2026 20:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.841246
• Title: CausalGate: Causal Importance Distillation for Transformer Module Pruning
• Title（参考訳）: CausalGate: Transformer Module PruningにおけるCausal Importance Distillation
• Abstract要約: CausalGateは、計算効率の良いランタイム推論のための介入誘導フレームワークである。 最終ロジット分布のKullback-Leibler分散による意味的損傷を測定する。 動的ルーティングやレイヤスキャッピングベースラインよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing adaptive inference methods for Large Language Models rely on observational heuristics, such as hidden-state similarity or activation magnitudes, to drop redundant modules. However, these correlation-based metrics often fail to capture subtle, non-linear structural computations vital for semantic accuracy. We introduce CausalGate, an intervention-guided framework for compute-efficient transformer inference. During a calibration phase, CausalGate isolates individual Attention and MLP sub-layers, zeros out their respective outputs, and measures the exact semantic damage via the Kullback-Leibler divergence of the final logit distribution. To eliminate runtime routing overhead, this structural importance hierarchy is distilled into a global set of static, lightweight scalar gates using an Exponential Moving Average smoothing objective paired with a differentiable pairwise ranking loss. Evaluated on TinyLlama-1.1B, Qwen2.5-3B, and Llama-3.1-8B across language modeling and commonsense reasoning benchmarks, CausalGate consistently outperforms prominent dynamic routing and layer-skipping baselines, translating theoretical compute savings into concrete hardware latency reductions with zero operational overhead.
• Abstract（参考訳）: 既存の大規模言語モデルに対する適応推論手法は、冗長モジュールをドロップするために、隠れ状態の類似性やアクティベーションサイズのような観測的ヒューリスティックに依存している。 しかしながら、これらの相関に基づくメトリクスは、意味的正確性に不可欠な微妙で非線形な構造計算を捉えるのに失敗することが多い。 本稿では,計算効率の高いトランスフォーマー推論のための介入誘導フレームワークCausalGateを紹介する。 キャリブレーションフェーズでは、CausalGateは個々のアテンションとMPPサブレイヤを分離し、それぞれの出力をゼロにし、最終ロジット分布のKullback-Leibler分散を介して正確な意味的損傷を測定する。 実行時ルーティングのオーバーヘッドをなくすため、この構造的重要度階層は、微分可能なペアワイドランキングの損失と組み合わせた指数移動平均平滑化目標を用いて、静的で軽量なスカラーゲートのグローバルセットに蒸留される。 TinyLlama-1.1B、Qwen2.5-3B、Llama-3.1-8Bを言語モデリングとコモンセンス推論のベンチマークで評価し、CausalGateは目立った動的ルーティングとレイヤースキッピングベースラインを一貫して上回り、理論計算の節約を、運用上のオーバーヘッドをゼロにして具体的なハードウェアレイテンシ削減に変換した。

関連論文リスト

• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• UniRank: Unified Rank Allocation for Low-Rank LLM Compression [9.742379971053806]
  グローバルな低ランク割当をソート・アンド・トランケーションパイプラインとして定式化する。 高い入力出力コサイン類似度と低い有効ランクとの強い相関性を検証する。 本稿では,分解重みに対して直接LoRAチューニングを行うランク保存ファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-06-20T03:10:33Z)
• When Attribution Patching Lies: Diagnosis and a Second-Order Correction [9.338965648455238]
  本研究は, 下流ネットワークの非直線性に起因する誤差が, パッチ成分の局所曲率よりも大きいことを示す。 この洞察は、(i)信頼できない見積もりを検出するための信頼性スコア、(ii)エラー境界がポテンシャル属性の誤特定を定量化すること、(iii)Hessian-vector-product correctが1つの後進パスで先行エラーを除去すること、の3つの実用的なツールをもたらす。
  論文  参考訳（メタデータ） (2026-06-05T05:20:32Z)
• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Towards Generalized Image Manipulation Localization via Score-based Model [38.03898206912958]
  IMLにスコアベース生成モデルを導入する新しいフレームワークであるDiffIMLを提案する。 この定式化の下では、拡散モデルは学習したスコア関数の効果的な数値解法として機能する。 8つの非生成的および3つの生成的ベンチマークの実験は、DiffIMLが一貫して最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-05-16T08:39:54Z)
• Generalization and Scaling Laws for Mixture-of-Experts Transformers [0.0]
  我々は,Mixture-of-Experts (MoE) 変換器の一般化とスケーリングの理論を開発する。 本手法は, アクティブパラメータの予算で計量エントロピーがスケールする超ノルム被覆数界を導出し, MoE 固有のルーティングオーバヘッドを発生させる。 我々は,MoE アーキテクチャの構成的近似定理を証明し,近似構成の下では,アクティブキャパシティのスケーリングや専門家数の増加によって誤差が減少することを示した。
  論文  参考訳（メタデータ） (2026-04-10T09:59:48Z)
• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• Noise-Robust Tiny Object Localization with Flows [63.60972031108944]
  フレキシブルなエラーモデリングと不確実性誘導最適化に正規化フローを活用するノイズローバストローカライゼーションフレームワークを提案する。 本手法は,フローベース誤差モデルを用いて,複雑な非ガウス予測分布を抽出し,ノイズの多い監視下で頑健な学習を可能にする。 不確実性を考慮した勾配変調機構は、トレーニングを安定化しながら過度な適合を緩和し、高不確実でノイズの強いサンプルからの学習をさらに抑制する。
  論文  参考訳（メタデータ） (2026-01-02T09:16:55Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• LLM-BIP: Structured Pruning for Large Language Models with Block-Wise Forward Importance Propagation [0.0]
  ブロック単位の重要スコアの伝搬に基づくより正確なプルーニング指標を提案する。 我々は,LLaMA-7B,Vicuna-7B,LLaMA-13Bを用いて,共通ゼロショットタスクを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-12-09T11:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。