論文の概要: Demystifying When Pruning Works via Representation Hierarchies

• arxiv url: http://arxiv.org/abs/2603.24652v1
• Date: Wed, 25 Mar 2026 17:55:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:47.915758
• Title: Demystifying When Pruning Works via Representation Hierarchies
• Title（参考訳）: 表現階層による作業実行時のデミスティフィケーション
• Abstract要約: ネットワークプルーニングを表現階層の観点から解析する。 埋め込み空間とロジット空間の表現は、プルーニングによって引き起こされる摂動に対して大きく頑健である。 本分析は,タスクを横断するプルーニングの効果を解析し,その応用のための実践的なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 39.1363221691962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network pruning, which removes less important parameters or architectures, is often expected to improve efficiency while preserving performance. However, this expectation does not consistently hold across language tasks: pruned models can perform well on non-generative tasks but frequently fail in generative settings. To understand this discrepancy, we analyze network pruning from a representation-hierarchy perspective, decomposing the internal computation of language models into three sequential spaces: embedding (hidden representations), logit (pre-softmax outputs), and probability (post-softmax distributions). We find that representations in the embedding and logit spaces are largely robust to pruning-induced perturbations. However, the nonlinear transformation from logits to probabilities amplifies these deviations, which accumulate across time steps and lead to substantial degradation during generation. In contrast, the stability of the categorical-token probability subspace, together with the robustness of the embedding space, supports the effectiveness of pruning for non-generative tasks such as retrieval and multiple-choice selection. Our analysis disentangles the effects of pruning across tasks and provides practical guidance for its application. Code is available at https://github.com/CASE-Lab-UMD/Pruning-on-Representations
• Abstract（参考訳）: 重要でないパラメータやアーキテクチャを取り除くネットワークプルーニングは、性能を維持しながら効率を向上させることがしばしば期待されている。 しかし、この期待は言語タスクをまたいで一貫して保たない: 刈り取られたモデルは非生成的なタスクでうまく機能するが、しばしば生成的な設定で失敗する。 この違いを理解するために、表現階層の観点からネットワークプルーニングを分析し、言語モデルの内部計算を埋め込み(隠れ表現)、ロジット(プレソフトマックス出力)、確率(ポストソフトマックス分布)の3つの逐次空間に分解する。 埋め込み空間とロジット空間の表現は、プルーニングによって引き起こされる摂動に対して大きく頑健である。 しかし、ロジットから確率への非線形変換は、これらの偏差を増幅し、時間ステップにまたがって蓄積し、生成時にかなりの劣化を引き起こす。 対照的に、カテゴリ-トークン確率部分空間の安定性は、埋め込み空間の堅牢性とともに、検索や複数選択のような非生成的タスクに対するプルーニングの有効性を支持している。 本分析は,タスクを横断するプルーニングの効果を解析し,その応用のための実践的なガイダンスを提供する。 コードはhttps://github.com/CASE-Lab-UMD/Pruning-on-Representationsで公開されている。

関連論文リスト

• ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
  ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。 このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。 現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T15:07:46Z)
• Scaling Interpretable Transformers with Parity Bottleneck Layers [0.0]
  GPT-2スケールアーキテクチャを導入し、中間表現は設計によって効率的で広小である。 Deep Parity Bottleneck (DPB) は、学習されたオーバーコンプリート基底をパラメータフリー代数辞書に置き換える。 ParityTransformerの機能は、モデルフォワードがコンストラクションによって通過するのにネイティブであり、SAEsプローブが計算時に実際に使用する機能に対処する。
  論文  参考訳（メタデータ） (2026-07-22T18:25:16Z)
• Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance [58.49623467782041]
  ELUDeはディープニューラルネットワークの解釈可能性を改善する方法である。 潜在表現を、解釈可能な機能のように振る舞う透明で検査可能なサブユニットに分解する。 明示的なトレーニングもラベルも必要とせず、事前訓練されたモデルにも適用できる。
  論文  参考訳（メタデータ） (2026-05-29T13:39:09Z)
• The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models [49.67598869075125]
  自己回帰型言語モデリングにおいて、確率回路(PC)はTransformer-based large language model(LLM)より遅れている 構造化分解可能なPCは, 変圧器分離ランクをvtree整列パーティションに合わせることができるが, この容量は固定されたルーティング構造に整列したパーティションに限られる。 さらに、分解可能なPCは構造化された分解可能なPCよりも厳密に表現可能であることを証明していますが、効果的に最適化することはオープンな課題です。
  論文  参考訳（メタデータ） (2026-05-13T03:22:10Z)
• AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
  AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。 適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。 探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
  論文  参考訳（メタデータ） (2026-04-17T18:25:03Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention [0.0]
  Zonkeyは階層的な拡散モデルであり、生文字から文書レベルの表現まで、完全にトレーニング可能なパイプラインを通じて制限に対処する。 コアとなるのは、確率的開始順序(BOS)決定を学習する、差別化可能なトークンである。 Zonkeyは、ノイズからコヒーレントで可変長のテキストを生成し、創発的な階層を示す。
  論文  参考訳（メタデータ） (2026-01-29T14:17:37Z)
• Improving Random Forests by Smoothing [13.20678906714433]
  カーネルベースの平滑化機構を学習されたランダムフォレストや任意の定数予測関数に適用する。 結果として得られたモデルは、基礎となるランダム森林の予測性能を一貫して改善する。
  論文  参考訳（メタデータ） (2025-05-11T05:39:08Z)
• Variational Autoencoding of Dental Point Clouds [10.137124603866036]
  本稿では,歯のメッシュと点雲の広範なコレクションであるFDI 16データセットを紹介する。 本稿では,変分FoldingNet(VF-Net)という,点群に対する完全確率的変分オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2023-07-20T14:18:44Z)
• Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers [29.319666323947708]
  本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。 本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。 我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
  論文  参考訳（メタデータ） (2023-05-25T07:39:41Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity [26.518803984578867]
  離散的な(分類的または構造化された)潜在変数を持つニューラルネットワークモデルを訓練することは、計算的に困難である。 典型的には、真の限界のサンプリングに基づく近似に頼っている。 そこで本研究では,これらの推定器を高精度かつ効率的なマージン化によって置き換える新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-03T19:36:35Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。