論文の概要: Unified Response Geometry for Structured Pruning
- arxiv url: http://arxiv.org/abs/2609.18239v1
- Date: Wed, 16 Sep 2026 07:15:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.688323
- Title: Unified Response Geometry for Structured Pruning
- Title（参考訳）: 構造化プルーニングのための統一応答幾何
- Abstract要約: 構造的プルーニングを大きな関節応答能力を持つ部分集合の選択として定式化し,その後に機能的実現ステップを分離する。
我々の統一応答幾何学は、各候補を (M(D,R)=D1/2RD1/2) に写像し、その行列式とシュル=グレディ残基を併用して非冗長座標を選択する。
選択したサブセットを実行可能なネットワークに変換するために、リッジ補償とバッチ正規化統計の再検討により、予測可能な削除応答を後続の重みに折り畳む。
- 参考スコア（独自算出の注目度）: 0.33842793760651557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured pruning is commonly formulated as ranking individual channels, although channel responses can be complementary or cancel through downstream mixing. Motivated by these response interactions, we formulate pruning as the selection of a subset with large joint response capacity, followed by a separate functional realization step. Our unified response geometry maps each candidate set to \(M(D,R)=D^{1/2}RD^{1/2}\) and uses its determinant together with Schur-greedy residuals to select non-redundant coordinates. The same construction yields two information-conditioned instances: an unlabeled instance based on activation covariance, and a task-conditioned instance that combines activation and gradient variance for response scale with gradient correlation for complementarity. To convert the selected subset into an executable network, we fold predictable removed responses into successor weights through ridge compensation and recalibrate batch-normalization statistics, without fine-tuning the network. On ImageNet ResNet-50, the unlabeled instance reaches \(65.4\%\) and \(53.9\%\) Top-1 accuracy at 30\% and 40\% deletion, versus \(59.8\%\) and \(43.1\%\) for strength-only selection; the task-conditioned instance reaches \(67.7\%\) and \(56.3\%\) under the same protocol. A six-family screen shows architecture-dependent behavior, with positive relative contrasts in several convolutional and expansion-layer settings and clear boundary cases in windowed attention. These results support response geometry as a conditional principle for structured pruning, with its benefit determined jointly by the observed response and the architecture in which that response is realized.
- Abstract（参考訳）: 構造化プルーニングは一般に個々のチャネルのランク付けとして定式化されるが、チャネル応答は下流のミキシングによって相補的あるいはキャンセルすることができる。
これらの応答相互作用により、我々はプルーニングを、大きな結合応答能力を持つサブセットの選択として定式化し、その後、別の機能的実現ステップを踏む。
我々の統一応答幾何学は、各候補集合を \(M(D,R)=D^{1/2}RD^{1/2}\) に写像し、その行列式をシュル=グリーディ残基と共に使用して非冗長座標を選択する。
同じ構成では、アクティベーション共分散に基づく未ラベルのインスタンスと、応答スケールのアクティベーションと勾配分散と相補性のための勾配相関を組み合わせたタスク条件のインスタンスという、2つの情報条件のインスタンスが得られる。
選択したサブセットを実行可能なネットワークに変換するため、ネットワークを微調整することなく、リッジ補償とバッチ正規化統計の再検討により、予測可能な削除応答を後続の重みに折り畳む。
ImageNet ResNet-50では、未ラベルのインスタンスは30\%と40\%の精度で \(65.4\%\) と \(53.9\%\) に到達し、強みのみの選択では \(59.8\%\) と \(43.1\%\) に到達し、同じプロトコルではタスク条件のインスタンスは \(67.7\%\) と \(56.3\%\) に達する。
6ファミリーの画面は、いくつかの畳み込みおよび拡張層設定における正の相対的なコントラストと、窓面の注意における明確な境界ケースと、アーキテクチャに依存した振舞いを示す。
これらの結果は, 実測された応答と, その応答が実現されるアーキテクチャによって共同で決定される, 構造化プルーニングの条件原理としての応答幾何学を支持する。
関連論文リスト
- Observational Indistinguishability and Integrity Blind Regions in Hybrid Quantum-Classical Workflows [0.0]
本稿では,ハイブリッド量子古典的ワークフロー整合性のためのクレーム相対的エビデンス/参照フレームワークを提案する。
観測上の不明瞭さは、有限バッチ統計ミスとは異なる構造的な盲点をもたらす。
論文 参考訳（メタデータ） (2026-09-15T13:16:37Z) - Activation-Space Order-Swap Geometry: A Site-Asymmetry Audit [0.0]
順序に依存したアクティベーション統計は、しばしば相互作用の証拠として解釈されるが、その解釈は介入がネットワークに入る場所によって構成される。
二重微分可能な読み出しの場合、オープンパスのオーダースワップは単一の介入によって測定された正準加法的応答に分解される。
6つのオープンウェイト言語モデルファミリの中で、シングルインターベンションベースラインはブラケット標準の84.3-97.7%を説明している。
論文 参考訳（メタデータ） (2026-08-26T02:54:02Z) - Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。
1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
論文 参考訳（メタデータ） (2026-08-11T15:07:28Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - SliceGraph: Mapping Process Isomers in Multi-Run Chain-of-Thought Reasoning [60.650808962786364]
我々は、CoTスライス間の疎活性化キージャカード類似性に対して、相互kNNによって構築された問題モデル-セルグラフであるSliceGraphを提案する。
同じ正規化された回答を共有する正しいCoTは、複数のプロセスファミリに分割されていることを示す。
また、プロセスファミリは、一致したnull制御の下で異なる遷移カーネルで同じアトラスをナビゲートすることを示す。
論文 参考訳（メタデータ） (2026-05-14T09:37:26Z) - ATLAS: Constitution-Conditioned Latent Geometry and Redistribution Across Language Models and Neural Perturbation Data [0.0]
構成条件付きポストトレーニングは、モデルが学習した表現幾何学の構造化摂動として分析することができる。
グラフ, モデル, 基板間の構成による隠れ状態構造をトレースする, 幾何学第一のプログラムATLASを紹介する。
論文 参考訳（メタデータ） (2026-04-19T23:26:02Z) - Generalized Parallel Scaling with Interdependent Generations [58.43994876504917]
本稿では,相互依存応答を並列に生成するブリッジを提案する。
少数の新しいパラメータしか持たず、ブリッジは強化学習による相対平均精度の向上を図っている。
論文 参考訳（メタデータ） (2025-10-01T17:33:35Z) - Adaptive feature recombination and recalibration for semantic
segmentation with Fully Convolutional Networks [57.64866581615309]
完全畳み込みネットワークを用いたセマンティックセグメンテーションに適応した特徴の組換えと空間適応型再分類ブロックを提案する。
その結果、再結合と再校正は競争ベースラインの結果を改善し、3つの異なる問題にまたがって一般化することを示した。
論文 参考訳（メタデータ） (2020-06-19T15:45:03Z) - Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。
本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
論文 参考訳（メタデータ） (2020-05-18T17:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。