Fugu-MT 論文翻訳(概要): BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks

論文の概要: BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks

arxiv url: http://arxiv.org/abs/2610.02524v1
Date: Thu, 01 Oct 2026 21:53:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 19:20:54.755985
Title: BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
Title（参考訳）: BaCP:超スパースニューラルネットワークにおける表現保存のためのバックボーンコントラストプルーニング
Abstract要約: 極端な間隔での非構造的プルーニングは、しばしば表現的崩壊に悩まされ、精度が急落する。 Backbone Contrastive Pruning (BaCP)は、スパースネットワークの埋め込み空間を事前訓練された、微調整された、歴史的なスナップショットモデルと整列させることで正規化する。 90の設定で評価され、BaCPは標準プルーニングが失敗する極端なスパシティレシエーションにおいて精度を大幅に改善し、表現がそのまま残るベースラインに近い。
参考スコア（独自算出の注目度）: 0.6299766708197881
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Unstructured pruning at extreme sparsity often suffers from representational collapse, causing sharp drops in accuracy. To address this, we study Backbone Contrastive Pruning (BaCP), which regularizes the sparse network's embedding space by aligning it with pretrained, fine-tuned, and historical snapshot models. Building on the contrastive decomposition of the CAP framework (Xu et al., 2022), we provide a rigorous matched-budget characterization of this approach across multiple pruning criteria. Evaluated across 90 settings, BaCP improves accuracy substantially in extreme sparsity regimes where standard pruning fails, and is close to baseline where representations remain intact.
Abstract（参考訳）: 極端な間隔での非構造的プルーニングは、しばしば表現的崩壊に悩まされ、精度が急落する。これを解決するために,バックボーン・コントラスト・プルーニング (BaCP) について検討した。 CAPフレームワークの対照的な分解(Xu et al , 2022)に基づいて, 複数のプルーニング基準にまたがるこのアプローチの厳密な整合予算特性を提供する。 90の設定で評価され、BaCPは標準プルーニングが失敗する極端なスパシティレシエーションにおいて精度を大幅に改善し、表現がそのまま残るベースラインに近い。

関連論文リスト

Across the Loss Landscape with Progressive Growth [51.366966420881646]
成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
論文参考訳（メタデータ） (2026-08-25T13:50:48Z)
Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
ブートストラップはオフライン強化学習における推定誤差を増幅する本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。 Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
論文参考訳（メタデータ） (2026-08-04T04:30:02Z)
Progressive Cramming: Reliable Token Compression and What It Reveals [5.7789316833104225]
Token crammingは、ほぼ完璧に再構成された学習された埋め込みにシーケンスを圧縮する。プログレッシブクラミング(progressive cramming)を導入し、ターゲットの接頭辞のトークン・バイ・トケン(token)を成長させ、再構成が不可能な場合にのみ停止する。
論文参考訳（メタデータ） (2026-07-23T11:46:36Z)
DCP-Prune: Ultra-Low Token Pruning with Distribution Consistency Preservation [55.38884985761757]
最近のビジョントークンプルーニング法は、中程度のトークン予算ではモデル性能を効果的に維持するが、超低トークン予算では不安定になる。 Anchor-Context Graph Recovery (ACGR) と Text-Aware Token Cluster Selection (TATCS) からなる2段階のプルーニングフレームワークを提案する。超低トークン予算下で,本手法がより優れた,より安定した性能を実現することを示す実験を行った。
論文参考訳（メタデータ） (2026-06-15T12:24:07Z)
DistMatch: Adaptive Binning via Distribution Matching for Robust Sequential Conformal Prediction [23.741565251166488]
DistMatchは、KS(Kolmogorov-Smirnov)統計を用いて、バイナリツリー内で残余を分割するバイナリベースの方法である。この分断によって葉がほぼ交換可能となり,再重み付けの必要がなくなることを示す。
論文参考訳（メタデータ） (2026-05-30T11:57:29Z)
Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文参考訳（メタデータ） (2026-05-21T16:45:31Z)
DegBins: Degradation-Driven Binning for Depth Super-Resolution [57.61783461543096]
DegBinsは、劣化駆動のビンニングを利用して残留モデリングを適応的に強化する新しいDSRフレームワークである。 DegBinsは、精度、堅牢性、一般化の観点から、既存の最先端メソッドを一貫して上回っている。
論文参考訳（メタデータ） (2026-05-10T16:17:11Z)
RareCP: Regime-Aware Retrieval for Efficient Conformal Prediction [11.259098206661077]
本稿では適応型コンフォーマル時系列予測のためのレギュレーション対応検索手法であるRareCPを紹介する。 RareCPはコサイン・アテンションの専門家の混合を通して局所的なキャリブレーション表現を学習する。符号付き残基上に重み付き共形量子が形成され、非対称な予測間隔が生じる。
論文参考訳（メタデータ） (2026-05-09T10:12:07Z)
Restoration-Aligned Generative Flow Models for Blind Motion Deblurring [57.425021485907756]
本稿では,フロー軌跡自体を再構成することで,不整合を解消するフレームワークであるDeFlowを紹介する。この定式化の下では、標準フローマッチング損失は自然に残留損失の形を取る。 GoPro、HIDE、RealBlur、RWBIの実験では、DeFlowは強力な復元忠実性と知覚リアリズムを実現している。
論文参考訳（メタデータ） (2026-05-09T10:05:51Z)
Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations [53.61624356747686]
JEPA(Joint-Embedding Predictive Architectures)は、ビュー不変表現を学習し、崩壊防止のためのプロジェクションベースの分布マッチングを認める。既存のアプローチは、等方的ガウス分布に対する表現を正則化するが、本質的には密度表現を好んでおり、効率的な表現で観察されるスパーシティの重要な性質を捉えることができない。本稿では,Rectified Generalized Gaussian(RGG)分布に表現を整合させる2サンプル分布整合損失であるRDMRegを導入する。
論文参考訳（メタデータ） (2026-02-01T21:49:30Z)
End-Cut Preference in Survival Trees [0.0]
エンドカット選好(ECP)問題は、特徴範囲の境界付近のスプリットポイントを好む傾向を示すもので、CARTではよく知られている問題である。本稿では,ログランク検定統計値の最大化により,greedy search を用いて最適カットオフ点を選択する際に ECP が生じることを示す。そこで我々は,スムーズなシグモイド・サロゲート (SSS) アプローチを提案し,スムーズなシグモイド関数に置き換えた。
論文参考訳（メタデータ） (2025-09-22T23:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。