論文の概要: ModHiFi: Identifying High Fidelity predictive components for Model Modification
- arxiv url: http://arxiv.org/abs/2511.19566v1
- Date: Mon, 24 Nov 2025 15:56:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 17:37:04.100857
- Title: ModHiFi: Identifying High Fidelity predictive components for Model Modification
- Title（参考訳）: ModHiFi:モデル修正のための高忠実度予測コンポーネントの同定
- Authors: Dhruva Kashyap, Chaitanya Murti, Pranav K Nayak, Tanay Narshana, Chiranjib Bhattacharyya,
- Abstract要約: ModHiFiは、トレーニングデータや損失関数アクセスを必要としないモデル修正のためのアルゴリズムである。
構造化プルーニングのためのModHiFi-Pは、ImageNetモデル上での最先端技術よりも11%のスピードアップを実現している。
ModHiFi-Uは、クラスレベルでのアンラーニングのために、微調整なしでCIFAR-10上で完全なアンラーニングを達成する。
- 参考スコア（独自算出の注目度）: 15.97677204837071
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open weight models, which are ubiquitous, rarely provide access to their training data or loss function. This makes modifying such models for tasks such as pruning or unlearning constrained by this unavailability an active area of research. Existing techniques typically require gradients or ground-truth labels, rendering them infeasible in settings with limited computational resources. In this work, we investigate the fundamental question of identifying components that are critical to the model's predictive performance, without access to either gradients or the loss function, and with only distributional access such as synthetic data. We theoretically demonstrate that the global reconstruction error is linearly bounded by local reconstruction errors for Lipschitz-continuous networks such as CNNs and well-trained Transformers (which, contrary to existing literature, we find exhibit Lipschitz continuity). This motivates using the locally reconstructive behavior of component subsets to quantify their global importance, via a metric that we term Subset Fidelity. In the uncorrelated features setting, selecting individual components via their Subset Fidelity scores is optimal, which we use to propose ModHiFi, an algorithm for model modification that requires no training data or loss function access. ModHiFi-P, for structured pruning, achieves an 11% speedup over the current state of the art on ImageNet models and competitive performance on language models. ModHiFi-U, for classwise unlearning, achieves complete unlearning on CIFAR-10 without fine-tuning and demonstrates competitive performance on Swin Transformers.
- Abstract（参考訳）: オープンウェイトモデルはユビキタスであり、トレーニングデータや損失関数へのアクセスはめったにない。
これにより、プルーニングやアンラーニングなどのタスクに対するそのようなモデルの変更が、この不使用性によって制約されることは、研究の活発な領域となる。
既存の技術では、グラデーションやグラウンドトルースラベルが必要であり、計算資源が限られている設定では不可能である。
本研究では,モデルの予測性能に重要なコンポーネントを,勾配や損失関数のいずれにもアクセスせず,合成データなどの分散アクセスのみを伴わずに同定する上での基本的課題について検討する。
理論的には、大域的再構成誤差は、CNNやよく訓練されたトランスフォーマーのようなリプシッツ連続ネットワークの局所的再構成誤差(既存の文献とは対照的に、リプシッツ連続性を示す)によって線形に有界であることが示されている。
これは、部分集合の局所的再構成的挙動を用いて、部分集合の忠実度と呼ばれる計量を通じて、その大域的重要性を定量化する。
非相関な機能設定では、各コンポーネントをサブセットフィデリティスコアで選択することが最適であり、トレーニングデータや損失関数アクセスを必要としないモデル修正アルゴリズムであるModHiFiを提案する。
構造化プルーニングのためのModHiFi-Pは、ImageNetモデルの最先端と言語モデルの競合性能に対して11%のスピードアップを達成する。
ModHiFi-Uは、クラスレベルでのアンラーニングのために、微調整なしでCIFAR-10で完全なアンラーニングを達成し、Swin Transformer上での競合性能を示す。
関連論文リスト
- Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning [19.12792297140574]
継続的な学習は、以前のタスクのパフォーマンスを維持しながら、一連のタスクでモデルを漸進的にトレーニングすることを目的としています。
データの保存と再生は、プライバシやセキュリティ上の制約によって不可能になることが多い。
単層最適化における高速収束にインスパイアされたPMI(Per-layer Model Inversion)を提案する。
論文 参考訳（メタデータ） (2025-10-30T09:58:48Z) - MPRU: Modular Projection-Redistribution Unlearning as Output Filter for Classification Pipelines [23.370444162993707]
本稿では,機械アンラーニング(MU)へのインセンティブ的アプローチを提案する。
学習は、最後のトレーニングシーケンスを逆転させることで行うことができる。これは、モデルの最後にプロジェクション-再配布層を追加することで実装される。
実験結果から,計算コストの低減を図った完全再学習モデルと一貫した出力が得られた。
論文 参考訳（メタデータ） (2025-10-30T08:09:37Z) - Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。
本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。
提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
論文 参考訳（メタデータ） (2025-10-20T16:15:03Z) - SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。
本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文 参考訳（メタデータ） (2024-07-23T20:34:23Z) - Identifying and Mitigating Model Failures through Few-shot CLIP-aided
Diffusion Generation [65.268245109828]
本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。
これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。
本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
論文 参考訳（メタデータ） (2023-12-09T04:43:49Z) - Adaptive Sparsity Level during Training for Efficient Time Series Forecasting with Transformers [20.23085795744602]
textbfAdaptive textbfSparsity textbfPALS(textbfPALS)を提案する。
PALSはスパーストレーニングとトレーニングの方法からインスピレーションを得ている。
スパースニューラルネットワークのトレーニングにおいて、新しい"拡張"メカニズムを導入し、モデルを動的に縮小、拡張、あるいは安定して適切なスパースレベルを見つけることを可能にする。
論文 参考訳（メタデータ） (2023-05-28T06:57:27Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳（メタデータ） (2023-02-17T18:45:04Z) - Understanding Dynamics of Nonlinear Representation Learning and Its
Application [12.697842097171119]
暗黙的非線形表現学習のダイナミクスについて検討する。
我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。
我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
論文 参考訳（メタデータ） (2021-06-28T16:31:30Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。