論文の概要: Data-Free Metrics Don't Work: The Missing Invariance Under Functionally Preserving Reparameterisations
- arxiv url: http://arxiv.org/abs/2611.15621v1
- Date: Wed, 11 Nov 2026 15:38:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.185007
- Title: Data-Free Metrics Don't Work: The Missing Invariance Under Functionally Preserving Reparameterisations
- Title(参考訳): データ不要なメトリクスは機能しない: 機能的パラメータ化の下での欠如
- Abstract要約: 特に、ランダム行列理論(RMT)は、事前訓練されたモデルの品質よりも予測力を主張するデータフリーな指標を提供する。
事前学習したモデルのパラメータを関数的に保存することは任意のメトリクスを持つことができることを示す。
我々は、多くの事前訓練されたモデルが「良い」範囲でデータフリーなメトリクスを持っている場合、その一部はモデルの初期化に依存していることを示す。
- 参考スコア(独自算出の注目度): 3.8233569758620054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-free methods for analysing and understanding the layers of neural networks offer many metrics for quantifying notions of 'strong' versus 'weak' layers, with the promise of increased interpretability. In particular, random matrix theory (RMT) offers data-free metrics that claim predictive power over the quality of pre-trained models at a layerwise precision and the ability to identify model pathologies, indicating a unique relationship with generalisation. As a result, metrics from RMT are championed for pre-training optimisation strategies and post-training compression. We establish that RMT-based metrics are unrelated to performance or training by showing that functionally preserving reparametrisations of a pre-trained model can have arbitrary metrics. We show this across a range of architectures and scales. To create functionally preserving reparametrisations, we exploit the well-established phenomenon of criticality: some layers can be re-initialised or re-randomised without affecting the functional behaviour of the model -- they are called robust -- while others cannot -- they are called critical. Re-initialising or re-randomising robust layers provides functionally preserving reparametrisations for which RMT-based metrics are arbitrary. Moreover, we show that relationships between metrics offered by RMT are spuriously related to generalisation. We conclude by showing that if many pre-trained models have data-free metrics in a 'good' range, it is, in part, dependent on model initialisation. Project page available at: https://gmw99.github.io/data-free-metrics-dont-work
- Abstract(参考訳): ニューラルネットワークの層の解析と理解のためのデータフリーメソッドは、解釈可能性の向上を約束して、"強い"層と"弱い"層の概念を定量化するための多くの指標を提供する。
特に、ランダム行列理論(RMT)は、レイヤーワイドの精度で事前訓練されたモデルの品質よりも予測力を主張するデータフリーな指標を提供し、モデル病理を識別し、一般化とユニークな関係を示す。
その結果、RTTのメトリクスは、事前学習の最適化戦略と後学習の圧縮のために支持される。
我々は、RTTベースのメトリクスがパフォーマンスやトレーニングとは無関係であることを証明し、事前訓練されたモデルのパラメータを関数的に保存することは任意のメトリクスを持つことを示す。
これをさまざまなアーキテクチャやスケールで示しています。
いくつかのレイヤは、モデルの機能的振る舞いに影響を与えることなく、再初期化または再ランダム化することができます。
堅牢なレイヤの再初期化あるいは再ランダム化は、RTTベースのメトリクスが任意であるようなパラメータを機能的に保存する。
さらに, RMTにより提供される指標間の関係は, 一般化に急激な関係があることが示唆された。
我々は、多くの事前訓練されたモデルが「良い」範囲でデータフリーなメトリクスを持っている場合、その一部はモデルの初期化に依存していることを示す。
https://gmw99.github.io/data-free-metrics-dont-work
関連論文リスト
- Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。
このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。
多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
論文 参考訳(メタデータ) (2026-05-28T13:26:53Z) - Efficient Unlearning through Maximizing Relearning Convergence Delay [27.079338164502634]
重み空間と予測空間の両方の変化をキャプチャする「再学習収束遅延」と呼ばれる新しい指標を導入する。
このメトリクスは、未学習のモデルから回収された忘れられたデータのリスクを評価するために使用することができる。
本研究では,その性能を劣化させることにより,忘れる集合の影響を除去する影響排除フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-10T15:06:50Z) - Gaussian-Mixture-Model Q-Functions for Policy Iteration in Reinforcement Learning [7.056697401102689]
本稿では, ガウス混合モデル(GMM)のQ-関数損失の直接サロゲートとして, 関数近似を新たに導入する。
これらのパラメトリックモデルはGMM-QFと呼ばれ、相当な表現能力を持っている。
それらは、幅広い種類の函数に対する普遍近似である。
論文 参考訳(メタデータ) (2025-12-21T15:00:32Z) - Scalable Data Attribution via Forward-Only Test-Time Inference [3.5466521714943138]
データ属性は、モデルを形作ったトレーニング例に遡る。
同一の1次対物目標を保存するデータ属性法を提案する。
提案手法は,大規模事前学習モデルにおける実時間データ属性の理論的枠組みを提供する。
論文 参考訳(メタデータ) (2025-11-25T00:11:39Z) - Intrinsic Training Signals for Federated Learning Aggregation [13.540945877050525]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。
この研究は、既存のトレーニング信号だけで効果的なモデルマージが達成できることを実証している。
論文 参考訳(メタデータ) (2025-07-09T13:03:23Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳(メタデータ) (2025-05-21T07:16:44Z) - Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。
本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
論文 参考訳(メタデータ) (2025-02-06T13:23:53Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳(メタデータ) (2024-11-12T09:52:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。