論文の概要: TPV: Parameter Perturbations Through the Lens of Test Prediction Variance

• arxiv url: http://arxiv.org/abs/2512.11089v1
• Date: Thu, 11 Dec 2025 20:04:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.557127
• Title: TPV: Parameter Perturbations Through the Lens of Test Prediction Variance
• Title（参考訳）: TPV:テスト予測変動レンズによるパラメータ摂動
• Authors: Devansh Arpit,
• Abstract要約: テスト予測分散(TPV)は、トレーニングされた解の周囲の摂動に対するモデル出力の1次感度である。 TPVは、訓練されたモデルの幾何学を特定の摂動機構から分離する、完全なラベルのない物体である。
• 参考スコア（独自算出の注目度）: 1.9443009938188445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We identify test prediction variance (TPV) -- the first-order sensitivity of model outputs to parameter perturbations around a trained solution -- as a unifying quantity that links several classical observations about generalization in deep networks. TPV is a fully label-free object whose trace form separates the geometry of the trained model from the specific perturbation mechanism, allowing a broad family of parameter perturbations like SGD noise, label noise, finite-precision noise, and other post-training perturbations to be analyzed under a single framework. Theoretically, we show that TPV estimated on the training set converges to its test-set value in the overparameterized limit, providing the first result that prediction variance under local parameter perturbations can be inferred from training inputs alone. Empirically, TPV exhibits a striking stability across datasets and architectures -- including extremely narrow networks -- and correlates well with clean test loss. Finally, we demonstrate that modeling pruning as a TPV perturbation yields a simple label-free importance measure that performs competitively with state-of-the-art pruning methods, illustrating the practical utility of TPV. Code available at github.com/devansharpit/TPV.
• Abstract（参考訳）: 実験予測分散(TPV)は、訓練された解の周りのパラメータ摂動に対するモデル出力の1次感度であり、ディープネットワークにおける一般化に関する古典的な観測を結びつける統一量である。 TPVは、訓練されたモデルの幾何学を特定の摂動メカニズムから切り離し、SGDノイズ、ラベルノイズ、有限精度ノイズなどの幅広いパラメータ摂動のファミリーを単一のフレームワークで解析することができる完全なラベルのない物体である。 理論的には、トレーニングセットに基づいて推定されたTPVは、過パラメータ化限界におけるテストセット値に収束し、トレーニング入力のみから局所パラメータ摂動下での予測分散を推定できることを示す。 TPVは、非常に狭いネットワークを含むデータセットやアーキテクチャ間で顕著な安定性を示し、クリーンなテスト損失と相関する。 最後に、TPV摂動としてのモデリングプルーニングは、最先端のプルーニング手法と競合する単純なラベルのない重要度尺度となり、TPVの実用性を実証する。 github.com/devansharpit/TPVで公開されている。

関連論文リスト

• Long-horizon Reasoning Agent for Olympiad-Level Mathematical Problem Solving [65.02106674311908]
  本稿では,マルチラウンド階層的推論を行う長期水平数学エージェントであるIntern-S1-MOを紹介する。 コンパクトメモリをレムマの形で維持することにより、Intern-S1-MOはレムマリッチ推論空間をより自由に探索することができる。 実験の結果、インターンS1-MOはIMO2025の非幾何学的問題で35点中26点を得ることができ、銀メダリストのパフォーマンスに匹敵することがわかった。
  論文  参考訳（メタデータ） (2025-12-11T15:26:28Z)
• TULiP: Test-time Uncertainty Estimation via Linearization and Weight Perturbation [11.334867025651233]
  OOD検出のための理論駆動型不確実性推定器TULiPを提案する。 本手法では,収束前にネットワークに適用される仮説的摂動を考察する。 提案手法は,特に近分布試料について,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-05-22T17:16:41Z)
• TTAQ: Towards Stable Post-training Quantization in Continuous Domain Adaptation [3.7024647541541014]
  トレーニング後の量子化(PTQ)は、完全な精度のモデルを小さなキャリブレーションセット上で低ビット表現に量子化することで、ハードウェアの過大なコストを削減する。 従来のPTQメソッドは、動的で絶え間なく変化する現実世界のシナリオで失敗することが多い。 本稿では、従来のPTQの性能劣化に対処するため、TTAQと呼ばれるテスト時間適応のための新しい安定な量子化プロセスを提案する。
  論文  参考訳（メタデータ） (2024-12-13T06:34:59Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• CC-Cert: A Probabilistic Approach to Certify General Robustness of Neural Networks [58.29502185344086]
  安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。 意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。 我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
  論文  参考訳（メタデータ） (2021-09-22T12:46:04Z)
• Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
  本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。 適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T16:09:11Z)
• A generative adversarial network approach to calibration of local stochastic volatility models [2.1485350418225244]
  局所ボラティリティ(LSV)モデルのキャリブレーションのための完全データ駆動手法を提案する。 我々は、フィードフォワードニューラルネットワークのファミリーによってレバレッジ関数をパラメータ化し、利用可能な市場オプション価格から直接パラメータを学習する。 これは、ニューラルSDEと(因果)生成的敵ネットワークの文脈で見る必要がある。
  論文  参考訳（メタデータ） (2020-05-05T21:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。