論文の概要: Sensitivity of Stability: Theoretical & Empirical Analysis of Replicability for Adaptive Data Selection in Transfer Learning
- arxiv url: http://arxiv.org/abs/2508.04901v1
- Date: Wed, 06 Aug 2025 21:56:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 18:59:39.654894
- Title: Sensitivity of Stability: Theoretical & Empirical Analysis of Replicability for Adaptive Data Selection in Transfer Learning
- Title（参考訳）: 安定感:伝達学習における適応データ選択の再現性の理論的・実証的分析
- Authors: Prabhav Singh, Jessica Sorrell,
- Abstract要約: 適応効率と結果整合性の基本的なトレードオフを定量化する数学的枠組みを導入する。
グラデーションベースやカリキュラム学習のような高度適応戦略が優れたタスク性能を実現するが、高い複製性障害率に悩まされていることを示す。
また、ソースドメイン事前トレーニングは、パフォーマンス向上を維持しながら、障害率を最大30%削減する強力な緩和メカニズムを提供することを示した。
- 参考スコア（独自算出の注目度）: 2.5526642520700946
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread adoption of transfer learning has revolutionized machine learning by enabling efficient adaptation of pre-trained models to new domains. However, the reliability of these adaptations remains poorly understood, particularly when using adaptive data selection strategies that dynamically prioritize training examples. We present a comprehensive theoretical and empirical analysis of replicability in transfer learning, introducing a mathematical framework that quantifies the fundamental trade-off between adaptation effectiveness and result consistency. Our key contribution is the formalization of selection sensitivity ($\Delta_Q$), a measure that captures how adaptive selection strategies respond to perturbations in training data. We prove that replicability failure probability: the likelihood that two independent training runs produce models differing in performance by more than a threshold, increases quadratically with selection sensitivity while decreasing exponentially with sample size. Through extensive experiments on the MultiNLI corpus using six adaptive selection strategies - ranging from uniform sampling to gradient-based selection - we demonstrate that this theoretical relationship holds precisely in practice. Our results reveal that highly adaptive strategies like gradient-based and curriculum learning achieve superior task performance but suffer from high replicability failure rates, while less adaptive approaches maintain failure rates below 7%. Crucially, we show that source domain pretraining provides a powerful mitigation mechanism, reducing failure rates by up to 30% while preserving performance gains. These findings establish principled guidelines for practitioners to navigate the performance-replicability trade-off and highlight the need for replicability-aware design in modern transfer learning systems.
- Abstract（参考訳）: トランスファーラーニングの普及は、事前学習されたモデルを新しいドメインに効率的に適応させることによって、機械学習に革命をもたらした。
しかし、これらの適応の信頼性は、特にトレーニング例を動的に優先順位付けする適応データ選択戦略を使用する場合、よく理解されていない。
本稿では,適応効率と結果整合性の基本的なトレードオフを定量化する数学的枠組みを導入することによって,伝達学習における複製可能性の包括的・実証的分析を行う。
私たちの重要な貢献は選択感度(\Delta_Q$)の形式化です。
2つの独立したトレーニングが実行された場合、しきい値以上のモデルが生成される可能性が証明され、サンプルサイズで指数関数的に減少しながら、選択感度で二次的に増加する。
6つの適応的選択戦略(一様サンプリングから勾配に基づく選択まで)を用いたMultiNLIコーパスに関する広範な実験を通じて、この理論的関係が実際に正確に成り立つことを示した。
その結果、勾配に基づく学習やカリキュラム学習のような高度適応型戦略は、優れたタスク性能を実現するが、高い複製性障害率に悩まされる一方で、適応性の低いアプローチでは、7%未満の障害率を維持していることがわかった。
重要なことに、ソースドメイン事前トレーニングは、パフォーマンス向上を維持しながら、障害率を最大30%削減する強力な緩和メカニズムを提供する。
これらの知見は,実践者が適応可能性トレードオフをナビゲートするための原則的ガイドラインを確立し,近代的な伝達学習システムにおける再現性を考慮した設計の必要性を強調した。
関連論文リスト
- AdaLRS: Loss-Guided Adaptive Learning Rate Search for Efficient Foundation Model Pretraining [12.630306478872043]
オンライン最適学習率探索を行うプラグイン・アンド・プレイ適応学習率探索アルゴリズムである textbfAdaLRS を提案する。
実験により,AdaLRSは最適近傍の最適学習率を顕著な効率と有効性で調整することが示された。
論文 参考訳（メタデータ） (2025-06-16T09:14:01Z) - Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。
動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。
当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文 参考訳（メタデータ） (2025-02-10T17:57:15Z) - Model-Robust and Adaptive-Optimal Transfer Learning for Tackling Concept Shifts in Nonparametric Regression [7.243632426715939]
本稿では、最適性を適応的に達成しつつ、モデルの誤特定に対して頑健な転写学習手順を提案する。
仮説伝達学習アルゴリズムの一般的なクラスにおいて、ガウス核を特定するための過剰リスクの適応収束率を導出する。
論文 参考訳（メタデータ） (2025-01-18T20:33:37Z) - Deep Transfer $Q$-Learning for Offline Non-Stationary Reinforcement Learning [3.2839905453386162]
本稿では,非定常有限水平マルコフ決定過程によってモデル化された動的決定シナリオに対する伝達学習の研究を先導する。
トランスファー可能なRLサンプル'を構築するために、新しい「再重み付きターゲティングプロシージャ'」を導入し、転送深度$Q*$-learning'を提案する。
ニューラルネットワーク近似および遷移密度伝達における伝達学習の解析手法は、より広範な意味を持つ。
論文 参考訳（メタデータ） (2025-01-08T23:03:18Z) - Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。
適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
論文 参考訳（メタデータ） (2024-09-25T09:27:17Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳（メタデータ） (2024-04-04T06:24:11Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - Estimation and inference for transfer learning with high-dimensional
quantile regression [3.4510296013600374]
本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。
我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。
データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
論文 参考訳（メタデータ） (2022-11-26T14:40:19Z) - Latent-Optimized Adversarial Neural Transfer for Sarcasm Detection [50.29565896287595]
サーカズム検出のための共通データセットを活用するために,転送学習を適用する。
異なる損失が互いに対応できる汎用的な潜時最適化戦略を提案します。
特に、isarcasmデータセットの以前の状態よりも10.02%の絶対性能向上を達成している。
論文 参考訳（メタデータ） (2021-04-19T13:07:52Z) - ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。
多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。
提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
論文 参考訳（メタデータ） (2020-12-02T00:07:53Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。