論文の概要: Source-Optimal Training is Transfer-Suboptimal

• arxiv url: http://arxiv.org/abs/2511.08401v1
• Date: Wed, 12 Nov 2025 01:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.797717
• Title: Source-Optimal Training is Transfer-Suboptimal
• Title（参考訳）: ソース・最適トレーニングはトランスファー・サブ最適である
• Authors: C. Evans Hedges,
• Abstract要約: ソースリスクを最小限にするソース正規化は、転送利益を最大化する正規化とほとんど一致しない。 等方的設定では、転送の決定は、タスクアライメントとソース特性にのみ依存し、ターゲットのサンプルサイズとノイズに著しく依存する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We prove a fundamental misalignment in transfer learning: the source regularization that minimizes source risk almost never coincides with the regularization maximizing transfer benefit. Through sharp phase boundaries for L2-SP ridge regression, we characterize the transfer-optimal source penalty $τ_0^*$ and show it diverges predictably from task-optimal values, requiring stronger regularization in high-SNR regimes and weaker regularization in low-SNR regimes. Additionally, in isotropic settings the decision to transfer is remarkably independent of target sample size and noise, depending only on task alignment and source characteristics. CIFAR-10 and MNIST experiments confirm this counterintuitive pattern persists in non-linear networks.
• Abstract（参考訳）: ソースリスクを最小限にするソース正規化は、転送利益を最大化する正規化とほとんど一致しない。 L2-SPリッジレグレッションの急激な位相境界により、転送最適ソースペナルティ$τ_0^*$を特徴付け、タスク最適値から予測可能に分岐し、高SNRレギュレータではより強い正規化と低SNRレギュレータではより弱い正規化を必要とすることを示す。 さらに、等方的設定では、転送の決定は、タスクアライメントとソース特性のみに依存するため、ターゲットのサンプルサイズとノイズから著しく独立している。 CIFAR-10とMNIST実験は、この逆直観的パターンが非線形ネットワークで持続していることを確認する。

関連論文リスト

• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• WEEP: A Differentiable Nonconvex Sparse Regularizer via Weakly-Convex Envelope [6.2573333363884425]
  スパース正則化は、効率的な信号回復と特徴抽出のための信号処理において基礎となる。 本稿では, 軽度刑罰の新たな形態として, 弱度刑罰の封筒について述べる。 確立された計算トラクタビリティよりも優れた性能と優れた画像デノイングを示す。
  論文  参考訳（メタデータ） (2025-07-28T00:40:48Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• On the Power of Perturbation under Sampling in Solving Extensive-Form Games [56.013335390600524]
  本研究では, サンプリング対象の広義ゲームにおいて, 摂動がいかにしてFTRL(Follow-the-Regularized-Leader)アルゴリズムを改良するかを検討する。 我々は、textitPerturbed FTRLアルゴリズムの統一フレームワークを提案し、PFTRL-KLとPFTRL-RKLの2つの変種について検討する。
  論文  参考訳（メタデータ） (2025-01-28T00:29:38Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• In-context Learning for Mixture of Linear Regressions: Existence, Generalization and Training Dynamics [34.458004744956334]
  高い確率で$mathcalO(sqrtd/n)$の予測誤差を達成できる変換器が存在することを証明した。 また, 1 つの線形自己アテンション層を持つ変圧器のトレーニング力学を解析し, 適切なパラメータで, 人口平均平方損失に対する勾配流の最適化が大域的最適に収束することを示した。
  論文  参考訳（メタデータ） (2024-10-18T05:28:47Z)
• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。