論文の概要: An Analytical Theory of Auxiliary Learning

• arxiv url: http://arxiv.org/abs/2609.29774v1
• Date: Thu, 24 Sep 2026 13:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.950281
• Title: An Analytical Theory of Auxiliary Learning
• Title（参考訳）: 補助学習の分析理論
• Abstract要約: 補助学習(Auxiliary learning)は、ニューラルネットワークのパフォーマンスを、追加タスクで共同でトレーニングすることで改善する最適化パラダイムである。 本研究では,教師・学生の枠組みを用いてこの問題を考察し,オンライン勾配降下の力学を記述した微分方程式の閉系を導出する。 最適解への強制力学と勾配雑音とのバランスをとることで,補助的タスクが一般化をいかに改善するかを示す。
• 参考スコア（独自算出の注目度）: 42.698418800007865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Auxiliary learning is an optimization paradigm in which a neural network's performance on a target task is improved by jointly training it on additional tasks. However, the mechanisms behind this improvement remain poorly understood. We study this problem using a teacher-student framework and derive a closed system of differential equations describing the dynamics of online stochastic gradient descent in the large-input limit. For linear networks, we obtain a closed-form expression for the generalization error to leading order in the learning rate, quantifying how task correlations and label noise determine the benefit of auxiliary learning. For non-linear activation functions, we develop a fluctuation-dissipation analytical theory that establishes a general relation linking the main and auxiliary errors to the corresponding single-task error. Numerical experiments support the theoretical predictions and show how auxiliary tasks improve generalization by balancing the forcing dynamics towards the optimal solution with gradient noise.
• Abstract（参考訳）: 補助学習(英: Auxiliary learning)は、ニューラルネットワークのパフォーマンスを目標タスクで共同でトレーニングすることで改善する最適化パラダイムである。 しかし、この改善のメカニズムはいまだに理解されていない。 本研究では,教師-学生の枠組みを用いてこの問題を考察し,大規模入力限界におけるオンライン確率勾配勾配のダイナミクスを記述した微分方程式の閉系を導出する。 線形ネットワークでは,学習率の先行順に対する一般化誤差のクローズドフォーム式を求め,タスク相関とラベルノイズが補助学習の利点をどう判断するかを定量化する。 非線型活性化関数に対して、主および補助誤差と対応する単一タスク誤差を関連付ける一般的な関係を確立する揺らぎ散逸解析理論を開発する。 数値実験は, 最適解と勾配雑音のバランスをとることにより, 補助的タスクが一般化をいかに改善するかを示す。

関連論文リスト

• Range Penalization: Theoretical Insights with Applications in Federated Learning [4.955027506950935]
  本稿では,統計的精度を高めるために,線形な体系的成分を用いた連合学習のための範囲正規化を提案する。 このアプローチでは、異なるクライアント間で共有する重みを持つ特徴を特定し、極端な値でパーソナライズされた特徴の重みを適応的にクラスタ化する。 統計的精度と忠実パターン回復の漸近解析のための新しい証明手法を開発した。
  論文  参考訳（メタデータ） (2026-06-09T14:26:28Z)
• Expectation Error Bounds for Transfer Learning in Linear Regression and Linear Neural Networks [11.687087085203686]
  我々は,主課題の一般化において,補助データがいつ,どのように役立つか,という新たな知見を提供する。 線形回帰については、期待される一般化誤差に対する正確な閉形式式を導出する。 幅$q leq K$の共有表現を持つ線形ニューラルネットワークの場合、K$は補助的なタスクの数である。
  論文  参考訳（メタデータ） (2026-03-30T17:50:52Z)
• Solving and learning advective multiscale Darcian dynamics with the Neural Basis Method [4.331539387944184]
  本稿では,物理変換型ニューラルベース空間と演算子誘起残留距離を結合した投影型モデルであるNeural Basis法を紹介する。 提案手法は, 高精度かつ堅牢な解を単一解法で生成し, 演算子学習による高速かつ効果的なパラメトリック推論を可能にする。
  論文  参考訳（メタデータ） (2026-02-19T19:17:55Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  点予測損失の最小化は、潜時関係情報の適切な学習を保証するものではないことを示す。 本稿では,この共同学習課題を解決するサンプリングベース手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Label noise (stochastic) gradient descent implicitly solves the Lasso for quadratic parametrisation [14.244787327283335]
  本研究では, 連続時間モデルを用いて, 4次パラメトリッドモデルのトレーニング力学におけるラベルノイズの役割について検討する。 本研究は,構造ノイズがより高度な一般化を誘導し,実際に観察されるダイナミックスの性能の向上を説明できることを示すものである。
  論文  参考訳（メタデータ） (2022-06-20T15:24:42Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。