論文の概要: Exploring Bad Minima in Transfer Learning

• arxiv url: http://arxiv.org/abs/2610.41807v1
• Date: Fri, 30 Oct 2026 14:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.772358
• Title: Exploring Bad Minima in Transfer Learning
• Title（参考訳）: トランスファーラーニングにおける悪い最小限の探索
• Abstract要約: この論文は、あるソースタスクに対する良い一般化は、必ずしも関連するターゲットタスクへの転送可能性を意味するのか? 実験の結果,3種類の敵攻撃が原因タスクの一般化と伝達可能性との間に強い相関関係があることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transfer learning is a highly successful learning paradigm in deep learning which leverages knowledge from one task and applies it to another. Despite its success, the necessary conditions for knowledge transfer are unclear and require further research. In this dissertation, our aim is to understand transferability a little better by answering the following question: Does good generalization on a source task necessarily imply transferability to a related target task? We hypothesize the answer is negative, and attempt to find counterexamples via adversarial attacks on the transfer learning procedure. Over three types of adversarial attacks, our empirical results show a strong relationship between generalization on the source task and transferability. These results do not rule out generalization on the source task as a sufficient condition for successful transfer.
• Abstract（参考訳）: 伝達学習は、あるタスクからの知識を活用し、それを別のタスクに適用する深層学習において、非常に成功した学習パラダイムである。 その成功にもかかわらず、知識伝達に必要な条件は不明確であり、さらなる研究が必要である。 この論文では、ソースタスクに対する良い一般化は、必ずしも関連するターゲットタスクへの転送可能性を意味するのか? 我々は,その答えが否定的であると仮定し,転帰学習手順に対する敵対的攻撃を通じて反例を見つけようとする。 実験の結果,3種類の敵攻撃が原因タスクの一般化と伝達可能性との間に強い相関関係があることが判明した。 これらの結果は、転送を成功させるのに十分な条件として、ソースタスクの一般化を除外しない。

関連論文リスト

• FAST: Similarity-based Knowledge Transfer for Efficient Policy Learning [57.4737157531239]
  Transfer Learningは、タスク間で知識を伝達することで学習を加速する能力を提供する。 これは、負の転送、ドメイン適応、ソリッドソースポリシーの選択における非効率といった重要な課題に直面します。 本研究では,知識伝達の改善,タスク間のパフォーマンスの促進,計算コストの削減など,TLの課題に挑戦する。
  論文  参考訳（メタデータ） (2025-07-27T22:21:53Z)
• Introspective Action Advising for Interpretable Transfer Learning [7.673465837624365]
  伝達学習は、目標タスクにおける政策の訓練を加速するために、深層強化学習に適用することができる。 本稿では,教師が目標課題における生徒の探索を積極的に指導する,行動アドバイスに基づく課題間での学習を伝達するための代替手法を提案する。
  論文  参考訳（メタデータ） (2023-06-21T14:53:33Z)
• Is forgetting less a good inductive bias for forward transfer? [7.704064306361941]
  本論では,タスクへの前方移動の尺度は,継続学習者に課される制約の影響を受けない,と論じる。 代わりに、フォワード転送は、以前のタスクで連続的な学習によって生成された表現のセットから新しいタスクを学ぶのがいかに簡単かによって測定されるべきである。 その結果, 忘れやすい表現は, 過去の情報保持と学習効率の相関関係が強いことを示唆し, 転送効率が向上することが示された。
  論文  参考訳（メタデータ） (2023-03-14T19:52:09Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• An Information-Theoretic Approach to Transferability in Task Transfer Learning [16.05523977032659]
  タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。 分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
  論文  参考訳（メタデータ） (2022-12-20T08:47:17Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Online Transfer Learning: Negative Transfer and Effect of Prior Knowledge [6.193838300896449]
  ターゲットサンプルが順次到着している間に、ソースサンプルがオフラインの方法で与えられるオンライン転送学習の問題を研究します。 我々は,オンライン転送学習問題の期待後悔を定義し,情報理論量を用いて後悔の上限を与える。 例えば、導出境界は小さなサンプルサイズであっても正確である。
  論文  参考訳（メタデータ） (2021-05-04T12:12:14Z)
• Phase Transitions in Transfer Learning for High-Dimensional Perceptrons [12.614901374282868]
  伝達学習は、関連するソースタスクから学んだ知識を活用することにより、対象タスクの一般化性能の向上を目指す。 後者の質問は、転送元情報が実際にターゲットタスクの一般化性能を減少させるいわゆる負の転送現象に関連しています。 本稿では,関連する1対のパーセプトロン学習タスクを解析し,転送学習の理論解析を行う。
  論文  参考訳（メタデータ） (2021-01-06T08:29:22Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。