論文の概要: Online Transfer Learning: Negative Transfer and Effect of Prior Knowledge

• arxiv url: http://arxiv.org/abs/2105.01445v1
• Date: Tue, 4 May 2021 12:12:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 12:43:16.901321
• Title: Online Transfer Learning: Negative Transfer and Effect of Prior Knowledge
• Title（参考訳）: オンライン転校学習 : 負の転校と事前知識の効果
• Authors: Xuetong Wu, Jonathan H. Manton, Uwe Aickelin, Jingge Zhu
• Abstract要約: ターゲットサンプルが順次到着している間に、ソースサンプルがオフラインの方法で与えられるオンライン転送学習の問題を研究します。 我々は,オンライン転送学習問題の期待後悔を定義し,情報理論量を用いて後悔の上限を与える。 例えば、導出境界は小さなサンプルサイズであっても正確である。
• 参考スコア（独自算出の注目度）: 6.193838300896449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning is a machine learning paradigm where the knowledge from one task is utilized to resolve the problem in a related task. On the one hand, it is conceivable that knowledge from one task could be useful for solving a related problem. On the other hand, it is also recognized that if not executed properly, transfer learning algorithms could in fact impair the learning performance instead of improving it - commonly known as "negative transfer". In this paper, we study the online transfer learning problems where the source samples are given in an offline way while the target samples arrive sequentially. We define the expected regret of the online transfer learning problem and provide upper bounds on the regret using information-theoretic quantities. We also obtain exact expressions for the bounds when the sample size becomes large. Examples show that the derived bounds are accurate even for small sample sizes. Furthermore, the obtained bounds give valuable insight on the effect of prior knowledge for transfer learning in our formulation. In particular, we formally characterize the conditions under which negative transfer occurs.
• Abstract（参考訳）: 転送学習は、関連するタスクの問題を解決するために、1つのタスクからの知識を利用する機械学習パラダイムである。 一方、あるタスクからの知識が関連する問題を解決するのに有用であると考えられる。 一方、もし適切に実行されていなければ、転送学習アルゴリズムは、それを改善するのではなく、実際に学習性能を損なう可能性があることも認識されている。 本稿では,対象サンプルが順次到着する間,ソースサンプルがオフラインで提供されるオンライン転送学習問題について検討する。 我々は,オンライン転送学習問題の期待後悔を定義し,情報理論量を用いて後悔の上限を与える。 また,サンプルサイズが大きくなると,境界の正確な表現が得られる。 例えば、導出境界は小さなサンプルサイズであっても正確である。 さらに、得られた境界は、我々の定式化における転校学習に対する事前知識の効果についての貴重な洞察を与える。 特に、負の移動が起こる条件を形式的に特徴付ける。

関連論文リスト

• Feasibility of Transfer Learning: A Mathematical Framework [4.530876736231948]
  それは、必要な数学的概念を確立し、伝達学習のための数学的枠組みを構築することから始まる。 そして、3段階の転送学習手順を最適化問題として特定・定式化し、実現可能性問題の解決を可能にする。
  論文  参考訳（メタデータ） (2023-05-22T12:44:38Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• A Data-Based Perspective on Transfer Learning [76.30206800557411]
  転送学習におけるソースデータセットの合成の役割について,より詳しく検討する。 我々のフレームワークは、転送学習の脆さをピンポインティングするなど、新しい機能を生み出します。
  論文  参考訳（メタデータ） (2022-07-12T17:58:28Z)
• A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
  本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。 具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。 各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。 例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
  論文  参考訳（メタデータ） (2021-09-03T08:43:29Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Phase Transitions in Transfer Learning for High-Dimensional Perceptrons [12.614901374282868]
  伝達学習は、関連するソースタスクから学んだ知識を活用することにより、対象タスクの一般化性能の向上を目指す。 後者の質問は、転送元情報が実際にターゲットタスクの一般化性能を減少させるいわゆる負の転送現象に関連しています。 本稿では,関連する1対のパーセプトロン学習タスクを解析し,転送学習の理論解析を行う。
  論文  参考訳（メタデータ） (2021-01-06T08:29:22Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• Limits of Transfer Learning [0.0]
  我々は、転送する情報の集合を慎重に選択する必要性と、転送される情報とターゲット問題との依存関係の必要性を示す。 これらの結果は、機械学習のためのアルゴリズム検索フレームワークの上に構築され、転送を用いた幅広い学習問題に適用できる。
  論文  参考訳（メタデータ） (2020-06-23T01:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。