Fugu-MT 論文翻訳(概要): Limits of Transfer Learning

論文の概要: Limits of Transfer Learning

arxiv url: http://arxiv.org/abs/2006.12694v1
Date: Tue, 23 Jun 2020 01:48:23 GMT
ステータス: 処理完了
システム内更新日: 2022-11-17 21:21:56.334237
Title: Limits of Transfer Learning
Title（参考訳）: 転校学習の限界
Authors: Jake Williams, Abel Tadesse, Tyler Sam, Huey Sun, George D. Montanez
Abstract要約: 我々は、転送する情報の集合を慎重に選択する必要性と、転送される情報とターゲット問題との依存関係の必要性を示す。これらの結果は、機械学習のためのアルゴリズム検索フレームワークの上に構築され、転送を用いた幅広い学習問題に適用できる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transfer learning involves taking information and insight from one problem domain and applying it to a new problem domain. Although widely used in practice, theory for transfer learning remains less well-developed. To address this, we prove several novel results related to transfer learning, showing the need to carefully select which sets of information to transfer and the need for dependence between transferred information and target problems. Furthermore, we prove how the degree of probabilistic change in an algorithm using transfer learning places an upper bound on the amount of improvement possible. These results build on the algorithmic search framework for machine learning, allowing the results to apply to a wide range of learning problems using transfer.
Abstract（参考訳）: 伝達学習は、ある問題領域から情報と洞察を取得し、それを新しい問題領域に適用する。実際には広く使われているが、転校学習の理論は未発達のままである。そこで本研究では,移動学習に関連するいくつかの新たな成果を証明し,転送する情報の集合を慎重に選択する必要性と,転送する情報と対象問題との依存関係の必要性を示す。さらに,トランスファー学習を用いたアルゴリズムにおける確率的変化の程度が,改善可能性の上限となることを実証する。これらの結果は、機械学習のためのアルゴリズム検索フレームワークの上に構築され、転送を用いた幅広い学習問題に適用できる。

関連論文リスト

Bayesian Transfer Learning [13.983016833412307]
トランスファーラーニング」は、関連分野のデータを活用することにより、関心領域における推論および/または予測精度の向上を目指す。本稿では,新しい学習課題を導く上で,事前知識に基づく学習の概念と自然に相容れないにもかかわらず,比較的注意を払われたバイーシアン学習のアプローチを取り上げる。本稿では,これらの手法がドメイン間の転送に最適な情報を見つける問題にどのように対処するかを論じる。
論文参考訳（メタデータ） (2023-12-20T23:38:17Z)
Feasibility of Transfer Learning: A Mathematical Framework [4.530876736231948]
それは、必要な数学的概念を確立し、伝達学習のための数学的枠組みを構築することから始まる。そして、3段階の転送学習手順を最適化問題として特定・定式化し、実現可能性問題の解決を可能にする。
論文参考訳（メタデータ） (2023-05-22T12:44:38Z)
Transferability in Deep Learning: A Survey [80.67296873915176]
知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
論文参考訳（メタデータ） (2022-01-15T15:03:17Z)
A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
論文参考訳（メタデータ） (2021-09-03T08:43:29Z)
Disentangling Transfer and Interference in Multi-Domain Learning [53.34444188552444]
マルチドメイン学習において,干渉や知識伝達が発生する状況について検討する。干渉と転送を分離する新しいメトリクスを提案し、実験プロトコルをセットアップする。我々は、CIFAR-100、MiniPlaces、Tiny-ImageNetデータセットでこの結果を示す。
論文参考訳（メタデータ） (2021-07-02T01:30:36Z)
Online Transfer Learning: Negative Transfer and Effect of Prior Knowledge [6.193838300896449]
ターゲットサンプルが順次到着している間に、ソースサンプルがオフラインの方法で与えられるオンライン転送学習の問題を研究します。我々は,オンライン転送学習問題の期待後悔を定義し,情報理論量を用いて後悔の上限を与える。例えば、導出境界は小さなサンプルサイズであっても正確である。
論文参考訳（メタデータ） (2021-05-04T12:12:14Z)
Language Model is All You Need: Natural Language Understanding as Question Answering [75.26830242165742]
本研究では、対象ドメインをソースドメインにマッピングする、特定の転送学習のファミリーの使用について検討する。提案手法は,同性能に必要なデータ量を最大10倍に削減できることを示す。
論文参考訳（メタデータ） (2020-11-05T18:31:22Z)
Transfer Learning in Deep Reinforcement Learning: A Survey [64.36174156782333]
強化学習は、シーケンシャルな意思決定問題を解決するための学習パラダイムである。近年、ディープニューラルネットワークの急速な発展により、強化学習の顕著な進歩が見られた。転校学習は強化学習が直面する様々な課題に対処するために生まれました
論文参考訳（メタデータ） (2020-09-16T18:38:54Z)
What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文参考訳（メタデータ） (2020-08-26T17:23:40Z)
Unsupervised Transfer Learning with Self-Supervised Remedy [60.315835711438936]
手動ラベルのない新しいドメインにディープネットワークを一般化することは、ディープラーニングにとって難しい。事前学習された知識は、学習されたドメインや新しいドメインについて強い仮定をしなければ、うまく伝達しない。本研究は,ラベル付き関連ドメインからの知識伝達により,新規ドメインにおける未ラベル対象データの識別潜在空間を学習することを目的とする。
論文参考訳（メタデータ） (2020-06-08T16:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。