論文の概要: Transferability in Deep Learning: A Survey

• arxiv url: http://arxiv.org/abs/2201.05867v1
• Date: Sat, 15 Jan 2022 15:03:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 16:46:38.669809
• Title: Transferability in Deep Learning: A Survey
• Title（参考訳）: ディープラーニングにおけるトランスファービリティ:調査
• Authors: Junguang Jiang, Yang Shu, Jianmin Wang, Mingsheng Long
• Abstract要約: 知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
• 参考スコア（独自算出の注目度）: 80.67296873915176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of deep learning algorithms generally depends on large-scale data, while humans appear to have inherent ability of knowledge transfer, by recognizing and applying relevant knowledge from previous learning experiences when encountering and solving unseen tasks. Such an ability to acquire and reuse knowledge is known as transferability in deep learning. It has formed the long-term quest towards making deep learning as data-efficient as human learning, and has been motivating fruitful design of more powerful deep learning algorithms. We present this survey to connect different isolated areas in deep learning with their relation to transferability, and to provide a unified and complete view to investigating transferability through the whole lifecycle of deep learning. The survey elaborates the fundamental goals and challenges in parallel with the core principles and methods, covering recent cornerstones in deep architectures, pre-training, task adaptation and domain adaptation. This highlights unanswered questions on the appropriate objectives for learning transferable knowledge and for adapting the knowledge to new tasks and domains, avoiding catastrophic forgetting and negative transfer. Finally, we implement a benchmark and an open-source library, enabling a fair evaluation of deep learning methods in terms of transferability.
• Abstract（参考訳）: ディープラーニングアルゴリズムの成功は、一般的に大規模なデータに依存するが、人間は、未認識のタスクに遭遇し解決する際に、以前の学習経験から関連する知識を認識し、適用することで、知識伝達の固有の能力を持っているように見える。 このような知識の獲得と再利用の能力は、ディープラーニングにおける伝達可能性として知られている。 それは、ディープラーニングを人間の学習と同じくらいデータ効率を上げるための長期的探求を形成し、より強力なディープラーニングアルゴリズムの実りある設計を動機付けてきた。 本研究は, 深層学習における異なる孤立領域と伝達可能性との関係を結びつけ, 深層学習のライフサイクル全体を通して, 伝達可能性の調査に統一的で完全な視点を提供する。 この調査は、コア原則とメソッドと並行して基本的な目標と課題を詳述し、ディープアーキテクチャ、事前トレーニング、タスク適応、ドメイン適応の最近の基礎を扱っている。 これは、伝達可能な知識を学習し、その知識を新しいタスクや領域に適用するための適切な目的についての未解決の疑問を強調し、破滅的な忘れと負の移動を避ける。 最後に、ベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニングメソッドを公平に評価する。

関連論文リスト

• Knowledge-augmented Deep Learning and Its Applications: A Survey [60.221292040710885]
  知識強化ディープラーニング(KADL)は、ドメイン知識を特定し、それをデータ効率、一般化可能、解釈可能なディープラーニングのためのディープモデルに統合することを目的としている。 本調査は,既存の研究成果を補足し,知識強化深層学習の一般分野における鳥眼研究の展望を提供する。
  論文  参考訳（メタデータ） (2022-11-30T03:44:15Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• Multi-Source Transfer Learning for Deep Model-Based Reinforcement Learning [0.6445605125467572]
  強化学習における重要な課題は、エージェントが与えられたタスクをマスターするために必要な環境との相互作用の数を減らすことである。 伝達学習は、以前に学習したタスクから知識を再利用することでこの問題に対処することを提案する。 本研究の目的は,モジュール型マルチソーストランスファー学習技術を用いて,これらの課題に対処することである。
  論文  参考訳（メタデータ） (2022-05-28T12:04:52Z)
• Discussion of Ensemble Learning under the Era of Deep Learning [4.061135251278187]
  深層学習のアンサンブル化は,学習システムの一般化に大きく貢献している。 複数のベース深層学習者のトレーニングとアンサンブル深層学習者によるテストのための時間と空間のオーバーヘッドは、従来のアンサンブル学習よりもはるかに大きい。 緊急に解決すべき問題は、必要な時間と空間のオーバーヘッドを減らしながら、ディープラーニングをアンサンブルする大きな利点をいかに活用するかである。
  論文  参考訳（メタデータ） (2021-01-21T01:33:23Z)
• Transfer Learning in Deep Reinforcement Learning: A Survey [64.36174156782333]
  強化学習は、シーケンシャルな意思決定問題を解決するための学習パラダイムである。 近年、ディープニューラルネットワークの急速な発展により、強化学習の顕著な進歩が見られた。 転校学習は 強化学習が直面する様々な課題に 対処するために生まれました
  論文  参考訳（メタデータ） (2020-09-16T18:38:54Z)
• Learning Transferable Concepts in Deep Reinforcement Learning [0.7161783472741748]
  感覚入力の離散的な表現を学習することで、複数のタスクに共通するハイレベルな抽象化が得られることを示す。 特に,情報理論のアプローチに従って,自己超越によってそのような表現を学習することは可能であることを示す。 本手法は, 未知タスクと未知タスクの両方において, サンプル効率を高めるための, 機関車および最適制御タスクの概念を学習することができる。
  論文  参考訳（メタデータ） (2020-05-16T04:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。