論文の概要: Interpretations of Domain Adaptations via Layer Variational Analysis

• arxiv url: http://arxiv.org/abs/2302.01798v3
• Date: Thu, 4 May 2023 03:04:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 18:59:51.896249
• Title: Interpretations of Domain Adaptations via Layer Variational Analysis
• Title（参考訳）: 層変動解析による領域適応の解釈
• Authors: Huan-Hsin Tseng, Hsin-Yi Lin, Kuo-Hsuan Hung and Yu Tsao
• Abstract要約: 本研究は,Deep Learningにおける伝達学習理論を定式化するために,形式的導出と解析の両方を確立する。 階層変動解析を利用した枠組みは, 転送学習の成功を, 対応するデータ条件で保証できることを証明している。 我々の理論計算は知識伝達過程に対する直観的な解釈をもたらす。
• 参考スコア（独自算出の注目度）: 10.32456826351215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning is known to perform efficiently in many applications empirically, yet limited literature reports the mechanism behind the scene. This study establishes both formal derivations and heuristic analysis to formulate the theory of transfer learning in deep learning. Our framework utilizing layer variational analysis proves that the success of transfer learning can be guaranteed with corresponding data conditions. Moreover, our theoretical calculation yields intuitive interpretations towards the knowledge transfer process. Subsequently, an alternative method for network-based transfer learning is derived. The method shows an increase in efficiency and accuracy for domain adaptation. It is particularly advantageous when new domain data is sufficiently sparse during adaptation. Numerical experiments over diverse tasks validated our theory and verified that our analytic expression achieved better performance in domain adaptation than the gradient descent method.
• Abstract（参考訳）: 転送学習は、多くのアプリケーションで経験的に効率的に行うことが知られているが、限られた文献では、シーンの背後にあるメカニズムを報告している。 本研究は,Deep Learningにおける伝達学習理論を定式化するために,形式的導出とヒューリスティック解析の両方を確立する。 層変動解析を用いたフレームワークは, トランスファー学習の成功が, 対応するデータ条件で保証できることを実証する。 さらに,この理論計算は知識伝達過程に対する直感的な解釈をもたらす。 その後、ネットワークベース転送学習の代替方法が導出される。 本手法は,ドメイン適応における効率と精度の向上を示す。 新しいドメインデータが適応中に十分にスパースである場合、特に有利である。 各種課題に対する数値実験により, 解析式が勾配降下法よりも, 領域適応において優れた性能を示した。

関連論文リスト

• Adaptive Meta-Domain Transfer Learning (AMDTL): A Novel Approach for Knowledge Transfer in AI [0.0]
  AMDTLは、ドメインのミスアライメント、負の転送、破滅的な忘れなど、トランスファーラーニングの主な課題に対処することを目的としている。 このフレームワークは、タスクの多様な分散に訓練されたメタラーナー、ドメインの特徴分布を整合させる敵のトレーニング技術、動的特徴制御機構を統合している。 ベンチマークデータセットによる実験結果から,AMDTLは既存の移動学習手法よりも精度,適応効率,堅牢性に優れていた。
  論文  参考訳（メタデータ） (2024-09-10T18:11:48Z)
• Feasibility of Transfer Learning: A Mathematical Framework [4.530876736231948]
  それは、必要な数学的概念を確立し、伝達学習のための数学的枠組みを構築することから始まる。 そして、3段階の転送学習手順を最適化問題として特定・定式化し、実現可能性問題の解決を可能にする。
  論文  参考訳（メタデータ） (2023-05-22T12:44:38Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• Algorithms and Theory for Supervised Gradual Domain Adaptation [19.42476993856205]
  本研究では, 学習者に対して, 学習経路に沿った変化分布からラベル付きデータを利用できるようにするための, 教師付き段階的領域適応の課題について検討する。 この設定の下では、軽度な仮定の下で学習誤差に関する最初の一般化上限を提供する。 本研究の結果は, 損失関数の範囲に依存しないアルゴリズムであり, 軌道上の平均学習誤差にのみ依存する。
  論文  参考訳（メタデータ） (2022-04-25T13:26:11Z)
• TRAIL: Near-Optimal Imitation Learning with Suboptimal Data [100.83688818427915]
  オフラインデータセットを使用してファクタードトランジションモデルを学習するトレーニング目標を提案する。 我々の理論的分析は、学習された潜在行動空間が下流模倣学習のサンプル効率を高めることを示唆している。 実際に潜伏行動空間を学習するために、エネルギーベースの遷移モデルを学ぶアルゴリズムTRAIL(Transition-Reparametrized Actions for Imitation Learning)を提案する。
  論文  参考訳（メタデータ） (2021-10-27T21:05:00Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• Latent-Optimized Adversarial Neural Transfer for Sarcasm Detection [50.29565896287595]
  サーカズム検出のための共通データセットを活用するために,転送学習を適用する。 異なる損失が互いに対応できる汎用的な潜時最適化戦略を提案します。 特に、isarcasmデータセットの以前の状態よりも10.02%の絶対性能向上を達成している。
  論文  参考訳（メタデータ） (2021-04-19T13:07:52Z)
• Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms [91.3755431537592]
  プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。 この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
  論文  参考訳（メタデータ） (2021-01-26T17:11:40Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。