論文の概要: An information-Theoretic Approach to Semi-supervised Transfer Learning

• arxiv url: http://arxiv.org/abs/2306.06731v1
• Date: Sun, 11 Jun 2023 17:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 17:07:47.270941
• Title: An information-Theoretic Approach to Semi-supervised Transfer Learning
• Title（参考訳）: 半教師付き転校学習への情報理論的アプローチ
• Authors: Daniel Jakubovitz, David Uliel, Miguel Rodrigues, Raja Giryes
• Abstract要約: トランスファーラーニングは、ある"ソースデータセット"から別の"ターゲットデータセット"に情報を伝達することを可能にする ソースとターゲットデータの分布の相違は一般的です。 本稿では,伝達学習の文脈におけるディープニューラルネットワークの性能解析のための新しい情報理論アプローチを提案する。
• 参考スコア（独自算出の注目度）: 33.89602092349131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning is a valuable tool in deep learning as it allows propagating information from one "source dataset" to another "target dataset", especially in the case of a small number of training examples in the latter. Yet, discrepancies between the underlying distributions of the source and target data are commonplace and are known to have a substantial impact on algorithm performance. In this work we suggest novel information-theoretic approaches for the analysis of the performance of deep neural networks in the context of transfer learning. We focus on the task of semi-supervised transfer learning, in which unlabeled samples from the target dataset are available during network training on the source dataset. Our theory suggests that one may improve the transferability of a deep neural network by incorporating regularization terms on the target data based on information-theoretic quantities, namely the Mutual Information and the Lautum Information. We demonstrate the effectiveness of the proposed approaches in various semi-supervised transfer learning experiments.
• Abstract（参考訳）: トランスファーラーニングは、特に後者の少数のトレーニング例の場合において、ある"ソースデータセット"から別の"ターゲットデータセット"への情報伝達を可能にするため、ディープラーニングにおいて貴重なツールである。 しかし、ソースとターゲットデータの分布の相違は一般的であり、アルゴリズムの性能に大きな影響を与えることが知られている。 本研究では,トランスファー学習の文脈におけるディープニューラルネットワークの性能分析のための新しい情報理論的手法を提案する。 対象とするデータセットからラベルなしのサンプルが、ソースデータセットのネットワークトレーニング中に利用可能となる半教師あり転送学習のタスクに注目した。 本理論は、相互情報とラウタム情報という情報理論量に基づく対象データに正規化項を組み込むことにより、深層ニューラルネットワークの転送性を向上させる可能性を示唆する。 各種半教師あり移動学習実験において提案手法の有効性を示す。

関連論文リスト

• Features are fate: a theory of transfer learning in high-dimensional regression [23.840251319669907]
  対象タスクが事前学習されたモデルの特徴空間で適切に表現されている場合、転送学習はスクラッチからトレーニングに優れることを示す。 本モデルでは, 音源と目標タスクの重なり合う特徴空間が十分に強い場合, 線形転送と微調整の両方で性能が向上することを確認した。
  論文  参考訳（メタデータ） (2024-10-10T17:58:26Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• A Data-Based Perspective on Transfer Learning [76.30206800557411]
  転送学習におけるソースデータセットの合成の役割について,より詳しく検討する。 我々のフレームワークは、転送学習の脆さをピンポインティングするなど、新しい機能を生み出します。
  論文  参考訳（メタデータ） (2022-07-12T17:58:28Z)
• Initial Study into Application of Feature Density and Linguistically-backed Embedding to Improve Machine Learning-based Cyberbullying Detection [54.83707803301847]
  この研究は、自動サイバーバブル検出に関するKaggleコンペティションで提供されたFormspringデータセットで実施された。 本研究は,サイバブリング検出におけるニューラルネットワークの有効性と分類器性能と特徴密度の相関性を確認した。
  論文  参考訳（メタデータ） (2022-06-04T03:17:15Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Probing transfer learning with a model of synthetic correlated datasets [11.53207294639557]
  トランスファーラーニングはニューラルネットワークのサンプル効率を大幅に向上させることができる。 我々は、データセット間の相関をモデル化するためのフレームワークとして、合成データの解決可能なモデルを再考する。 本研究では,本モデルが実データを用いた伝達学習の多彩な特徴を捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-06-09T22:15:41Z)
• A Concise Review of Transfer Learning [1.5771347525430772]
  転送学習は、他の関連するソースデータを適用することで、ターゲット学習者のパフォーマンスを高めることを目的としている。 従来の機械学習とデータマイニングのテクニックは、トレーニングとテストのデータは同じ特徴空間と分布から来ていると仮定する。
  論文  参考訳（メタデータ） (2021-04-05T20:34:55Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks [27.44348371795822]
  転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。 ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
  論文  参考訳（メタデータ） (2020-06-16T22:49:26Z)
• The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes [6.419457653976053]
  データ・スターベド・レシエーションを持つドメインに対する転送学習のユースケースについて述べる。 畳み込み特徴抽出と微調整の有効性を評価する。 我々はトランスファーラーニングがCNNアーキテクチャの性能を向上させることを結論付けている。
  論文  参考訳（メタデータ） (2020-02-29T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。