論文の概要: Representation Learning Beyond Linear Prediction Functions

• arxiv url: http://arxiv.org/abs/2105.14989v1
• Date: Mon, 31 May 2021 14:21:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:39:45.954377
• Title: Representation Learning Beyond Linear Prediction Functions
• Title（参考訳）: 線形予測関数を超えた表現学習
• Authors: Ziping Xu and Ambuj Tewari
• Abstract要約: そこで本研究では,音源タスクと対象タスクが線形関数以外の異なる予測関数空間を使用する場合,多様性が達成可能であることを示す。 一般関数クラスの場合、エローダ次元は多様性に必要なタスクの数に低い境界を与える。
• 参考スコア（独自算出の注目度）: 33.94130046391917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent papers on the theory of representation learning has shown the importance of a quantity called diversity when generalizing from a set of source tasks to a target task. Most of these papers assume that the function mapping shared representations to predictions is linear, for both source and target tasks. In practice, researchers in deep learning use different numbers of extra layers following the pretrained model based on the difficulty of the new task. This motivates us to ask whether diversity can be achieved when source tasks and the target task use different prediction function spaces beyond linear functions. We show that diversity holds even if the target task uses a neural network with multiple layers, as long as source tasks use linear functions. If source tasks use nonlinear prediction functions, we provide a negative result by showing that depth-1 neural networks with ReLu activation function need exponentially many source tasks to achieve diversity. For a general function class, we find that eluder dimension gives a lower bound on the number of tasks required for diversity. Our theoretical results imply that simpler tasks generalize better. Though our theoretical results are shown for the global minimizer of empirical risks, their qualitative predictions still hold true for gradient-based optimization algorithms as verified by our simulations on deep neural networks.
• Abstract（参考訳）: 表現学習の理論に関する近年の論文は,対象タスクの集合から対象タスクへの一般化において,多様性と呼ばれる量の重要性を示している。 これらの論文のほとんどは、共有表現を予測にマッピングする関数は、ソースとターゲットの両方のタスクに対して線形である、と仮定している。 実際には、ディープラーニングの研究者は、新しいタスクの難易度に基づいて、事前訓練されたモデルに従って異なる数の余分なレイヤーを使用する。 これにより、ソースタスクと対象タスクが線形関数以外の異なる予測関数空間を使用する場合、多様性が達成できるかどうかを問うことができる。 対象とするタスクが複数のレイヤを持つニューラルネットワークを使用していても,ソースタスクが線形関数を使用する限り,多様性が持続することを示す。 ソースタスクが非線形予測関数を使用する場合、ReLuアクティベーション関数を持つディープ1ニューラルネットワークは、多様性を達成するために指数関数的に多くのソースタスクを必要とすることを示す。 一般関数クラスの場合、エローダ次元は多様性に必要なタスクの数に低い境界を与える。 我々の理論的結果は、より単純なタスクがより一般化されることを示唆している。 我々の理論結果は、経験的リスクのグローバル最小化に寄与するが、その定性予測は、深層ニューラルネットワークのシミュレーションで検証されたように、勾配に基づく最適化アルゴリズムにはまだ当てはまる。

関連論文リスト

• Gradient-based inference of abstract task representations for generalization in neural networks [5.794537047184604]
  ニューラルネットワークを介してタスク表現層に逆伝播する勾配は、現在のタスク要求を推測する効率的な方法であることを示す。 勾配に基づく推論は、学習効率の向上と、新しいタスクや制限への一般化をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-07-24T15:28:08Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Identification of Negative Transfers in Multitask Learning Using Surrogate Models [29.882265735630046]
  マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。 マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。 本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T23:16:11Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Deep transfer learning for partial differential equations under conditional shift with DeepONet [0.0]
  深層演算子ネットワーク(DeepONet)を用いた条件シフト下でのタスク固有学習のための新しいTLフレームワークを提案する。 条件埋め込み演算子理論に触発されて、ソース領域とターゲット特徴領域の間の統計的距離を測定する。 提案するTLフレームワークは,ソースドメインとターゲットドメインの間に大きな違いがあるにも関わらず,高速かつ効率的なマルチタスク演算子学習を可能にする。
  論文  参考訳（メタデータ） (2022-04-20T23:23:38Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。