論文の概要: Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2211.14666v2
- Date: Tue, 6 Jun 2023 18:02:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 19:52:55.974114
- Title: Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning
- Title（参考訳）: ゆがみと疎さの相乗効果:マルチタスク学習における一般化と認識可能性
- Authors: S\'ebastien Lachapelle, Tristan Deleu, Divyat Mahajan, Ioannis
Mitliagkas, Yoshua Bengio, Simon Lacoste-Julien, Quentin Bertrand
- Abstract要約: 我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
- 参考スコア（独自算出の注目度）: 79.83792914684985
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although disentangled representations are often said to be beneficial for
downstream tasks, current empirical and theoretical understanding is limited.
In this work, we provide evidence that disentangled representations coupled
with sparse base-predictors improve generalization. In the context of
multi-task learning, we prove a new identifiability result that provides
conditions under which maximally sparse base-predictors yield disentangled
representations. Motivated by this theoretical result, we propose a practical
approach to learn disentangled representations based on a sparsity-promoting
bi-level optimization problem. Finally, we explore a meta-learning version of
this algorithm based on group Lasso multiclass SVM base-predictors, for which
we derive a tractable dual formulation. It obtains competitive results on
standard few-shot classification benchmarks, while each task is using only a
fraction of the learned representations.
- Abstract（参考訳）: 不連続表現はしばしば下流タスクに有益とされるが、現在の経験的および理論的理解は限られている。
本研究では,不整合表現と疎基底予測器を組み合わせることで一般化が向上することを示す。
マルチタスク学習の文脈において,最大スパース基底予測器が不整合表現をもたらす条件を提供する新たな識別可能性結果が証明される。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
最後に、このアルゴリズムのメタラーニング版をグループlasso multiclass svmベース予測器に基づいて検討し、扱いやすい双対定式化を導出する。
各タスクは学習した表現のほんの一部しか使用していないが、標準の少数ショット分類ベンチマークで競合結果を得る。
関連論文リスト
- Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳（メタデータ） (2023-10-11T06:51:46Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳（メタデータ） (2023-03-10T14:38:49Z) - Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。
本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。
いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-07-14T18:18:02Z) - VC Theoretical Explanation of Double Descent [1.52292571922932]
本稿では、二重降下のVC-理論解析を行い、古典的なVC一般化境界によって完全に説明できることを示す。
本稿では,分析VCバウンドの分類問題に対する二重降下モデルへの応用について述べる。
論文 参考訳（メタデータ） (2022-05-31T05:50:02Z) - Explaining, Evaluating and Enhancing Neural Networks' Learned
Representations [2.1485350418225244]
より効率的で効率的な表現への障害ではなく、いかに説明可能性が助けになるかを示す。
我々は,2つの新しいスコアを定義して,潜伏埋め込みの難易度と難易度を評価する。
表現学習課題の訓練において,提案したスコアを制約として採用することで,モデルの下流性能が向上することを示す。
論文 参考訳（メタデータ） (2022-02-18T19:00:01Z) - MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。
本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。
特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文 参考訳（メタデータ） (2021-07-23T06:57:08Z) - Efficient Iterative Amortized Inference for Learning Symmetric and
Disentangled Multi-Object Representations [8.163697683448811]
本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。
対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。
標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
論文 参考訳（メタデータ） (2021-06-07T14:02:49Z) - How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。
我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。
この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
論文 参考訳（メタデータ） (2021-05-05T17:56:00Z) - Improving Few-Shot Learning through Multi-task Representation Learning
Theory [14.8429503385929]
本稿では,MTR(Multi-task representation)学習の枠組みについて考察する。
MTR理論の最近の進歩は、このフレームワーク内で解析すると、一般的なメタ学習アルゴリズムに新しい洞察を与えることができることを示す。
これは、直近のMSR理論の学習境界を、数発の分類のタスクのために実践する最初の貢献である。
論文 参考訳（メタデータ） (2020-10-05T13:24:43Z) - Functional Regularization for Representation Learning: A Unified
Theoretical Perspective [27.93916012334704]
教師なしおよび自己教師なしの学習アプローチは、下流予測タスクの表現を学習するための重要なツールとなっている。
本稿では、ラベルなしデータを用いて学習可能な関数を通して表現に正規化を付与するものとして、このようなアプローチがいくつか考えられる統一的な視点を示す。
本稿では,これらの手法のサンプル複雑性を分析するための識別的理論的枠組みを提案し,学習可能な正規化関数を実現するために(Balcan and Blum, 2010)の枠組みを一般化する。
論文 参考訳（メタデータ） (2020-08-06T04:06:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。