論文の概要: Leveraging sparse and shared feature activations for disentangled representation learning

• arxiv url: http://arxiv.org/abs/2304.07939v3
• Date: Wed, 13 Dec 2023 01:15:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 21:04:25.586514
• Title: Leveraging sparse and shared feature activations for disentangled representation learning
• Title（参考訳）: 不整合表現学習のためのスパースと共有特徴アクティベーションの活用
• Authors: Marco Fumero, Florian Wenzel, Luca Zancato, Alessandro Achille, Emanuele Rodol\`a, Stefano Soatto, Bernhard Sch\"olkopf, Francesco Locatello
• Abstract要約: 本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 112.22699167017471
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recovering the latent factors of variation of high dimensional data has so far focused on simple synthetic settings. Mostly building on unsupervised and weakly-supervised objectives, prior work missed out on the positive implications for representation learning on real world data. In this work, we propose to leverage knowledge extracted from a diversified set of supervised tasks to learn a common disentangled representation. Assuming each supervised task only depends on an unknown subset of the factors of variation, we disentangle the feature space of a supervised multi-task model, with features activating sparsely across different tasks and information being shared as appropriate. Importantly, we never directly observe the factors of variations but establish that access to multiple tasks is sufficient for identifiability under sufficiency and minimality assumptions. We validate our approach on six real world distribution shift benchmarks, and different data modalities (images, text), demonstrating how disentangled representations can be transferred to real settings.
• Abstract（参考訳）: 高次元データの変動の潜在要因の回復は、これまで単純な合成設定に重点を置いてきた。 主に教師なしおよび弱教師付き目的に基づいて構築され、以前の研究は、実世界のデータにおける表現学習のポジティブな意味を欠いた。 本研究では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 各教師付きタスクがばらつきの要因の未知の部分集合のみに依存すると仮定すると、私たちは教師付きマルチタスクモデルの機能空間を分断し、異なるタスク間で機能を活性化し、適切な情報を共有する。 重要なことは、我々は変化の要因を直接観察することはないが、複数のタスクへのアクセスは、十分かつ最小限の仮定の下での識別に十分であることを示す。 6つの実世界の分散シフトベンチマークと異なるデータモダリティ(画像、テキスト)のアプローチを検証し、異種表現を実環境に転送する方法を実証した。

関連論文リスト

• An Information Criterion for Controlled Disentanglement of Multimodal Data [39.601584166020274]
  マルチモーダル表現学習は、複数のモーダルに固有の情報を関連付けて分解しようとする。 Disentangled Self-Supervised Learning (DisentangledSSL)は、非角表現を学習するための新しい自己教師型アプローチである。
  論文  参考訳（メタデータ） (2024-10-31T14:57:31Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Weakly Supervised Multi-Task Representation Learning for Human Activity Analysis Using Wearables [2.398608007786179]
  本稿では,データを複数の表現空間にマッピングする方法を学習する,弱教師付きマルチ出力シムネットワークを提案する。 データサンプルの表現は、そのアスペクトで同じ意味を持つデータが互いに密接な位置にあるような空間に配置される。
  論文  参考訳（メタデータ） (2023-08-06T08:20:07Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Towards Understanding Sample Variance in Visually Grounded Language Generation: Evaluations and Observations [67.4375210552593]
  視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。 人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか? 人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
  論文  参考訳（メタデータ） (2020-10-07T20:45:14Z)
• What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
  本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
  論文  参考訳（メタデータ） (2020-08-13T03:02:32Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Meta Adaptation using Importance Weighted Demonstrations [19.37671674146514]
  エージェントが新しいタスクを推測することが困難である場合も少なくない。 本稿では,特定のタスクの集合に関する事前知識を活用することで,関連するタスクを一般化する新しいアルゴリズムを提案する。 環境タスクの多様性からロボットを訓練し、目に見えない環境に適応できる実験を行った。
  論文  参考訳（メタデータ） (2019-11-23T07:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。