論文の概要: Towards efficient representation identification in supervised learning
- arxiv url: http://arxiv.org/abs/2204.04606v1
- Date: Sun, 10 Apr 2022 05:34:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 13:09:42.219172
- Title: Towards efficient representation identification in supervised learning
- Title（参考訳）: 教師付き学習における効率的な表現識別に向けて
- Authors: Kartik Ahuja, Divyat Mahajan, Vasilis Syrgkanis, Ioannis Mitliagkas
- Abstract要約: 人間は複雑な感覚入力を分解する驚くべき能力を持っている。
我々は,補助情報次元が真の潜在表現の次元よりもはるかに小さい場合でも,絡み合いが可能であることを理論的,実験的に示す。
- 参考スコア（独自算出の注目度）: 32.3875659102181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans have a remarkable ability to disentangle complex sensory inputs (e.g.,
image, text) into simple factors of variation (e.g., shape, color) without much
supervision. This ability has inspired many works that attempt to solve the
following question: how do we invert the data generation process to extract
those factors with minimal or no supervision? Several works in the literature
on non-linear independent component analysis have established this negative
result; without some knowledge of the data generation process or appropriate
inductive biases, it is impossible to perform this inversion. In recent years,
a lot of progress has been made on disentanglement under structural
assumptions, e.g., when we have access to auxiliary information that makes the
factors of variation conditionally independent. However, existing work requires
a lot of auxiliary information, e.g., in supervised classification, it
prescribes that the number of label classes should be at least equal to the
total dimension of all factors of variation. In this work, we depart from these
assumptions and ask: a) How can we get disentanglement when the auxiliary
information does not provide conditional independence over the factors of
variation? b) Can we reduce the amount of auxiliary information required for
disentanglement? For a class of models where auxiliary information does not
ensure conditional independence, we show theoretically and experimentally that
disentanglement (to a large extent) is possible even when the auxiliary
information dimension is much less than the dimension of the true latent
representation.
- Abstract（参考訳）: 人間は複雑な感覚入力(画像やテキストなど)を、多くの監督なしで単純な変化の要因(形や色など)に分解する能力を持っている。
この能力は、以下の問題を解決するための多くの作業にインスピレーションを与えている。
非線形独立成分分析に関する文献には、この否定的な結果がいくつかあるが、データ生成過程や適切な帰納バイアスに関する知識がなければ、この反転は不可能である。
近年、構造的前提の下での絡み合いについて、例えば、条件付き独立な要因となる補助情報にアクセスできた場合など、多くの進歩がなされている。
しかし、既存の作業には多くの補助情報が必要であり、例えば教師付き分類では、ラベルクラスの数は、変動のすべての要因の総次元に少なくとも等しいべきであると規定している。
この作業では、これらの仮定から離れて、次のように尋ねます。
イ 補助情報が変動の要因について条件付き独立性を提供しない場合、どうゆがめることができるか。
b) 絡み合うのに必要な補助情報量を減らすことができるか。
補助情報が条件付き独立性を保証することができないモデルのクラスに対して、補助情報次元が真の潜在表現の次元よりもはるかに小さい場合でも、解離(広範囲)が可能であることを理論的および実験的に示す。
関連論文リスト
- Continual Learning of Nonlinear Independent Representations [17.65617189829692]
分布数の増加に伴い,モデル識別可能性がサブスペースレベルからコンポーネントワイドレベルに向上することを示す。
本手法は,複数のオフライン分布に対して共同で学習した非線形ICA法に匹敵する性能を実現する。
論文 参考訳（メタデータ） (2024-08-11T14:33:37Z) - Nonparametric Identifiability of Causal Representations from Unknown
Interventions [63.1354734978244]
本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。
我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
論文 参考訳（メタデータ） (2023-06-01T10:51:58Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-04-17T01:33:24Z) - DOT-VAE: Disentangling One Factor at a Time [1.6114012813668934]
本稿では,変分オートエンコーダの潜伏空間を乱交空間で拡張し,Wake-Sleep-inspireed two-step algorithm for unsupervised disentanglementを用いて学習する手法を提案する。
我々のネットワークは、解釈可能な独立した因子を一度に1つのデータから切り離すことを学び、それを非絡み合った潜在空間の異なる次元にエンコードし、因子の数やそれらの共同分布について事前の仮定をしない。
論文 参考訳（メタデータ） (2022-10-19T22:53:02Z) - Interventional Causal Representation Learning [75.18055152115586]
因果表現学習は、低レベルの感覚データから高レベルの潜伏因子を抽出しようとする。
介入データは因果表現学習を促進するか?
介入データは、しばしば潜伏因子の支援の幾何学的シグネチャを持つことを示す。
論文 参考訳（メタデータ） (2022-09-24T04:59:03Z) - Leveraging Relational Information for Learning Weakly Disentangled
Representations [11.460692362624533]
絡み合いは神経表現を強制するのは難しい性質である。
我々は、(弱々しい)非絡み合い表現の学習に関する別の見解を示す。
論文 参考訳（メタデータ） (2022-05-20T09:58:51Z) - Exploiting Independent Instruments: Identification and Distribution
Generalization [3.701112941066256]
我々は、より高い瞬間を考慮に入れ、分布一般化の独立性を利用する。
提案した推定器は楽器の分布シフトに不変であることを示す。
これらの結果は、楽器が因果関数を識別するのに十分な豊かでない場合においても成り立つ。
論文 参考訳（メタデータ） (2022-02-03T21:49:04Z) - Is Disentanglement enough? On Latent Representations for Controllable
Music Generation [78.8942067357231]
強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。
VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
論文 参考訳（メタデータ） (2021-08-01T18:37:43Z) - Where and What? Examining Interpretable Disentangled Representations [96.32813624341833]
解釈可能なバリエーションの獲得は、長い間、絡み合い学習の目標の1つだった。
独立性の仮定と異なり、解釈性は教師なしの設定での絡み合いを促進するために使われることは滅多にない。
本論文では, 解釈対象と解釈対象の2つの質問について検討し, 離散表現の解釈可能性を検討する。
論文 参考訳（メタデータ） (2021-04-07T11:22:02Z) - A Sober Look at the Unsupervised Learning of Disentangled
Representations and their Evaluation [63.042651834453544]
モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。
異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。
以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
論文 参考訳（メタデータ） (2020-10-27T10:17:15Z) - Fairness Under Feature Exemptions: Counterfactual and Observational
Measures [34.5472206536785]
本稿では,2つの成分に相違点を分解する情報理論を提案する。
非例外成分は、臨界特徴によって説明できない部分を定量化し、例外成分は残りの格差を定量化する。
非免除格差を減らしながら、モデルを監査/トレーニングする方法を示すケーススタディを実行します。
論文 参考訳（メタデータ） (2020-06-14T19:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。