論文の概要: Disentangled Representations from Non-Disentangled Models

• arxiv url: http://arxiv.org/abs/2102.06204v1
• Date: Thu, 11 Feb 2021 18:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 14:09:03.119447
• Title: Disentangled Representations from Non-Disentangled Models
• Title（参考訳）: 非偏角モデルからの離散表現
• Authors: Valentin Khrulkov, Leyla Mirvakhabova, Ivan Oseledets, Artem Babenko
• Abstract要約: 本稿では,不整合表現への代替経路について検討する。 そこで本研究では,これらの表現を,目的語を曖昧にすることなく訓練した最先端の生成モデルから抽出することを提案する。
• 参考スコア（独自算出の注目度）: 25.272389610447856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constructing disentangled representations is known to be a difficult task, especially in the unsupervised scenario. The dominating paradigm of unsupervised disentanglement is currently to train a generative model that separates different factors of variation in its latent space. This separation is typically enforced by training with specific regularization terms in the model's objective function. These terms, however, introduce additional hyperparameters responsible for the trade-off between disentanglement and generation quality. While tuning these hyperparameters is crucial for proper disentanglement, it is often unclear how to tune them without external supervision. This paper investigates an alternative route to disentangled representations. Namely, we propose to extract such representations from the state-of-the-art generative models trained without disentangling terms in their objectives. This paradigm of post hoc disentanglement employs little or no hyperparameters when learning representations while achieving results on par with existing state-of-the-art, as shown by comparison in terms of established disentanglement metrics, fairness, and the abstract reasoning task. All our code and models are publicly available.
• Abstract（参考訳）: 不連続表現の構築は、特に教師なしのシナリオでは難しい作業であることが知られている。 監視されていない束縛の支配的なパラダイムは、現在、その潜在空間の変動の異なる要因を分離する生成モデルを訓練することです。 この分離は通常、モデルの目的関数の特定の正規化項によるトレーニングによって実施される。 しかし、これらの用語は、絡み合いと生成品質の間のトレードオフに責任を持つ追加のハイパーパラメータを導入する。 これらのハイパーパラメータのチューニングは、適切な絡み合いに欠かせないが、外部の監視なしに調整する方法は、しばしば不明である。 本稿では,異種表現に対する代替経路について検討する。 そこで,本稿では,これらの表現を学習中の生成モデルから抽出する手法を提案する。 このポストホックなジエンタングルメントのパラダイムは、確立されたジエンタングルメントメトリクス、公平性、抽象的推論タスクの比較によって示されるように、表現を学習するときにほとんど、あるいは全くハイパーパラメーターを使用しない。 コードとモデルはすべて公開されています。

関連論文リスト

• Counterfactual Generation from Language Models [64.55296662926919]
  対実的推論が介入と概念的に異なることを示す。 そこで本研究では,真の文字列反事実を生成するためのフレームワークを提案する。 我々の実験は、このアプローチが有意義な反事実を生み出すことを示した。
  論文  参考訳（メタデータ） (2024-11-11T17:57:30Z)
• Inference-Time Rule Eraser: Fair Recognition via Distilling and Removing Biased Rules [16.85221824455542]
  機械学習モデルは、しばしば性別、人種、その他の社会的属性などのバイアスのある特徴に基づいて予測を行う。 この問題に対処する従来のアプローチは、公正さを意識した最適化目標を持つニューラルネットワークの再トレーニングや微調整を含む。 フェアネス問題に対処する新しい手法である推論時ルール消去器(Eraser)を紹介する。
  論文  参考訳（メタデータ） (2024-04-07T05:47:41Z)
• SCADI: Self-supervised Causal Disentanglement in Latent Variable Models [0.0]
  そこで本研究では,意味的要因の発見と,その因果関係の学習を可能にする新しいモデルであるSCADI(Self-supervised CAusal DIsentanglement)を提案する。 本モデルでは, マスク型構造因果モデル (SCM) と疑似ラベル生成器を組み合わせることで, 自己監督型因果解離モデルに新たな方向性を提供する。
  論文  参考訳（メタデータ） (2023-11-11T13:33:43Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Representation Disentaglement via Regularization by Causal Identification [3.9160947065896803]
  本稿では,不整合表現学習における基礎となるデータ生成過程の仮定を記述するために,因果コライダー構造モデルを提案する。 そこで本研究では,大規模生成モデルの挙動を因果同定によって課される絡み合った制約に整合させるモジュール型正規化エンジンReIを提案する。
  論文  参考訳（メタデータ） (2023-02-28T23:18:54Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• Unsupervised Disentanglement with Tensor Product Representations on the Torus [78.6315881294899]
  オートエンコーダで表現を学習する現在の方法では、ほとんどベクターを潜在表現として用いている。 本研究では,この目的のためにテンソル積構造を用いることを提案する。 通常分布する特徴を対象とする従来の変分法とは対照的に,表現の潜在空間は単位円の集合上に均一に分布する。
  論文  参考訳（メタデータ） (2022-02-13T04:23:12Z)
• Do Generative Models Know Disentanglement? Contrastive Learning is All You Need [59.033559925639075]
  本論文では,変数空間におけるコントラスト(DisCo)による非監視的,モデル非依存的手法を提案する。 DisCoは、GAN、VAE、およびフローを含む、事前訓練された非解離生成モデルに与えられた最先端の解離を達成します。
  論文  参考訳（メタデータ） (2021-02-21T08:01:20Z)
• Linear Disentangled Representations and Unsupervised Action Estimation [2.793095554369282]
  線形不整合表現は標準VAEモデルには一般的に存在しないことを示す。 本稿では,ラベル付けされたアクションシーケンスの必要性を回避し,既約表現を誘導する手法を提案する。
  論文  参考訳（メタデータ） (2020-08-18T13:23:57Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。