論文の概要: Revisiting Disentanglement in Downstream Tasks: A Study on Its Necessity
for Abstract Visual Reasoning
- arxiv url: http://arxiv.org/abs/2403.00352v1
- Date: Fri, 1 Mar 2024 08:31:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 17:56:47.481830
- Title: Revisiting Disentanglement in Downstream Tasks: A Study on Its Necessity
for Abstract Visual Reasoning
- Title（参考訳）: 下流作業におけるゆがみの再検討 : 抽象的な視覚的推論の必要性について
- Authors: Ruiqian Nai, Zixin Wen, Ji Li, Yuanzhi Li, Yang Gao
- Abstract要約: 表現学習では、分離可能かつコンパクトなパターンでデータの生成因子を符号化するため、非絡み合い表現が極めて望ましい。
そこで本研究では,下流アプリケーションにおける不整合表現の必要性について検討する。
- 参考スコア（独自算出の注目度）: 43.29587373211267
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In representation learning, a disentangled representation is highly desirable
as it encodes generative factors of data in a separable and compact pattern.
Researchers have advocated leveraging disentangled representations to complete
downstream tasks with encouraging empirical evidence. This paper further
investigates the necessity of disentangled representation in downstream
applications. Specifically, we show that dimension-wise disentangled
representations are unnecessary on a fundamental downstream task, abstract
visual reasoning. We provide extensive empirical evidence against the necessity
of disentanglement, covering multiple datasets, representation learning
methods, and downstream network architectures. Furthermore, our findings
suggest that the informativeness of representations is a better indicator of
downstream performance than disentanglement. Finally, the positive correlation
between informativeness and disentanglement explains the claimed usefulness of
disentangled representations in previous works. The source code is available at
https://github.com/Richard-coder-Nai/disentanglement-lib-necessity.git.
- Abstract（参考訳）: 表現学習では、分離可能かつコンパクトなパターンでデータの生成因子を符号化するため、非絡み合い表現が極めて望ましい。
研究者は、経験的な証拠を奨励しながら下流のタスクを完遂するために、絡み合った表現を活用することを提唱している。
本稿では,下流アプリケーションにおける異種表現の必要性について検討する。
具体的には,基本的な下流課題である抽象的視覚的推論では,次元的不等角表現が不要であることを示す。
我々は、複数のデータセット、表現学習方法、下流ネットワークアーキテクチャを網羅する、絡み合いの必要性に対する広範な実証的証拠を提供する。
さらに,表現のインフォマティビティは,歪みよりも下流性能の指標であることが示唆された。
最後に, 情報性と絡み合いの正の相関から, 先行研究における絡み合い表現の有用性が説明できる。
ソースコードはhttps://github.com/richard-coder-nai/disentanglement-lib-necessity.gitで入手できる。
関連論文リスト
- MacDiff: Unified Skeleton Modeling with Masked Conditional Diffusion [14.907473847787541]
人間の骨格モデリングのための統合フレームワークとして,Masked Diffusion Conditional (MacDiff)を提案する。
まず,拡散モデルを用いて効率的な骨格表現学習を行う。
MacDiffは、生成タスクの能力を維持しながら、表現学習ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-09-16T17:06:10Z) - Diffusion Model with Cross Attention as an Inductive Bias for Disentanglement [58.9768112704998]
遠方表現学習は、観測データ内の本質的要因を抽出する試みである。
我々は新しい視点と枠組みを導入し、クロスアテンションを持つ拡散モデルが強力な帰納バイアスとなることを示す。
これは、複雑な設計を必要とせず、クロスアテンションを持つ拡散モデルの強力な解離能力を明らかにする最初の研究である。
論文 参考訳（メタデータ） (2024-02-15T05:07:54Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary [68.77983831618685]
本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
論文 参考訳（メタデータ） (2022-12-20T16:03:25Z) - StreamHover: Livestream Transcript Summarization and Annotation [54.41877742041611]
ライブストリームの書き起こしを注釈付けして要約するフレームワークであるStreamHoverを紹介します。
合計500時間以上のビデオに抽出的要約と抽象的要約を併用したベンチマークデータセットは,既存の注釈付きコーパスよりもはるかに大きい。
我々のモデルはより一般化され、強力なベースラインよりも性能が向上することを示す。
論文 参考訳（メタデータ） (2021-09-11T02:19:37Z) - Disentangled Recurrent Wasserstein Autoencoder [17.769077848342334]
Recurrent Wasserstein Autoencoder (R-WAE)はシーケンシャルデータの生成モデリングのための新しいフレームワークである。
R-WAEは入力シーケンスの表現を静的および動的因子に切り離す。
私達のモデルは無条件のビデオ生成およびdisentanglementの点では同じ設定の他のベースラインを上回ります。
論文 参考訳（メタデータ） (2021-01-19T07:43:25Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。