論文の概要: Compositional Generalization Requires More Than Disentangled Representations
- arxiv url: http://arxiv.org/abs/2501.18797v1
- Date: Thu, 30 Jan 2025 23:20:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 14:04:00.677279
- Title: Compositional Generalization Requires More Than Disentangled Representations
- Title（参考訳）: 構成一般化は非交叉表現以上のものを必要とする
- Authors: Qiyao Liang, Daoyuan Qian, Liu Ziyin, Ila Fiete,
- Abstract要約: 作曲の一般化は 深層学習の鍵となる課題です
多くの生成モデルは、アウト・オブ・ディストリビューション(OOD)サンプルを生成する因子を認識し、構成することができない。
正規化や訓練データによるアーキテクチャ変更を強制的に行うモデルは,OOD領域の学習において,データ効率が高く,効果的であることを示す。
- 参考スコア（独自算出の注目度）: 5.762286612061953
- License:
- Abstract: Composition-the ability to generate myriad variations from finite means-is believed to underlie powerful generalization. However, compositional generalization remains a key challenge for deep learning. A widely held assumption is that learning disentangled (factorized) representations naturally supports this kind of extrapolation. Yet, empirical results are mixed, with many generative models failing to recognize and compose factors to generate out-of-distribution (OOD) samples. In this work, we investigate a controlled 2D Gaussian "bump" generation task, demonstrating that standard generative architectures fail in OOD regions when training with partial data, even when supplied with fully disentangled $(x, y)$ coordinates, re-entangling them through subsequent layers. By examining the model's learned kernels and manifold geometry, we show that this failure reflects a "memorization" strategy for generation through the superposition of training data rather than by combining the true factorized features. We show that models forced-through architectural modifications with regularization or curated training data-to create disentangled representations in the full-dimensional representational (pixel) space can be highly data-efficient and effective at learning to compose in OOD regions. These findings underscore that bottlenecks with factorized/disentangled representations in an abstract representation are insufficient: the model must actively maintain or induce factorization directly in the representational space in order to achieve robust compositional generalization.
- Abstract（参考訳）: 組成-有限な手段から無数の変分を生成する能力は、強力な一般化の根底にあると考えられている。
しかし、作曲の一般化は深層学習の鍵となる課題である。
広く信じられている仮定は、学習の非絡み合い(リファクタリング)表現が自然にこの種の外挿を支えているということである。
しかし、実験結果が混ざり合っており、多くの生成モデルは、アウト・オブ・ディストリビューション(OOD)サンプルを生成する要因を認識し、構成することができない。
本研究では,制御された2次元ガウス型「バンプ」生成タスクについて検討し,部分データを用いたトレーニングにおいて標準生成アーキテクチャがOOD領域で失敗することを示す。
モデルの学習したカーネルと多様体の幾何学を調べたところ、この失敗は真の分解された特徴を組み合わせるのではなく、トレーニングデータの重ね合わせによる生成のための「記憶」戦略を反映していることがわかった。
正規化やキュレートされたトレーニングデータによるアーキテクチャ変更を強制的に行うことで、全次元の表現(ピクセル)空間における不整合表現を生成できることが、OOD領域の学習において極めてデータ効率が高く、効果的であることを示します。
これらの結果は、抽象表現における因子化/不整合表現のボトルネックが不十分であることを示す: モデルは、堅牢な合成一般化を達成するために、表現空間において因子化を直接的に維持または誘導する必要がある。
関連論文リスト
- Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。
具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。
これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
論文 参考訳（メタデータ） (2024-07-26T15:32:21Z) - Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳（メタデータ） (2024-06-07T14:29:21Z) - Compositional Abilities Emerge Multiplicatively: Exploring Diffusion
Models on a Synthetic Task [20.749514363389878]
合成環境における条件拡散モデルにおける合成一般化について検討する。
サンプルを生成する能力が出現する順番は、基礎となるデータ生成プロセスの構造によって制御される。
本研究は、データ中心の観点から、生成モデルにおける能力と構成性を理解するための基礎を築いた。
論文 参考訳（メタデータ） (2023-10-13T18:00:59Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳（メタデータ） (2023-09-22T20:15:37Z) - Representation Disentaglement via Regularization by Causal
Identification [3.9160947065896803]
本稿では,不整合表現学習における基礎となるデータ生成過程の仮定を記述するために,因果コライダー構造モデルを提案する。
そこで本研究では,大規模生成モデルの挙動を因果同定によって課される絡み合った制約に整合させるモジュール型正規化エンジンReIを提案する。
論文 参考訳（メタデータ） (2023-02-28T23:18:54Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:04:17Z) - Global and Local Features through Gaussian Mixture Models on Image
Semantic Segmentation [0.38073142980732994]
本稿では,前者をサポートするグローバル表現を抽出しながら特徴表現の内部構造を提案する。
トレーニング中、データからガウス混合モデルを予測し、スキップ接続と復号ステージにマージすることで、誤った帰納バイアスを回避する。
この結果から,クラスタリングの動作を学習表現(言語とローカル)と組み合わせることで,セマンティックセマンティックセマンティクスを向上できることが示唆された。
論文 参考訳（メタデータ） (2022-07-19T10:10:49Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Hierarchical regularization networks for sparsification based learning
on noisy datasets [0.0]
階層は、連続的により微細なスケールで特定される近似空間から従う。
各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。
その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
論文 参考訳（メタデータ） (2020-06-09T18:32:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。