論文の概要: Compositional Generative Modeling: A Single Model is Not All You Need
- arxiv url: http://arxiv.org/abs/2402.01103v2
- Date: Fri, 16 Feb 2024 17:11:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 19:08:17.664206
- Title: Compositional Generative Modeling: A Single Model is Not All You Need
- Title(参考訳): 合成生成モデリング: 単一のモデルだけでは十分ではない
- Authors: Yilun Du, Leslie Kaelbling
- Abstract要約: 我々は、より小さな生成モデルを構成することによって、より大規模な生成システムを構築するべきであると論じる。
このような構成的生成アプローチによって、よりデータ効率の良い方法で分布を学習できることを示す。
- 参考スコア(独自算出の注目度): 34.319236668434236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large monolithic generative models trained on massive amounts of data have
become an increasingly dominant approach in AI research. In this paper, we
argue that we should instead construct large generative systems by composing
smaller generative models together. We show how such a compositional generative
approach enables us to learn distributions in a more data-efficient manner,
enabling generalization to parts of the data distribution unseen at training
time. We further show how this enables us to program and construct new
generative models for tasks completely unseen at training. Finally, we show
that in many cases, we can discover separate compositional components from
data.
- Abstract(参考訳): 大量のデータに基づいてトレーニングされた巨大なモノリシックな生成モデルは、AI研究においてますます支配的なアプローチになりつつある。
本稿では,より小さな生成モデルを構成することによって,より大規模な生成システムを構築するべきであると論じる。
このような構成的生成アプローチによって、よりデータ効率の良い方法で分布を学習し、トレーニング時に見つからないデータ分布の一部に一般化できることを示す。
さらに,学習時のタスクに対する新たな生成モデルをプログラムし構築する方法についても紹介する。
最後に、多くの場合、データから別々の合成コンポーネントを発見できることを示します。
関連論文リスト
- Adapt & Align: Continual Learning with Generative Models Latent Space
Alignment [15.729732755625474]
本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。
ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。
生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
論文 参考訳(メタデータ) (2023-12-21T10:02:17Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - Hierarchical Few-Shot Generative Models [18.216729811514718]
本稿では,ニューラルネットワークを階層的なアプローチに拡張する潜伏変数のアプローチについて検討する。
以上の結果から,階層的な定式化は,小データ構造における集合内の内在的変動をよりよく捉えることが示唆された。
論文 参考訳(メタデータ) (2021-10-23T19:19:39Z) - Generative Models as a Data Source for Multiview Representation Learning [38.56447220165002]
生成モデルは、訓練されたデータとほとんど区別できないリアルなイメージを生成することができる。
十分な生成モデルがあれば、まだデータセットが必要なのでしょうか?
ブラックボックス生成モデルから汎用的な視覚表現を学習する際の課題について検討する。
論文 参考訳(メタデータ) (2021-06-09T17:54:55Z) - Generalized Multimodal ELBO [11.602089225841631]
複数のデータ型は、現実世界の現象を記述し、そこから学習する際に自然に共起する。
ELBOを近似する既存の自己制御生成モデルは、マルチモーダルモデルのすべての要求を満たすことができない。
これらの制限を克服したマルチモーダルデータのための新しい一般化ELBO定式化を提案する。
論文 参考訳(メタデータ) (2021-05-06T07:05:00Z) - Relating by Contrasting: A Data-efficient Framework for Multimodal
Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。
提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文 参考訳(メタデータ) (2020-07-02T15:08:11Z) - Unsupervised multi-modal Styled Content Generation [61.040392094140245]
UMMGANは、教師なし方式でマルチモーダル分布をモデル化するために設計された新しいアーキテクチャである。
UMMGANはモードとスタイルを効果的に切り離し、生成したコンテンツに対して独立した制御を行うことができることを示す。
論文 参考訳(メタデータ) (2020-01-10T19:36:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。