論文の概要: Compositional Generalization from First Principles
- arxiv url: http://arxiv.org/abs/2307.05596v1
- Date: Mon, 10 Jul 2023 19:30:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 16:08:17.974935
- Title: Compositional Generalization from First Principles
- Title(参考訳): 第一原理からの合成一般化
- Authors: Thadd\"aus Wiedemer, Prasanna Mayilvahanan, Matthias Bethge, Wieland
Brendel
- Abstract要約: データ自体よりもデータ生成プロセスの特性としての組成性について検討する。
この再構成により、トレーニング分布とモデルアーキテクチャのサポートのみに関する穏やかな条件を導出することができる。
この結果は、合成一般化の原理的理論的研究の舞台となった。
- 参考スコア(独自算出の注目度): 27.243195680442533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Leveraging the compositional nature of our world to expedite learning and
facilitate generalization is a hallmark of human perception. In machine
learning, on the other hand, achieving compositional generalization has proven
to be an elusive goal, even for models with explicit compositional priors. To
get a better handle on compositional generalization, we here approach it from
the bottom up: Inspired by identifiable representation learning, we investigate
compositionality as a property of the data-generating process rather than the
data itself. This reformulation enables us to derive mild conditions on only
the support of the training distribution and the model architecture, which are
sufficient for compositional generalization. We further demonstrate how our
theoretical framework applies to real-world scenarios and validate our findings
empirically. Our results set the stage for a principled theoretical study of
compositional generalization.
- Abstract(参考訳): 世界の構成性を活用して学習を迅速化し、一般化を促進することは、人間の知覚の目印である。
一方、機械学習では、明示的な構成優先を持つモデルでさえも、合成一般化の達成は難解な目標であることが証明されている。
識別可能な表現学習に着想を得て、データ自身ではなくデータ生成プロセスの特性としての構成性を調査します。
この再構成により、構成一般化に十分なトレーニング分布とモデルアーキテクチャの支持のみに関する穏やかな条件を導出することができる。
さらに,実世界のシナリオに適用する理論的な枠組みを実証し,実験的に検証する。
本研究は合成一般化の原理的理論的研究の舞台となった。
関連論文リスト
- Dynamics of Concept Learning and Compositional Generalization [23.43600409313907]
本稿では,モデルが学習し,構造的に整理されたセントロイドとガウス混合体上でのアイデンティティマッピングを学習するSIMタスクを提案する。
我々は、このSIMタスクでトレーニングされたニューラルネットワークの学習力学を数学的に解析し、その単純さにもかかわらず、SIMの学習力学が重要な経験的観察を捉え、説明するのに役立っていることを示す。
私たちの理論はまた、トレーニングの初期段階におけるテスト損失の非単調学習ダイナミクスの新しいメカニズムを見つけるなど、いくつかの新しい洞察を提供する。
論文 参考訳(メタデータ) (2024-10-10T18:58:29Z) - When does compositional structure yield compositional generalization? A kernel theory [0.0]
固定表現を持つカーネルモデルにおける合成一般化の理論を示す。
学習データのバイアスから生じる合成一般化における新しい障害モードを同定する。
この研究は、トレーニングデータの統計的構造が構成一般化にどのように影響するかに関する理論的視点を提供する。
論文 参考訳(メタデータ) (2024-05-26T00:50:11Z) - What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。
既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
論文 参考訳(メタデータ) (2024-05-02T20:10:27Z) - Provable Compositional Generalization for Object-Centric Learning [55.658215686626484]
既知の概念の新規な構成に一般化する学習表現は、人間と機械の知覚のギャップを埋めるのに不可欠である。
本稿では,デコーダの構造的仮定を満足し,エンコーダとデコーダの整合性を強制するオートエンコーダが,構成を確実に一般化するオブジェクト中心表現を学習することを示す。
論文 参考訳(メタデータ) (2023-10-09T01:18:07Z) - Compositional Generalization in Unsupervised Compositional
Representation Learning: A Study on Disentanglement and Emergent Language [48.37815764394315]
合成一般化を直接テストできる2つのデータセット上で、3つの教師なし表現学習アルゴリズムについて検討する。
単純なモデルと少ないラベルでボトルネック表現を直接使用すると、学習された表現そのものの前後のレイヤからの表現よりも、より悪い一般化につながる可能性がある。
驚くべきことに、不整合表現を生成する圧力の増加は、より悪い一般化を伴う表現を生成するのに対し、ELモデルからの表現は強い合成一般化を示す。
論文 参考訳(メタデータ) (2022-10-02T10:35:53Z) - Toward Compositional Generalization in Object-Oriented World Modeling [6.463111870767873]
我々は、世界モデリングにおける構成一般化を研究するために、オブジェクト指向環境における強化学習の設定に焦点を当てる。
概念的環境,Object Library,および2つのインスタンスを導入し,一般化能力を測定するために,原則化されたパイプラインをデプロイする。
定式化を動機として,我々のフレームワークを用いて,構成一般化能力の正確さや無さを考慮に入れたいくつかの手法を解析し,同型オブジェクト指向世界モデル(HOWM)を設計する。
論文 参考訳(メタデータ) (2022-04-28T17:22:45Z) - Disentangled Sequence to Sequence Learning for Compositional
Generalization [62.954842223732435]
本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。
意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
論文 参考訳(メタデータ) (2021-10-09T22:27:19Z) - Contrastive Syn-to-Real Generalization [125.54991489017854]
我々は,学習した特徴埋め込みの多様性が一般化性能に重要な役割を果たすことを重要視する。
本研究では,イメージネットの知識を生かして合成領域への過剰適合を防ぐ新しい枠組みであるコントラスト合成から実への一般化(csg)を提案する。
CSGの各種合成訓練における効果を実証し、ゼロショット領域の一般化に対する最先端性能を示す。
論文 参考訳(メタデータ) (2021-04-06T05:10:29Z) - Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。
良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
論文 参考訳(メタデータ) (2020-06-18T15:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。