論文の概要: Compositional Generalization from First Principles
- arxiv url: http://arxiv.org/abs/2307.05596v1
- Date: Mon, 10 Jul 2023 19:30:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 16:08:17.974935
- Title: Compositional Generalization from First Principles
- Title(参考訳): 第一原理からの合成一般化
- Authors: Thadd\"aus Wiedemer, Prasanna Mayilvahanan, Matthias Bethge, Wieland
Brendel
- Abstract要約: データ自体よりもデータ生成プロセスの特性としての組成性について検討する。
この再構成により、トレーニング分布とモデルアーキテクチャのサポートのみに関する穏やかな条件を導出することができる。
この結果は、合成一般化の原理的理論的研究の舞台となった。
- 参考スコア(独自算出の注目度): 27.243195680442533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Leveraging the compositional nature of our world to expedite learning and
facilitate generalization is a hallmark of human perception. In machine
learning, on the other hand, achieving compositional generalization has proven
to be an elusive goal, even for models with explicit compositional priors. To
get a better handle on compositional generalization, we here approach it from
the bottom up: Inspired by identifiable representation learning, we investigate
compositionality as a property of the data-generating process rather than the
data itself. This reformulation enables us to derive mild conditions on only
the support of the training distribution and the model architecture, which are
sufficient for compositional generalization. We further demonstrate how our
theoretical framework applies to real-world scenarios and validate our findings
empirically. Our results set the stage for a principled theoretical study of
compositional generalization.
- Abstract(参考訳): 世界の構成性を活用して学習を迅速化し、一般化を促進することは、人間の知覚の目印である。
一方、機械学習では、明示的な構成優先を持つモデルでさえも、合成一般化の達成は難解な目標であることが証明されている。
識別可能な表現学習に着想を得て、データ自身ではなくデータ生成プロセスの特性としての構成性を調査します。
この再構成により、構成一般化に十分なトレーニング分布とモデルアーキテクチャの支持のみに関する穏やかな条件を導出することができる。
さらに,実世界のシナリオに適用する理論的な枠組みを実証し,実験的に検証する。
本研究は合成一般化の原理的理論的研究の舞台となった。
関連論文リスト
- Provable Compositional Generalization for Object-Centric Learning [57.42720932595342]
既知の概念の新規な構成に一般化する学習表現は、人間と機械の知覚のギャップを埋めるのに不可欠である。
本稿では,デコーダの構造的仮定を満足し,エンコーダとデコーダの整合性を強制するオートエンコーダが,構成を確実に一般化するオブジェクト中心表現を学習することを示す。
論文 参考訳(メタデータ) (2023-10-09T01:18:07Z) - Variational Cross-Graph Reasoning and Adaptive Structured Semantics
Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。
新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。
ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文 参考訳(メタデータ) (2023-01-22T08:02:23Z) - Compositional Generalization in Unsupervised Compositional
Representation Learning: A Study on Disentanglement and Emergent Language [48.37815764394315]
合成一般化を直接テストできる2つのデータセット上で、3つの教師なし表現学習アルゴリズムについて検討する。
単純なモデルと少ないラベルでボトルネック表現を直接使用すると、学習された表現そのものの前後のレイヤからの表現よりも、より悪い一般化につながる可能性がある。
驚くべきことに、不整合表現を生成する圧力の増加は、より悪い一般化を伴う表現を生成するのに対し、ELモデルからの表現は強い合成一般化を示す。
論文 参考訳(メタデータ) (2022-10-02T10:35:53Z) - Toward Compositional Generalization in Object-Oriented World Modeling [6.463111870767873]
我々は、世界モデリングにおける構成一般化を研究するために、オブジェクト指向環境における強化学習の設定に焦点を当てる。
概念的環境,Object Library,および2つのインスタンスを導入し,一般化能力を測定するために,原則化されたパイプラインをデプロイする。
定式化を動機として,我々のフレームワークを用いて,構成一般化能力の正確さや無さを考慮に入れたいくつかの手法を解析し,同型オブジェクト指向世界モデル(HOWM)を設計する。
論文 参考訳(メタデータ) (2022-04-28T17:22:45Z) - Learning to Generalize Compositionally by Transferring Across Semantic
Parsing Tasks [37.66114618645146]
本研究では,ある構成課題から別の構成課題への移動学習を容易にする学習表現について検討する。
本手法を3つの全く異なるデータセットを用いて意味解析に適用する。
本手法は,対象タスクのテストセット上でのベースラインに対する合成一般化を著しく改善する。
論文 参考訳(メタデータ) (2021-11-09T09:10:21Z) - Disentangled Sequence to Sequence Learning for Compositional
Generalization [62.954842223732435]
本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。
意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
論文 参考訳(メタデータ) (2021-10-09T22:27:19Z) - Meta-Learning to Compositionally Generalize [34.656819307701156]
教師あり学習のメタラーニング拡張版を実装した。
既存のトレーニングデータをサブサンプリングすることでメタ学習のためのタスクのペアを構築する。
COGSおよびSCANデータセットの実験結果から、類似性駆動型メタラーニングにより一般化性能が向上することが示された。
論文 参考訳(メタデータ) (2021-06-08T11:21:48Z) - Contrastive Syn-to-Real Generalization [125.54991489017854]
我々は,学習した特徴埋め込みの多様性が一般化性能に重要な役割を果たすことを重要視する。
本研究では,イメージネットの知識を生かして合成領域への過剰適合を防ぐ新しい枠組みであるコントラスト合成から実への一般化(csg)を提案する。
CSGの各種合成訓練における効果を実証し、ゼロショット領域の一般化に対する最先端性能を示す。
論文 参考訳(メタデータ) (2021-04-06T05:10:29Z) - Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。
良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
論文 参考訳(メタデータ) (2020-06-18T15:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。