論文の概要: A Theoretical Analysis of Compositional Generalization in Neural Networks: A Necessary and Sufficient Condition
- arxiv url: http://arxiv.org/abs/2505.02627v1
- Date: Mon, 05 May 2025 13:13:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-06 18:49:35.681738
- Title: A Theoretical Analysis of Compositional Generalization in Neural Networks: A Necessary and Sufficient Condition
- Title（参考訳）: ニューラルネットワークの構成一般化に関する理論的分析:必要十分条件
- Authors: Yuanpeng Li,
- Abstract要約: 本稿では,ニューラルネットワークの合成一般化に必要かつ十分な条件を導出する。
概念的には、計算グラフは(i)真の構成構造と一致し、(ii)コンポーネントはトレーニングで十分な情報をエンコードする必要がある。
- 参考スコア（独自算出の注目度）: 3.09765163299025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositional generalization is a crucial property in artificial intelligence, enabling models to handle novel combinations of known components. While most deep learning models lack this capability, certain models succeed in specific tasks, suggesting the existence of governing conditions. This paper derives a necessary and sufficient condition for compositional generalization in neural networks. Conceptually, it requires that (i) the computational graph matches the true compositional structure, and (ii) components encode just enough information in training. The condition is supported by mathematical proofs. This criterion combines aspects of architecture design, regularization, and training data properties. A carefully designed minimal example illustrates an intuitive understanding of the condition. We also discuss the potential of the condition for assessing compositional generalization before training. This work is a fundamental theoretical study of compositional generalization in neural networks.
- Abstract（参考訳）: 構成一般化は人工知能において重要な性質であり、モデルが既知のコンポーネントの新しい組み合わせを扱えるようにしている。
ほとんどのディープラーニングモデルはこの機能を欠いているが、特定のモデルでは特定のタスクに成功し、統治条件の存在を示唆している。
本稿では,ニューラルネットワークの合成一般化に必要かつ十分な条件を導出する。
概念的には、それは必要です。
i)計算グラフは真の構成構造と一致し、
(ii)コンポーネントは、トレーニングで十分な情報をエンコードする。
この条件は数学的証明によって支えられている。
この基準は、アーキテクチャ設計、正規化、およびデータプロパティのトレーニングの側面を組み合わせる。
慎重に設計された最小限の例は、条件の直感的な理解を示している。
また、学習前に構成一般化を評価するための条件の可能性についても論じる。
この研究は、ニューラルネットワークにおける合成一般化の基本的な理論的研究である。
関連論文リスト
- When does compositional structure yield compositional generalization? A kernel theory [0.0]
固定された構成的表現を持つカーネルモデルにおける合成一般化の理論を示す。
学習データのバイアスから生じる合成一般化における新しい障害モードを同定する。
本研究は, 学習データの統計的構造が構成一般化にどのように影響するかを考察する。
論文 参考訳（メタデータ） (2024-05-26T00:50:11Z) - What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。
既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
論文 参考訳（メタデータ） (2024-05-02T20:10:27Z) - A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳（メタデータ） (2023-07-16T15:59:13Z) - Compositional Generalization Requires Compositional Parsers [69.77216620997305]
直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。
構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
論文 参考訳（メタデータ） (2022-02-24T07:36:35Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳（メタデータ） (2021-05-19T07:24:42Z) - Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。
良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
論文 参考訳（メタデータ） (2020-06-18T15:50:57Z) - A Study of Compositional Generalization in Neural Models [22.66002315559978]
本稿では,合成概念や関係概念から画像を生成するConceptWorldを紹介する。
我々は、合成論と関係を一般化する標準ニューラルネットワークの能力をテストする実験を行う。
単純な問題に対して、すべてのモデルは閉じた概念によく一般化するが、より長い構成的連鎖に苦しむ。
論文 参考訳（メタデータ） (2020-06-16T18:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。