論文の概要: A General Theory for Compositional Generalization
- arxiv url: http://arxiv.org/abs/2405.11743v1
- Date: Mon, 20 May 2024 03:01:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 14:23:32.362905
- Title: A General Theory for Compositional Generalization
- Title（参考訳）: 組成一般化の一般理論
- Authors: Jingwen Fu, Zhizheng Zhang, Yan Lu, Nanning Zheng,
- Abstract要約: 構成一般化は、慣れ親しんだ概念の斬新な組み合わせを理解する能力を具現化したものである。
既存の理論はしばしばタスク固有の仮定に依存し、CGの包括的な理解を制限している。
本稿では、CG問題に対する一般的な理論を提案し、タスク固有のシナリオの下での事前定理と組み合わせることで、CGの包括的理解につながる可能性がある。
- 参考スコア（独自算出の注目度）: 42.76233525729672
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compositional Generalization (CG) embodies the ability to comprehend novel combinations of familiar concepts, representing a significant cognitive leap in human intellectual advancement. Despite its critical importance, the deep neural network (DNN) faces challenges in addressing the compositional generalization problem, prompting considerable research interest. However, existing theories often rely on task-specific assumptions, constraining the comprehensive understanding of CG. This study aims to explore compositional generalization from a task-agnostic perspective, offering a complementary viewpoint to task-specific analyses. The primary challenge is to define CG without overly restricting its scope, a feat achieved by identifying its fundamental characteristics and basing the definition on them. Using this definition, we seek to answer the question "what does the ultimate solution to CG look like?" through the following theoretical findings: 1) the first No Free Lunch theorem in CG, indicating the absence of general solutions; 2) a novel generalization bound applicable to any CG problem, specifying the conditions for an effective CG solution; and 3) the introduction of the generative effect to enhance understanding of CG problems and their solutions. This paper's significance lies in providing a general theory for CG problems, which, when combined with prior theorems under task-specific scenarios, can lead to a comprehensive understanding of CG.
- Abstract（参考訳）: 構成的一般化(CG)は、人間の知的な進歩において重要な認知的な飛躍を示す、馴染み深い概念の新たな組み合わせを理解する能力を具現化したものである。
その重要な重要性にもかかわらず、ディープニューラルネットワーク(DNN)は、構成一般化問題に対処する上での課題に直面し、かなりの研究関心を喚起する。
しかし、既存の理論はしばしばタスク固有の仮定に依存し、CGの包括的な理解を制限している。
本研究の目的は,タスク依存的視点から構成一般化を探求することであり,タスク固有の分析に補完的な視点を提供することである。
主な課題は、その範囲を過度に制限することなくCGを定義することである。
この定義を用いて、「CGの最終的な解決策はどのようなものか?」という問いに、以下の理論的知見を通して答えようとしている。
1) 一般解の欠如を示すCGにおける最初のNo Free Lunch定理
2)任意のCG問題に適用可能な新しい一般化であって,有効なCGソリューションの条件を指定すること。
3)CG問題とその解決策の理解を深めるための生成的効果の導入。
本論文の意義は、CG問題に対する一般的な理論を提供することであり、タスク固有のシナリオの下での事前の定理と組み合わせることで、CGの包括的理解につながる。
関連論文リスト
- Coding for Intelligence from the Perspective of Category [66.14012258680992]
符号化の対象はデータの圧縮と再構成、インテリジェンスである。
最近の傾向は、これらの2つの分野の潜在的均一性を示している。
本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
論文 参考訳（メタデータ） (2024-07-01T07:05:44Z) - Provable Compositional Generalization for Object-Centric Learning [57.42720932595342]
既知の概念の新規な構成に一般化する学習表現は、人間と機械の知覚のギャップを埋めるのに不可欠である。
本稿では,デコーダの構造的仮定を満足し,エンコーダとデコーダの整合性を強制するオートエンコーダが,構成を確実に一般化するオブジェクト中心表現を学習することを示す。
論文 参考訳（メタデータ） (2023-10-09T01:18:07Z) - GCI: A (G)raph (C)oncept (I)nterpretation Framework [4.475779734632896]
本稿では,グラフニューラルネットワーク(GNN)から発見された概念とそれに対応する人間の解釈とのアライメントを定量的に測定するために用いられるGCI: a (G)raph (C)oncept (I)nterpretationフレームワークについて述べる。
我々は,GCIの4つの応用を実証する: (i)概念抽出器の定量的評価, (ii)概念抽出器と人間の解釈との整合性の測定, (iii)最終課題に対する解釈の完全性の測定, (iv)分子特性予測へのGCIの実践的応用。
論文 参考訳（メタデータ） (2023-02-09T19:02:45Z) - Towards Generalizable Graph Contrastive Learning: An Information Theory
Perspective [47.201323867419184]
グラフコントラスト学習(GCL)は、グラフ学習表現において最も代表的なアプローチである。
まず、GCL一般化能力のための測度GCL-GEを提案する。
我々は、一般化能力を高めたInfoAdvという名前のGCLフレームワークを設計する。
論文 参考訳（メタデータ） (2022-11-20T10:01:00Z) - Generalizing Goal-Conditioned Reinforcement Learning with Variational
Causal Reasoning [24.09547181095033]
Causal Graphは、オブジェクトとイベントの関係に基づいて構築された構造である。
2つのステップを交互に行う理論性能保証フレームワークを提案する。
我々の業績改善は因果発見、遷移モデリング、政策トレーニングの活発なサイクルに起因する。
論文 参考訳（メタデータ） (2022-07-19T05:31:16Z) - A Principled Design of Image Representation: Towards Forensic Tasks [75.40968680537544]
本稿では, 理論, 実装, 応用の観点から, 法科学指向の画像表現を別の問題として検討する。
理論レベルでは、Dense Invariant Representation (DIR)と呼ばれる、数学的保証を伴う安定した記述を特徴とする、新しい法医学の表現フレームワークを提案する。
本稿では, ドメインパターンの検出とマッチング実験について, 最先端の記述子との比較結果を提供する。
論文 参考訳（メタデータ） (2022-03-02T07:46:52Z) - Representation Based Complexity Measures for Predicting Generalization
in Deep Learning [0.0]
ディープニューラルネットワークは、非常に過度にパラメータ化されているにもかかわらず、一般化することができる。
近年の研究では、様々な観点からこの現象を検証している。
内部表現の質の観点から一般化の解釈を提供する。
論文 参考訳（メタデータ） (2020-12-04T18:53:44Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳（メタデータ） (2020-06-30T14:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。