論文の概要: A Study of Compositional Generalization in Neural Models

• arxiv url: http://arxiv.org/abs/2006.09437v2
• Date: Wed, 8 Jul 2020 15:50:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:35:36.120833
• Title: A Study of Compositional Generalization in Neural Models
• Title（参考訳）: ニューラルモデルにおける構成一般化に関する研究
• Authors: Tim Klinger, Dhaval Adjodah, Vincent Marois, Josh Joseph, Matthew Riemer, Alex 'Sandy' Pentland, Murray Campbell
• Abstract要約: 本稿では,合成概念や関係概念から画像を生成するConceptWorldを紹介する。 我々は、合成論と関係を一般化する標準ニューラルネットワークの能力をテストする実験を行う。 単純な問題に対して、すべてのモデルは閉じた概念によく一般化するが、より長い構成的連鎖に苦しむ。
• 参考スコア（独自算出の注目度）: 22.66002315559978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositional and relational learning is a hallmark of human intelligence, but one which presents challenges for neural models. One difficulty in the development of such models is the lack of benchmarks with clear compositional and relational task structure on which to systematically evaluate them. In this paper, we introduce an environment called ConceptWorld, which enables the generation of images from compositional and relational concepts, defined using a logical domain specific language. We use it to generate images for a variety of compositional structures: 2x2 squares, pentominoes, sequences, scenes involving these objects, and other more complex concepts. We perform experiments to test the ability of standard neural architectures to generalize on relations with compositional arguments as the compositional depth of those arguments increases and under substitution. We compare standard neural networks such as MLP, CNN and ResNet, as well as state-of-the-art relational networks including WReN and PrediNet in a multi-class image classification setting. For simple problems, all models generalize well to close concepts but struggle with longer compositional chains. For more complex tests involving substitutivity, all models struggle, even with short chains. In highlighting these difficulties and providing an environment for further experimentation, we hope to encourage the development of models which are able to generalize effectively in compositional, relational domains.
• Abstract（参考訳）: 合成学習とリレーショナル学習は人間の知能の目印であるが、ニューラルモデルに対する課題を示すものである。 このようなモデルの開発における難点は、体系的に評価する明確な構成的および関係的なタスク構造を持つベンチマークが欠如していることである。 本稿では,論理的なドメイン特化言語を用いて,合成概念と関係概念から画像を生成することを可能にする,conceptworldという環境を提案する。 2x2平方、ペントミノ、シーケンス、これらのオブジェクトを含むシーン、その他のより複雑な概念など、さまざまな構成構造のための画像を生成するために使用します。 我々は,それらの引数の合成深度が増加し,置換されるにつれて,合成引数との関係を一般化する標準的なニューラルアーキテクチャの能力をテストする実験を行う。 MLPやCNN,ResNetといった標準的なニューラルネットワークや,WReNやPrediNetといった最先端のリレーショナルネットワークを,マルチクラスの画像分類設定で比較する。 単純な問題に対して、全てのモデルは密接な概念にうまく一般化するが、長い構成連鎖に苦しむ。 置換性を含むより複雑なテストでは、全てのモデルは短鎖でも苦労する。 これらの困難を強調し、さらなる実験を行うための環境を提供することで、構成的、関係的な領域において効果的に一般化できるモデルの開発を奨励したいと考えています。

関連論文リスト

• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Compositional diversity in visual concept learning [18.907108368038216]
  人間は構成性を活用して、新しい概念を効率的に学習し、親しみのある部分がどのように結合して新しい物体を形成するかを理解する。 そこで本研究では,豊かな関係構造を持つ「異星人」の分類・生成方法について考察する。 我々は,候補となる視覚図を生成するための最適なプログラムを探索するベイズプログラム誘導モデルを開発した。
  論文  参考訳（メタデータ） (2023-05-30T19:30:50Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• Learning Graph Embeddings for Compositional Zero-shot Learning [73.80007492964951]
  合成ゼロショット学習では、観察された視覚的原始状態の見えない構成を認識することが目的である。 本稿では,画像特徴と視覚的プリミティブの潜在表現をエンドツーエンドに学習するCGEという新しいグラフ定式化を提案する。 概念間のセマンティクスを符号化する共同互換性を学習することにより、WordNetのような外部知識ベースに頼ることなく、構成を見えないように一般化することができる。
  論文  参考訳（メタデータ） (2021-02-03T10:11:03Z)
• Counterfactual Generative Networks [59.080843365828756]
  画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。 適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。 その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
  論文  参考訳（メタデータ） (2021-01-15T10:23:12Z)
• Compositionally Generalizable 3D Structure Prediction [41.641683644620464]
  シングルイメージの3次元形状復元はコンピュータビジョンにおいて重要かつ長年の課題である。 未知のオブジェクトカテゴリをより一般化できる新しいフレームワークを提案する。 PartNetの実験では、最先端技術よりも優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-12-04T09:53:14Z)
• Learning Task-General Representations with Generative Neuro-Symbolic Modeling [22.336243882030026]
  我々は手書き文字概念の生成型ニューロシンボリック(GNS)モデルを開発する。 部品間の相関はニューラルネットワークのサブルーチンでモデル化され、モデルが生のデータから直接学習することができる。 その後の評価では、GNSモデルは確率的推論を用いて1つのトレーニング画像からリッチな概念表現を学習する。
  論文  参考訳（メタデータ） (2020-06-25T14:41:27Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。