論文の概要: Vector-based Representation is the Key: A Study on Disentanglement and Compositional Generalization

• arxiv url: http://arxiv.org/abs/2305.18063v1
• Date: Mon, 29 May 2023 13:05:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 15:13:02.897085
• Title: Vector-based Representation is the Key: A Study on Disentanglement and Compositional Generalization
• Title（参考訳）: ベクトルに基づく表現が鍵:不等角化と合成一般化に関する研究
• Authors: Tao Yang, Yuwang Wang, Cuiling Lan, Yan Lu, Nanning Zheng
• Abstract要約: 良質な概念認識と斬新な概念構成を両立させることが可能であることを示す。 本研究では,スカラーベース・アンタングル化作業のベクトルベース化を図り,両機能を向上する手法を提案する。
• 参考スコア（独自算出の注目度）: 77.57425909520167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recognizing elementary underlying concepts from observations (disentanglement) and generating novel combinations of these concepts (compositional generalization) are fundamental abilities for humans to support rapid knowledge learning and generalize to new tasks, with which the deep learning models struggle. Towards human-like intelligence, various works on disentangled representation learning have been proposed, and recently some studies on compositional generalization have been presented. However, few works study the relationship between disentanglement and compositional generalization, and the observed results are inconsistent. In this paper, we study several typical disentangled representation learning works in terms of both disentanglement and compositional generalization abilities, and we provide an important insight: vector-based representation (using a vector instead of a scalar to represent a concept) is the key to empower both good disentanglement and strong compositional generalization. This insight also resonates the neuroscience research that the brain encodes information in neuron population activity rather than individual neurons. Motivated by this observation, we further propose a method to reform the scalar-based disentanglement works ($\beta$-TCVAE and FactorVAE) to be vector-based to increase both capabilities. We investigate the impact of the dimensions of vector-based representation and one important question: whether better disentanglement indicates higher compositional generalization. In summary, our study demonstrates that it is possible to achieve both good concept recognition and novel concept composition, contributing an important step towards human-like intelligence.
• Abstract（参考訳）: 観察(異方性)から基本的な概念を認識し、これらの概念の新たな組み合わせを生成することは、人間が素早い知識学習をサポートし、深層学習モデルが苦労する新しいタスクに一般化する基本的な能力である。 ヒューマンライクなインテリジェンスに向けて,非絡み合い表現学習に関する様々な研究が提案され,近年では構成一般化の研究も行われている。 しかし, 絡み合いと組成一般化の関係について研究する研究はほとんどなく, 観察結果は矛盾する。 本稿では,不整合と構成一般化能力の両方の観点から,いくつかの典型的な非絡合表現学習作品について検討し,ベクトルベース表現(スカラーの代わりにベクトルを用いて概念を表現する)が優れた非絡合と強い構成一般化の両立の鍵となる重要な洞察を与える。 この洞察はまた、脳が個々のニューロンよりもニューロンの集団活動に関する情報をコードしているという神経科学の研究に共鳴している。 そこで本研究では,スカラーベース不整合処理(\beta$-TCVAEおよびFacterVAE)をベクトルベースで改良し,両機能を向上する手法をさらに提案する。 ベクトルに基づく表現の次元が与える影響について検討し,その1つの重要な疑問について考察した。 要約して,本研究では,優れた概念認識と新しい概念構成を両立させることが可能であることを実証し,人間のような知性への重要な一歩として貢献する。

関連論文リスト

• CoLiDR: Concept Learning using Aggregated Disentangled Representations [29.932706137805713]
  概念に基づくモデルを用いたディープニューラルネットワークの解釈可能性は、人間の理解可能な概念を通じてモデルの振る舞いを説明する有望な方法を提供する。 並列的な研究は、データ分散をその基盤となる生成因子に切り離し、データ生成プロセスを説明することに重点を置いている。 どちらの方向も広く注目されているが、数学的に不整合な表現と人間の理解可能な概念を統一するための生成的要因の観点から概念を説明する研究はほとんど行われていない。
  論文  参考訳（メタデータ） (2024-07-27T16:55:14Z)
• Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings [19.667133565610087]
  構成の一般化は人間には容易だが、ディープニューラルネットワークには難しい。 簡単な埋め込みモデルで繰り返し学習を行うことにより、この能力を向上させることを提案する。 このような変化の組み合わせは、他のアプローチよりも構成の一般化を改善することが示される。
  論文  参考訳（メタデータ） (2023-10-28T18:30:30Z)
• Compositional Generalization in Unsupervised Compositional Representation Learning: A Study on Disentanglement and Emergent Language [48.37815764394315]
  合成一般化を直接テストできる2つのデータセット上で、3つの教師なし表現学習アルゴリズムについて検討する。 単純なモデルと少ないラベルでボトルネック表現を直接使用すると、学習された表現そのものの前後のレイヤからの表現よりも、より悪い一般化につながる可能性がある。 驚くべきことに、不整合表現を生成する圧力の増加は、より悪い一般化を伴う表現を生成するのに対し、ELモデルからの表現は強い合成一般化を示す。
  論文  参考訳（メタデータ） (2022-10-02T10:35:53Z)
• Learning Algebraic Representation for Systematic Generalization in Abstract Reasoning [109.21780441933164]
  推論における体系的一般化を改善するためのハイブリッドアプローチを提案する。 我々はRaven's Progressive Matrices (RPM) の抽象的空間時間課題に対する代数的表現を用いたプロトタイプを紹介する。 得られた代数的表現は同型によって復号化して解を生成することができることを示す。
  論文  参考訳（メタデータ） (2021-11-25T09:56:30Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Concepts, Properties and an Approach for Compositional Generalization [2.0559497209595823]
  本報告は, 構成一般化に関する一連の研究を結びつけ, アプローチを要約する。 このアプローチでは、アーキテクチャ設計と正規化を使用して表現の情報を規制する。 この研究が、作曲の一般化の基礎を明確にし、人工知能の進歩に繋がることを願っている。
  論文  参考訳（メタデータ） (2021-02-08T14:22:30Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。