論文の概要: Fully Distributed, Flexible Compositional Visual Representations via Soft Tensor Products
- arxiv url: http://arxiv.org/abs/2412.04671v2
- Date: Wed, 15 Jan 2025 09:01:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-16 15:50:52.729666
- Title: Fully Distributed, Flexible Compositional Visual Representations via Soft Tensor Products
- Title（参考訳）: ソフトテンソル製品による完全分散フレキシブルな構成的視覚表現
- Authors: Bethia Sun, Maurice Pagnucco, Yang Song,
- Abstract要約: 我々は,構成構造を本質的に分散した柔軟な方法でエンコードする表現形式であるSoft TPRを紹介する。
我々は、ソフトTPRが従来の非絡み合いの代替よりも一貫して優れていることを示す。
これらの知見は、構成構造を表現するための分散的で柔軟なアプローチの可能性を浮き彫りにしている。
- 参考スコア（独自算出の注目度）: 13.306125510884563
- License:
- Abstract: Since the inception of the classicalist vs. connectionist debate, it has been argued that the ability to systematically combine symbol-like entities into compositional representations is crucial for human intelligence. In connectionist systems, the field of disentanglement has gained prominence for its ability to produce explicitly compositional representations; however, it relies on a fundamentally symbolic, concatenative representation of compositional structure that clashes with the continuous, distributed foundations of deep learning. To resolve this tension, we extend Smolensky's Tensor Product Representation (TPR) and introduce Soft TPR, a representational form that encodes compositional structure in an inherently distributed, flexible manner, along with Soft TPR Autoencoder, a theoretically-principled architecture designed specifically to learn Soft TPRs. Comprehensive evaluations in the visual representation learning domain demonstrate that the Soft TPR framework consistently outperforms conventional disentanglement alternatives -- achieving state-of-the-art disentanglement, boosting representation learner convergence, and delivering superior sample efficiency and low-sample regime performance in downstream tasks. These findings highlight the promise of a distributed and flexible approach to representing compositional structure by potentially enhancing alignment with the core principles of deep learning over the conventional symbolic approach.
- Abstract（参考訳）: 古典主義者対コネクショナリスト論争の発端から、記号のような実体を構成表現に体系的に結合する能力は人間の知性にとって重要であると論じられている。
コネクショニストシステムでは、非絡み合いの分野は、明示的な構成的表現を作り出す能力で有名になったが、それは基本的に象徴的で結合的な構成的構造の表現に依存しており、深層学習の継続的な分散基盤と衝突している。
この緊張を解消するために、スモレンスキーのテンソル製品表現(TPR)を拡張し、ソフトTPR(Soft TPR)の学習に特化して設計された理論的なアーキテクチャであるSoft TPR Autoencoderとともに、構成構造を本質的に分散して柔軟な方法で符号化する表現形式を導入した。
視覚表現学習領域における包括的評価は、ソフトTPRフレームワークが従来型のアンタングルメントの代替品を一貫して上回り、最先端のアンタングルメントを実現し、表現学習者の収束を高め、下流タスクにおいて優れたサンプル効率と低サンプルレギュレーション性能を提供することを示した。
これらの知見は,従来の記号的アプローチよりも深層学習の根本原理との整合性を高めることにより,構成構造を表現するための分散的かつ柔軟なアプローチの可能性を浮き彫りにした。
関連論文リスト
- Systematic Abductive Reasoning via Diverse Relation Representations in Vector-symbolic Architecture [10.27696004820717]
ベクトルシンボリックアーキテクチャ(VSA)における多様な関係表現(Rel-SAR)を持つ体系的帰納的推論モデルを提案する。
記号的推論ポテンシャルを持つ表現を導出するために、様々な種類の原子ベクトルが数値的、周期的、論理的意味論を表すだけでなく、構造化された高次元表現(S)も導入する。
体系的推論のために,これらの関係表現を統合する統一フレームワークにおいて,新しい数値および論理関数を提案し,規則の推論と一般化の実行を行う。
論文 参考訳（メタデータ） (2025-01-21T05:17:08Z) - NeSyCoCo: A Neuro-Symbolic Concept Composer for Compositional Generalization [17.49136753589057]
NeSyCoCoは、シンボリック表現を生成し、それらを微分可能なニューラル計算にマッピングする、ニューロシンボリックフレームワークである。
我々のフレームワークは、ReaSCANとCLEVR-CoGenT合成一般化ベンチマークの最先端結果を達成する。
論文 参考訳（メタデータ） (2024-12-20T05:48:58Z) - Learning Visual-Semantic Subspace Representations for Propositional Reasoning [49.17165360280794]
本稿では,特定の意味構造に適合する視覚表現を学習するための新しい手法を提案する。
我々のアプローチは、新しい核規範に基づく損失に基づいている。
部分空間格子におけるセマンティクスのスペクトル幾何学を最小エンコードしていることを示す。
論文 参考訳（メタデータ） (2024-05-25T12:51:38Z) - Generalized Holographic Reduced Representations [6.161066669674775]
一般ホログラフィックリダクション(GHRR)はフーリエホログラフィックリダクション(FHRR)の拡張である
GHRRは柔軟で非可換なバインディング操作を導入し、複雑なデータ構造のエンコーディングを改善する。
論文 参考訳（メタデータ） (2024-05-15T20:37:48Z) - Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文 参考訳（メタデータ） (2023-10-03T05:40:56Z) - DiffCloth: Diffusion Based Garment Synthesis and Manipulation via
Structural Cross-modal Semantic Alignment [124.57488600605822]
クロスモーダルな衣料品の合成と操作は、ファッションデザイナーが衣料品を作る方法に大きな恩恵をもたらすだろう。
クロスモーダルな衣服合成と操作のための拡散型パイプラインDiffClothを紹介する。
CM-Fashionベンチマークの実験により、DiffClothはどちらも最先端の衣服合成結果を得ることが示された。
論文 参考訳（メタデータ） (2023-08-22T05:43:33Z) - Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal
Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。
シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。
知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文 参考訳（メタデータ） (2023-05-06T03:57:05Z) - Decomposed Soft Prompt Guided Fusion Enhancing for Compositional
Zero-Shot Learning [15.406125901927004]
本稿では、視覚言語モデル(VLM)を組み込んで、不明瞭な合成認識を実現することによって、DFSP(Decomposed Fusion with Soft Prompt)1という新しいフレームワークを提案する。
具体的には、DFSPは学習可能なソフトプロンプトと状態とオブジェクトのベクトル結合を構築し、それらの結合表現を確立する。
さらに、言語とイメージブランチの間にクロスモーダル融合モジュールが設計されており、画像の特徴ではなく、言語機能間で状態とオブジェクトを分解する。
論文 参考訳（メタデータ） (2022-11-19T12:29:12Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z) - Image Synthesis via Semantic Composition [74.68191130898805]
本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。
類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。
本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
論文 参考訳（メタデータ） (2021-09-15T02:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。