論文の概要: Fully Distributed, Flexible Compositional Visual Representations via Soft Tensor Products

• arxiv url: http://arxiv.org/abs/2412.04671v3
• Date: Thu, 23 Jan 2025 01:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:56:47.645104
• Title: Fully Distributed, Flexible Compositional Visual Representations via Soft Tensor Products
• Title（参考訳）: ソフトテンソル製品による完全分散フレキシブルな構成的視覚表現
• Authors: Bethia Sun, Maurice Pagnucco, Yang Song,
• Abstract要約: 我々は,構成構造を本質的に分散した柔軟な方法でエンコードする表現形式であるSoft TPRを紹介する。 我々は、ソフトTPRが従来の非絡み合いの代替よりも一貫して優れていることを示す。 これらの知見は、構成構造を表現するための分散的で柔軟なアプローチの可能性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 13.306125510884563
• License:
• Abstract: Since the inception of the classicalist vs. connectionist debate, it has been argued that the ability to systematically combine symbol-like entities into compositional representations is crucial for human intelligence. In connectionist systems, the field of disentanglement has gained prominence for its ability to produce explicitly compositional representations; however, it relies on a fundamentally symbolic, concatenative representation of compositional structure that clashes with the continuous, distributed foundations of deep learning. To resolve this tension, we extend Smolensky's Tensor Product Representation (TPR) and introduce Soft TPR, a representational form that encodes compositional structure in an inherently distributed, flexible manner, along with Soft TPR Autoencoder, a theoretically-principled architecture designed specifically to learn Soft TPRs. Comprehensive evaluations in the visual representation learning domain demonstrate that the Soft TPR framework consistently outperforms conventional disentanglement alternatives -- achieving state-of-the-art disentanglement, boosting representation learner convergence, and delivering superior sample efficiency and low-sample regime performance in downstream tasks. These findings highlight the promise of a distributed and flexible approach to representing compositional structure by potentially enhancing alignment with the core principles of deep learning over the conventional symbolic approach.
• Abstract（参考訳）: 古典主義者対コネクショナリスト論争の発端から、記号のような実体を構成表現に体系的に結合する能力は人間の知性にとって重要であると論じられている。 コネクショニストシステムでは、非絡み合いの分野は、明示的な構成的表現を作り出す能力で有名になったが、それは基本的に象徴的で結合的な構成的構造の表現に依存しており、深層学習の継続的な分散基盤と衝突している。 この緊張を解消するために、スモレンスキーのテンソル製品表現(TPR)を拡張し、ソフトTPR(Soft TPR)の学習に特化して設計された理論的なアーキテクチャであるSoft TPR Autoencoderとともに、構成構造を本質的に分散して柔軟な方法で符号化する表現形式を導入した。 視覚表現学習領域における包括的評価は、ソフトTPRフレームワークが従来型のアンタングルメントの代替品を一貫して上回り、最先端のアンタングルメントを実現し、表現学習者の収束を高め、下流タスクにおいて優れたサンプル効率と低サンプルレギュレーション性能を提供することを示した。 これらの知見は,従来の記号的アプローチよりも深層学習の根本原理との整合性を高めることにより,構成構造を表現するための分散的かつ柔軟なアプローチの可能性を浮き彫りにした。

関連論文リスト

• Discovering Abstract Symbolic Relations by Learning Unitary Group Representations [7.303827428956944]
  記号演算完了(SOC)の原理的アプローチについて検討する。 SOCは離散記号間の抽象的関係をモデル化する際、ユニークな挑戦となる。 SOCは最小限のモデル(双線型写像)で、新しい分解アーキテクチャで効率的に解けることを実証する。
  論文  参考訳（メタデータ） (2024-02-26T20:18:43Z)
• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• Transitivity Recovering Decompositions: Interpretable and Robust Fine-Grained Relationships [69.04014445666142]
  Transitivity Recovering Decompositions (TRD) は、抽象的な創発的関係の解釈可能な等価性を識別するグラフ空間探索アルゴリズムである。 TRDは明らかにノイズの多い見方に対して堅牢であり、実証的な証拠もこの発見を支持している。
  論文  参考訳（メタデータ） (2023-10-24T16:48:56Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Im-Promptu: In-Context Composition from Image Prompts [10.079743487034762]
  視覚刺激の構成可能な要素に対して,類似推論がコンテキスト内合成を可能にするか否かを検討する。 我々はIm-Promptuを使って、ベクトル表現、パッチ表現、オブジェクトスロットなど、さまざまなレベルの構成性のエージェントを訓練する。 本実験は,学習された構成規則を未知の領域に拡張する非構成的表現を用いて,外挿能力と構成性の程度とのトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2023-05-26T21:10:11Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Image Synthesis via Semantic Composition [74.68191130898805]
  本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。 類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。 本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
  論文  参考訳（メタデータ） (2021-09-15T02:26:07Z)
• Imposing Relation Structure in Language-Model Embeddings Using Contrastive Learning [30.00047118880045]
  グラフ構造における関係をエンコードするために文埋め込みを訓練する新しいコントラスト学習フレームワークを提案する。 結果として得られた関係認識文の埋め込みは、関係抽出タスクにおける最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-02T10:58:27Z)
• Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization [131.23966358405767]
  抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。 モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。 本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T17:32:33Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)
• The Immersion of Directed Multi-graphs in Embedding Fields. Generalisations [0.0]
  本稿では,ハイブリッドカテゴリー,シンボル,知覚感覚,知覚潜在データを表す汎用モデルについて概説する。 この表現は、コンピュータビジョンにおける様々な機械学習モデル、NLP/NLUで現在使用されている。 これは、様々な潜在空間からの埋め込みを表す少なくともいくつかのエッジ属性を持つ有向リレーショナル型マルチグラフを提供することによって達成される。
  論文  参考訳（メタデータ） (2020-04-28T09:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。