論文の概要: How can embedding models bind concepts?

• arxiv url: http://arxiv.org/abs/2605.31503v1
• Date: Fri, 29 May 2026 16:23:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.742451
• Title: How can embedding models bind concepts?
• Title（参考訳）: モデル埋め込みはどのように概念に結びつくのか?
• Abstract要約: 人間は、マルチオブジェクトシーンでどの色がどの形状に属するかを簡単に決定できる。 CLIPのような視覚言語による埋め込みモデルは概念バインディングと競合する。 バインディングの一般化が十分なデータカバレッジで現れることを示す。
• 参考スコア（独自算出の注目度）: 22.159388085418627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans easily determine which color belongs to which shape in multi-object scenes, an ability known as concept binding. Vision-language embedding models such as CLIP struggle with binding: they recognize individual concepts but fail to represent which concepts form which objects. Although CLIP behaves like a bag-of-concepts model in cross-modal retrieval, object information is recoverable from its image and text embeddings separately. We study this tension through the binding function, which maps concepts to scene embeddings. We find that scene embeddings decompose additively into object representations, explaining why uni-modal probes can recover object information. However, CLIP's binding function is high-complexity, which likely prevents the image and text encoders from learning a shared binding mechanism that generalizes to unseen concept combinations. We then ask whether this limitation is fundamental. We show that it is not. In controlled transformer models trained from scratch, binding generalization emerges with sufficient data coverage. These models learn low-complexity binding functions characterized by multiplicative interactions between concepts, enabling systematic generalization. Code is publicly available at https://github.com/oshapio/binding-concepts-complexity.
• Abstract（参考訳）: 人間は、概念的結合(concept binding)として知られる多目的シーンにおいて、どの色がどの形状に属するかを簡単に決定する。 CLIPのような視覚言語による埋め込みモデルはバインディングに苦慮し、個々の概念を認識するが、どの概念がどのオブジェクトを形成するかを表現できない。 CLIPは、クロスモーダル検索において概念のバッグモデルのように振る舞うが、オブジェクト情報は画像とテキストの埋め込みを別々に復元できる。 我々は,このテンションを,概念をシーン埋め込みにマッピングする結合関数を通して研究する。 シーン埋め込みはオブジェクト表現に付加的に分解され、なぜユニモーダルプローブがオブジェクト情報を復元できるのかを説明する。 しかし、CLIPのバインディング機能は複雑度が高いため、画像とテキストエンコーダが共有バインディングメカニズムを学習するのを防ぐことができる。 この制限が基本かどうかを問う。 私たちはそうではないことを示します。 スクラッチからトレーニングされた制御されたトランスフォーマーモデルでは、バインディングの一般化が十分なデータカバレッジを持って現れる。 これらのモデルは、概念間の乗法的相互作用によって特徴づけられる低複素結合関数を学習し、体系的な一般化を可能にする。 コードはhttps://github.com/oshapio/binding-concepts-complexityで公開されている。

関連論文リスト

• Formalizing the Binding Problem [13.31125986159127]
  ビジョントランスフォーマー(ViT)は、どのパッチが一緒にあるかを知っている。 現在のディープラーニングモデルがバインディング情報を示すことを学ぶかどうかは不明だ。 ここでは,結合問題を情報理論のアプローチで定式化する。
  論文  参考訳（メタデータ） (2026-06-02T17:56:24Z)
• CLIP Behaves like a Bag-of-Words Model Cross-modally but not Uni-modally [16.067527644904434]
  近年の研究では、CLIPの合成概念を効果的に表現する能力に疑問が呈されている。 線形属性結合CLIP(LABCLIP)を提案し,CLIPの構成的理解を改善する。
  論文  参考訳（メタデータ） (2025-02-05T19:28:57Z)
• Unveiling Concept Attribution in Diffusion Models [12.77092262246859]
  拡散モデルは、テキストプロンプトから現実的で高品質な画像を生成する際、顕著な能力を示した。 近年の研究では、他のレイヤがターゲット概念にどのように貢献するかを示すことなく、知識保存層を生成モデルにローカライズするために因果トレースを採用している。 成分属性を用いた拡散モデルを分解し,概念生成における各成分の重要性を体系的に明らかにする。
  論文  参考訳（メタデータ） (2024-12-03T16:34:49Z)
• Understanding Visual Concepts Across Models [45.18188726287581]
  テキスト・ツー・イメージ生成、オープン・セット・オブジェクト検出、ゼロショット分類において、3つの最先端モデルの大規模解析を行う。 任意の概念を生成し、検出し、分類する事前埋め込みに対して、$epsilon$-ball内で摂動を見つける。 これらの新しい埋め込みが新しいモデルにスプリケートされると、元のモデルをターゲットにした微調整が失われる。
  論文  参考訳（メタデータ） (2024-06-11T17:40:31Z)
• The Hidden Language of Diffusion Models [70.03691458189604]
  本稿では,テキスト概念の内部表現を拡散モデルで解釈する新しい手法であるConceptorを提案する。 概念間の驚くべき視覚的つながりは、それらのテキスト意味論を超越している。 我々はまた、模範的、偏見、名高い芸術様式、あるいは複数の意味の同時融合に依存する概念も発見する。
  論文  参考訳（メタデータ） (2023-06-01T17:57:08Z)
• Contrastive Training of Complex-Valued Autoencoders for Object Discovery [55.280789409319716]
  アーキテクチャの変更と、最先端の同期モデルを大幅に改善する新しいコントラスト学習手法を導入する。 マルチオブジェクトカラーデータセットにおいて、教師なしの方法でオブジェクトを発見できる同期ベースモデルのクラスを初めて取得する。
  論文  参考訳（メタデータ） (2023-05-24T10:37:43Z)
• Human Pose as Compositional Tokens [88.28348144244131]
  本稿では,PoseをPCT(Compincial Tokens)と名づけた構造的表現について述べる。 これはM個の離散トークンによるポーズを表し、それぞれがいくつかの相互依存結合を持つ部分構造を特徴づける。 事前に学習したデコーダネットワークを使用してトークンからのポーズを後処理なしで復元する。
  論文  参考訳（メタデータ） (2023-03-21T07:14:18Z)
• Does CLIP Bind Concepts? Probing Compositionality in Large Image Models [24.85238978067213]
  構成概念をエンコードする大きな事前学習された視覚と言語モデル(CLIP)の能力に焦点を当てる。 概念的バインディングをテストするために設計された3つの合成データセットでそれらをベンチマークする。 CLIPは単一オブジェクト設定で概念を構成することができるが、概念バインディングが必要な状況では、パフォーマンスが劇的に低下する。
  論文  参考訳（メタデータ） (2022-12-20T18:46:28Z)
• Learning to Compose Visual Relations [100.45138490076866]
  我々は,各関係を非正規化密度(エネルギーベースモデル)として表現することを提案する。 このような分解を分解することで、複数の関係を持つシーンをより忠実に生成・編集できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:51:29Z)
• Unsupervised Learning of Compositional Energy Concepts [70.11673173291426]
  本稿では,概念を別個のエネルギー関数として発見し,表現するCOMETを提案する。 Cometは、統一されたフレームワークの下でのオブジェクトだけでなく、グローバルな概念も表現します。
  論文  参考訳（メタデータ） (2021-11-04T17:46:12Z)
• Relation-aware Compositional Zero-shot Learning for Attribute-Object Pair Recognition [17.464548471883948]
  本稿では,複合属性オブジェクトの概念を用いた画像認識モデルを提案する。 属性オブジェクトペアを構成するプリミティブな概念に対して,リッチで堅牢な特徴を学習するために必要な3つの重要な特性について検討する。 モデルが合成概念に偏りを生じないようにし,属性とオブジェクト間の絡み合いを低減するため,ブロック機構を提案する。
  論文  参考訳（メタデータ） (2021-08-10T11:23:03Z)
• PatchNets: Patch-Based Generalizable Deep Implicit 3D Shape Representations [75.42959184226702]
  物体認識訓練のための中級パッチベースサーフェス表現を提案する。 形状や部分点雲の完全化など,新しい表現の応用例をいくつか紹介する。
  論文  参考訳（メタデータ） (2020-08-04T15:34:46Z)
• Visual Concept-Metaconcept Learning [101.62725114966211]
  本稿では,概念とメタ概念を画像と関連する問合せ対から学習するための視覚概念メタコンセプタ(VCML)を提案する。 赤と緑がオブジェクトの同じ性質を記述していることを知ると、立方体と球面がオブジェクトの同じ性質を記述しているという事実を一般化する。
  論文  参考訳（メタデータ） (2020-02-04T18:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。