論文の概要: COMPASS: Grounding Composition-Intent Guidance in Unified Multimodal Models
- arxiv url: http://arxiv.org/abs/2606.28696v1
- Date: Sat, 27 Jun 2026 02:43:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.658469
- Title: COMPASS: Grounding Composition-Intent Guidance in Unified Multimodal Models
- Title(参考訳): CompASS: 統一マルチモーダルモデルにおける接地構成インテントガイダンス
- Abstract要約: 本稿では,合成知覚と合成誘導生成の両方にまたがる単一システムにおいて,構成意図制御を基礎とする最初の統合マルチモーダルフレームワークを提案する。
Comp-11は11クラスの分類と推論拡張アノテーションを備えた大規模データセットである。
- 参考スコア(独自算出の注目度): 52.024920838442576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Composition is a high-level visual intent that governs where subjects are placed and how a scene is organized, yet current unified multimodal models remain unreliable at fine-grained composition recognition and struggle to turn such intent into controllable generation. We present COMPASS, the first unified multimodal framework that grounds composition-intent control in a single system spanning both composition perception and composition-guided generation, with a shared expert token $τ_c$ as the central intent anchor. On the perception side, COMPASS injects composition expertise into an MoE backbone in a minimally invasive manner and distills the inferred intent into $τ_c$. On the generation side, COMPASS reuses $τ_c$ as a global conditioning signal that steers the denoising trajectory, effectively converting passive composition analysis into explicit layout control. To support systematic instruction-following composition learning and evaluation at scale, we construct Comp-11, a large-scale dataset with an 11-class taxonomy and reasoning-augmented annotations. Extensive experiments show that COMPASS substantially improves category-level composition understanding and delivers more composition-consistent, prompt-faithful generation than strong baselines.
- Abstract(参考訳): 構成は、被写体がどこに置かれ、どのようにシーンが組織されるかを管理する高レベルの視覚的意図であるが、現在の統一されたマルチモーダルモデルは、きめ細かい構成認識において信頼できないままであり、そのような意図を制御可能な世代に変えるのに苦労している。
合成知覚と合成誘導生成の両方にまたがる単一システムにおいて、合成意図制御を基盤とする最初の統合マルチモーダルフレームワークであるCompASSを、中央インテントアンカーとして共有専門家トークン$τ_c$で提示する。
知覚面では、CompASSは構成専門知識を最小侵襲的にMoEバックボーンに注入し、推定意図を$τ_c$に蒸留する。
生成側では、CompASSはdenoising trajectoryを操るグローバル条件信号として$τ_c$を再利用し、受動的合成解析を明示的なレイアウト制御に変換する。
体系的な指示追従合成学習と大規模評価を支援するため,11クラス分類と推論拡張アノテーションを備えた大規模データセットComp-11を構築した。
大規模な実験により、CompASSはカテゴリーレベルの構成理解を大幅に改善し、強いベースラインよりも構成に一貫性があり、即効性のある生成を提供することが示された。
関連論文リスト
- AC-VLA: Robust Out-of-Distribution Action Execution via Compositional Learning [52.47988016454267]
VLA(Vision-Language-Action)モデルは、エンドツーエンドのロボット操作において優れているが、アウト・オブ・ディストリビューション(OOD)の一般化に苦慮している。
構成的サブスキルのセマンティクスよりも全体論的軌道パターンに過度に適合するEmphtrajectory overfittingと、世界空間の接地を犠牲にして手首面のテクスチャを過度に強調するEmphperceptual shortcutの2つの相互強化モードを同定する。
textbfAC-VLA, プラグアンドプレイアクション構成学習について紹介する。
論文 参考訳(メタデータ) (2026-07-17T07:51:03Z) - Hierarchical Contrastive Learning for Multimodal Data [3.1788482285024107]
階層的コントラスト学習(Hierarchical Contrastive Learning)は、グローバルに共有され、部分的に共有され、モダリティ固有の表現を学習するフレームワークである。
マルチモーダルな電子健康記録では、HCLはより情報的な表現をもたらし、常に予測性能を改善する。
論文 参考訳(メタデータ) (2026-04-07T05:53:04Z) - Bilateral Intent-Enhanced Sequential Recommendation with Embedding Perturbation-Based Contrastive Learning [1.7522809149611367]
バイラテラル・インテント・エンハンス・エンベディング・摂動に基づくコントラスト学習フレームワーク
BIPCLは、双方向のインテントエンハンスメント機構を介して、アイテムおよびシーケンス表現の両方にマルチインテント信号を統合する。
ベンチマークデータセットの実験では、BIPCLは一貫して最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-04-03T07:55:04Z) - PartComposer: Learning and Composing Part-Level Concepts from Single-Image Examples [31.17687322390452]
PartComposerは、単一イメージの例から学ぶ部分レベルの概念のフレームワークである。
本稿では,一発データ不足に対処するために,多様な部分合成を生成する動的データ合成パイプラインを提案する。
論文 参考訳(メタデータ) (2025-06-03T15:43:28Z) - Consistency of Compositional Generalization across Multiple Levels [31.77432446850103]
複数のレベルにまたがる一貫した構成一般化を実現するためのメタラーニングベースのフレームワークを提案する。
一貫性を定量的に評価するGQA-CCGデータセットを構築した。
論文 参考訳(メタデータ) (2024-12-18T09:09:41Z) - Enhancing Graph Contrastive Learning with Reliable and Informative Augmentation for Recommendation [84.45144851024257]
離散コードによるより強力な協調情報を用いて、コントラスト的なビューを構築することにより、グラフのコントラスト学習を強化することを目的とした、新しいフレームワークを提案する。
中心となる考え方は、ユーザとアイテムを協調情報に富んだ離散コードにマッピングし、信頼性と情報に富んだコントラッシブなビュー生成を可能にすることである。
論文 参考訳(メタデータ) (2024-09-09T14:04:17Z) - IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。
IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
論文 参考訳(メタデータ) (2024-06-19T16:37:31Z) - CSCNET: Class-Specified Cascaded Network for Compositional Zero-Shot
Learning [62.090051975043544]
属性とオブジェクト(A-O)の絡み合いは、合成ゼロショット学習(CZSL)の基本的かつ重要な問題である
CZSL(Class-specified Cascaded Network, CSCNet)のための新しいA-O不整合フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-09T14:18:41Z) - Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal
Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。
シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。
知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文 参考訳(メタデータ) (2023-05-06T03:57:05Z) - HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly
Supervised Relation Extraction [24.853265244512954]
雑音の少ない文を抽出するための階層的コントラスト学習フレームワーク (HiCLRE) を提案する。
具体的には,3段階の階層型学習フレームワークを提案する。
実験により、HiCLREは様々なメインストリームDSREデータセットにおいて、強いベースラインを著しく上回っていることが示された。
論文 参考訳(メタデータ) (2022-02-27T12:48:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。