論文の概要: STBridge: Shared-Target Alignment for Bridging Understanding and Generation in UMMs

• arxiv url: http://arxiv.org/abs/2607.17140v1
• Date: Sun, 19 Jul 2026 08:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.380798
• Title: STBridge: Shared-Target Alignment for Bridging Understanding and Generation in UMMs
• Title（参考訳）: STBridge: UMMにおけるブリッジ理解と生成のための共有ターゲットアライメント
• Abstract要約: 統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と生成を統合することを目的としている。 画像編集におけるこのギャップについて検討し、命令が記述および視覚的に実現可能なターゲット状態を定義する。 本稿では,共通目標状態を通じて理解と生成を接続する共有ターゲットアライメントフレームワークであるSTBridgeを提案する。
• 参考スコア（独自算出の注目度）: 25.310174651195425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified multimodal models (UMMs) aim to integrate visual understanding and generation within a single architecture, but architectural unification alone does not ensure semantic consistency. A model may describe the intended target correctly while generating an inconsistent edit. This exposes an understanding-generation alignment gap: linguistic and visual outputs live in different spaces, yet should be governed by the same target semantics. We study this gap in image editing, where an instruction defines a target state that can be both described and visually realized. Given a source image and an edit instruction, we compare a UMM's target caption with its edited image to test whether the two outputs converge on the same result. Our analysis shows that existing UMMs remain weakly aligned, especially for fine-grained entities, attributes, spatial relations, and local details, indicating that semantic unification is not achieved by architecture alone. To bridge this gap, we propose STBridge, a shared-target alignment framework that connects understanding and generation through a common target state. Here the target caption expresses the desired visual result, while the edited image realizes it visually, replacing separate task-specific paths with a shared information flow from target expression to target realization. STBridge follows an align-then-optimize strategy: supervised fine-tuning first establishes the shared-target channel, and sequential reinforcement learning further refines target-centered coordination. Across visual understanding, image generation, and image editing benchmarks, STBridge consistently improves over the initialization model. Alignment analysis confirms that STBridge narrows the gap between what the model describes and what it generates, demonstrating shared-target alignment as an effective post-training strategy for bridging understanding and generation in UMMs.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、視覚的理解と生成を単一のアーキテクチャに統合することを目的としている。 モデルは、一貫性のない編集を生成しながら、意図したターゲットを正しく記述することができる。 言語的および視覚的なアウトプットは異なる空間に存在するが、同じターゲットセマンティクスによって管理されるべきである。 画像編集におけるこのギャップについて検討し、命令が記述および視覚的に実現可能なターゲット状態を定義する。 ソース画像と編集命令が与えられた場合、この2つの出力が同じ結果に収束するかどうかをテストするために、UMMのターゲットキャプションとその編集画像を比較した。 分析の結果,既存のUMMは,特に細粒度エンティティ,属性,空間関係,局所的詳細に対して弱い整合性を維持しており,アーキテクチャだけでは意味的統一が達成されていないことが示唆された。 このギャップを埋めるために、共通の目標状態を通じて理解と生成を接続する共有ターゲットアライメントフレームワークであるSTBridgeを提案する。 ここで、目標キャプションは所望の視覚結果を表現し、編集された画像はそれを視覚的に認識し、個別のタスク固有のパスを目標表現から目標実現への共有情報フローに置き換える。 監督された微調整はまず共有ターゲットチャネルを確立し、逐次強化学習は目標中心の調整をさらに洗練する。 視覚的理解、画像生成、画像編集ベンチマーク全般において、STBridgeは初期化モデルよりも一貫して改善されている。 アライメント分析により、STBridgeはモデルが記述するものと生成するものとのギャップを狭め、UMMのブリッジング理解と生成のための効果的な訓練後の戦略として共有ターゲットアライメントを示す。

関連論文リスト

• Uncovering Understanding-Generation Synergy in Native Unified Multimodal Models: From Representation, Task to System [90.64481646805855]
  統一マルチモーダルモデル(UMM)は、単一のモデル内で視覚的理解と生成を共同で行う。 制御された、構造的にネイティブな環境で、それらの関係を表現、タスク、システムレベルで調査する。 適切な特殊化やタスク知識の共有,エンドツーエンドの最適化など,UMMの価値は統一インターフェースを超えて,共存を相乗効果に転換できることを示す。
  論文  参考訳（メタデータ） (2026-09-01T17:59:59Z)
• A Unified Conditional Flow for Motion Generation, Editing, and Intra-Structural Retargeting [26.68081874066983]
  両タスクを単一の生成フレームワーク内で条件付き移動のインスタンスとしてキャストする統一的な視点を示す。 我々はこのビジョンを、整流運動モデルと目標骨格構造を併用して実装する。 SnapMoGenとマルチキャラクタのMixamoサブセットの実験は、単一のトレーニングされたモデルがテキスト・ツー・モーション生成、ゼロショット編集、ゼロショット・イン・ストラクチャをサポートすることを示している。
  論文  参考訳（メタデータ） (2026-04-15T02:53:07Z)
• SimGraph: A Unified Framework for Scene Graph-Based Image Generation and Editing [18.681125141500345]
  シーングラフに基づく画像生成と編集を統合した統合フレームワークであるSimGraphを紹介する。 本フレームワークは,1つのシーン駆動モデルにトークン生成と拡散編集を統合し,一貫した結果を保証する。
  論文  参考訳（メタデータ） (2026-01-29T10:15:55Z)
• UNO: Unifying One-stage Video Scene Graph Generation via Object-Centric Visual Representation Learning [22.190757229228996]
  ビデオシーングラフ生成(VidSGG)は、オブジェクトを検出して時間的相互作用を構造化グラフとしてモデル化することにより、動的視覚コンテンツを表現することを目的としている。 UNO(Unified Object-centric VidSGG)は、エンド・ツー・エンドアーキテクチャ内の両方のタスクに共同で対処する単一のステージ統合フレームワークである。
  論文  参考訳（メタデータ） (2025-09-07T18:30:41Z)
• Neural Scene Designer: Self-Styled Semantic Image Manipulation [67.43125248646653]
  我々は,ユーザが指定したシーン領域のリアルな写真操作を可能にする新しいフレームワークであるNeural Scene Designer (NSD)を紹介した。 NSDは、ユーザ意図とのセマンティックアライメントと、周辺環境とのスタイリスティックな整合性の両方を保証する。 細かなスタイル表現を捉えるために,プログレッシブ・セルフスタイル表現学習(PSRL)モジュールを提案する。
  論文  参考訳（メタデータ） (2025-09-01T11:59:03Z)
• FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [55.01077993490845]
  最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。 本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
  論文  参考訳（メタデータ） (2025-06-20T07:46:40Z)
• Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation [50.433911327489554]
  リモートセンシング画像セグメンテーション(RRSIS)の目標は、参照式によって識別された対象オブジェクトの画素レベルマスクを生成することである。 上記の課題に対処するため、クロスモーダル双方向相互作用モデル(CroBIM)と呼ばれる新しいRRSISフレームワークが提案されている。 RRSISの研究をさらに推し進めるために、52,472個の画像言語ラベル三重項からなる新しい大規模ベンチマークデータセットRISBenchを構築した。
  論文  参考訳（メタデータ） (2024-10-11T08:28:04Z)
• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
  マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。 1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2022-12-27T09:13:19Z)
• Target Adaptive Context Aggregation for Video Scene Graph Generation [36.669700084337045]
  本稿では,映像シーングラフ生成(VidSGG)の課題を扱う。 複雑な低レベルエンティティ追跡から関係予測のためのコンテキストモデリングを分離することにより,この課題に対する新しい Em 検出-追跡パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-08-18T12:46:28Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。