論文の概要: MIRROR: Aligning Semantic Relations from Language to Image via Gromov--Wasserstein
- arxiv url: http://arxiv.org/abs/2606.29462v1
- Date: Sun, 28 Jun 2026 15:39:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.919384
- Title: MIRROR: Aligning Semantic Relations from Language to Image via Gromov--Wasserstein
- Title（参考訳）: MIRROR:Gromovによる言語から画像への意味的関係の調整--Wasserstein
- Abstract要約: MLLM(Multimodal Large Language Models)は、言語バックボーンからリッチリレーショナルプリエンスを継承するが、視覚的コンテキストにこれらのリレーショナルを適用するように要求されると失敗することが多い。
言語表現に符号化されたリッチリレーショナル構造を利用して,リレーショナル先行を言語から視覚へ転送する幾何正規化フレームワークMIRRORを提案する。
この定式化は言語幾何学とクロスモーダルカップリングによって示される理想的な視覚的関係構造を規定するユニークな閉形式解を持つことを示す。
- 参考スコア（独自算出の注目度）: 20.422121064806188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models (MLLMs) inherit rich relational priors from their language backbones, yet often fail when asked to apply these relationships in visual contexts. We trace this failure to a structural blind spot: projection-based alignment trains each visual token to carry the right semantics, but never asks whether the relationships between concepts survive the crossing from language to vision. To address this, we propose MIRROR (Mapping Inter-concept Relations from language to visual Representation via Optimal-transport-based Regularization), a geometric regularization framework that transfers relational priors from language to vision by exploiting the rich relational structure encoded in language representations. Specifically, we derive a surrogate loss from the proposed Semi-Inverse Gromov-Wasserstein (SI-GW) problem, an inverse geometric problem that aligns visual representations with language-derived relational priors. We show that this formulation admits a unique closed-form solution that prescribes the ideal visual relational structure implied by language geometry and cross-modal coupling. The structure of the formulation also enables efficient computation, making it applicable to long token sequences. Applying SI-GW inside decoder-only Transformers requires careful design. We introduce targeted strategies at the layer, head, and token levels to ensure stable extraction without additional parameters or inference cost. MIRROR improves relational consistency while preserving performance on general vision-language tasks.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、言語バックボーンからリッチリレーショナルプリエンスを継承するが、視覚的コンテキストにこれらのリレーショナルを適用するように要求されると失敗することが多い。
プロジェクションベースのアライメントは、各視覚トークンに適切な意味を持たせるように訓練するが、概念間の関係が言語から視覚への交差を生き残るかどうかを問うことはない。
そこで我々は,言語表現に符号化されたリッチリレーショナル構造を利用して,言語から視覚へのリレーショナルを伝達する幾何正規化フレームワークMIRRORを提案する。
具体的には,視覚的表現と言語由来の関係を協調する逆幾何学的問題であるSemi-Inverse Gromov-Wasserstein(SI-GW)問題からサロゲート損失を導出する。
この定式化は言語幾何学とクロスモーダルカップリングによって示される理想的な視覚的関係構造を規定するユニークな閉形式解を持つことを示す。
定式化の構造は効率的な計算を可能にし、長いトークン列に適用できる。
デコーダのみのトランスにSI-GWを適用するには、慎重に設計する必要がある。
新たなパラメータや推論コストを伴わずに、安定した抽出を確保するために、層、頭、トークンレベルのターゲット戦略を導入します。
MIRRORは、一般的な視覚言語タスクのパフォーマンスを維持しながら、リレーショナル一貫性を改善する。
関連論文リスト
- Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Improving Relative Representations with Learned Anchors and Whitened Inner Products [0.0]
独立に訓練されたニューラルモデルは一般に非互換な潜在表現に収束する。
相対表現(RR)は、絶対座標を共通アンカー点と類似性によって定義される共有空間にマッピングすることでこの問題に対処する。
従来の実装はランダムにサンプリングされたアンカーとコサインの類似性に依存している。
本稿では,2つの改良点に基づくクロスモデル通信のためのロバストなフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-28T21:43:53Z) - Communication-Inspired Tokenization for Structured Image Representations [74.17163003465537]
COMiT(Communication inspired Tokenization)は、構造化された視覚トークンシーケンスを学習するためのフレームワークである。
セマンティックアライメントが基盤となる一方で、解釈可能なオブジェクト中心のトークン構造を誘導するためには、注意的なシーケンシャルトークン化が重要であることを示す。
論文 参考訳（メタデータ） (2026-02-24T09:53:50Z) - Relation-R1: Progressively Cognitive Chain-of-Thought Guided Reinforcement Learning for Unified Relation Comprehension [31.952192907460713]
Relation-R1は、テキストファーストの統一関係理解フレームワークである。
認知連鎖(CoT)誘導型微調整(SFT)とグループ相対政策最適化(GRPO)を統合している。
広く使われているPSGデータセットとSWiGデータセットの実験により、リレーショナルR1はバイナリとtextitN-aryリレーショナル理解の両方で最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2025-04-20T14:50:49Z) - PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。
本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。
我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
論文 参考訳（メタデータ） (2025-02-24T19:48:00Z) - Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation [50.433911327489554]
リモートセンシング画像セグメンテーション(RRSIS)の目標は、参照式によって識別された対象オブジェクトの画素レベルマスクを生成することである。
上記の課題に対処するため、クロスモーダル双方向相互作用モデル(CroBIM)と呼ばれる新しいRRSISフレームワークが提案されている。
RRSISの研究をさらに推し進めるために、52,472個の画像言語ラベル三重項からなる新しい大規模ベンチマークデータセットRISBenchを構築した。
論文 参考訳（メタデータ） (2024-10-11T08:28:04Z) - Enhancing Language Representation with Constructional Information for
Natural Language Understanding [5.945710973349298]
構成文法(CxG)を導入し,形式と意味のペアリングを強調した。
使用法に基づく構築文法を作業の基盤として採用する。
HyCxGフレームワークは3段階のソリューションを通じて言語表現を強化するために提案されている。
論文 参考訳（メタデータ） (2023-06-05T12:15:12Z) - Cross-modal Attention Congruence Regularization for Vision-Language
Relation Alignment [105.70884254216973]
我々は、"mug"から"grass"への指示言語注意を促すことで、関係アライメントを強制できることを示します。
我々は、このソフトリレーションアライメントの概念が、視覚と言語注意の一致を強制することと等価であることを証明した。
UNITERにCACR(Cross-modal Attention Congruence Regularization)の損失を適用し,Winogroundに対する最先端アプローチを改善した。
論文 参考訳（メタデータ） (2022-12-20T18:53:14Z) - SrTR: Self-reasoning Transformer with Visual-linguistic Knowledge for
Scene Graph Generation [12.977857322594206]
一段階のシーングラフ生成では、スパース提案セットといくつかのクエリを使ってエンティティペア間の効果的な関係を推測する。
モデルにフレキシブルな自己推論機能を加えるために,視覚言語知識を用いた自己推論変換器(SrTR)を提案する。
大規模な事前学習型画像テキスト基礎モデルに触発され、視覚言語学的な事前知識が導入された。
論文 参考訳（メタデータ） (2022-12-19T09:47:27Z) - GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and
Event Extraction [107.8262586956778]
言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。
GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。
そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
論文 参考訳（メタデータ） (2020-10-06T20:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。