論文の概要: Can Visual Generation Expand What Unified Multimodal Models Know?

• arxiv url: http://arxiv.org/abs/2610.21459v1
• Date: Thu, 15 Oct 2026 08:03:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.273697
• Title: Can Visual Generation Expand What Unified Multimodal Models Know?
• Title（参考訳）: ビジュアルジェネレーションは、統一マルチモーダルモデルに何がわかるか?
• Abstract要約: 統一マルチモーダルモデル(UMM)は、画像生成の監督を受け、テキストで完全に文書化されていない視覚情報に公開する。 学習者が画像を生成することは、事前訓練されたモデルが知っていることを拡張できるのか? 本稿では,KTP(Knowledge Transfer Probing)を提案する。KTPは,画像生成トレーニングを通じて新たな知識を提供する制御プロトコルで,テキストのみの質問応答によるアクセシビリティのテストを行う。
• 参考スコア（独自算出の注目度）: 20.781229269251472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models (UMMs) receive image-generation supervision that exposes them to visual information not fully documented in text. Can learning to generate images expand what pretrained models know? We introduce Knowledge Transfer Probing (KTP), a controlled protocol that supplies new knowledge through image-generation training and tests its accessibility through text-only question answering. Across seven knowledge categories and three UMMs, we observe direct but uneven transfer from visual supervision to language. Motivated by these observations, we successively introduce Textual Alignment and Interleaved Image--Text Alignment, which connect generation and answering through shared knowledge and interleaved responses, respectively. Guidance on selected entities can improve knowledge access on other entities without QA supervision, with additional gains from interleaved alignment. Further analysis shows that knowledge correctly reproduced in images is often more accessible through text, although substantial gaps remain between the two forms of access. These findings support visual generation as a source of knowledge beyond textual supervision, and motivate joint investigation of training data design and model architecture to make this knowledge more broadly accessible.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、画像生成の監督を受け、テキストで完全に文書化されていない視覚情報に公開する。 学習者が画像を生成することは、事前訓練されたモデルが知っていることを拡張できるのか? 本稿では,KTP(Knowledge Transfer Probing)を提案する。KTPは,画像生成トレーニングを通じて新たな知識を提供する制御プロトコルで,テキストのみの質問応答によるアクセシビリティのテストを行う。 7つの知識カテゴリと3つのUMMを通して、視覚的監督から言語への直接的かつ不均一な移動を観察する。 これらの観察に動機づけられたテキストアライメントとインターリーブドイメージ--テキストアライメントは,それぞれ共有知識とインターリーブド応答を通じて生成と応答を接続する。 選択されたエンティティへのガイダンスは、QAの監督なしに他のエンティティへの知識アクセスを改善することができ、インターリーブされたアライメントによってさらに利益を得ることができる。 さらなる分析により、画像で正しく再現された知識はテキストを通してよりアクセスしやすいことが示されているが、この2つのアクセス形態の間には大きなギャップが残っている。 これらの知見は、テキストの監督以上の知識源としての視覚生成を支援し、この知識をより広く利用できるようにするために、トレーニングデータ設計とモデルアーキテクチャの共同調査を動機付けている。

関連論文リスト

• Look Twice: Training-Free Evidence Highlighting in Multimodal Large Language Models [27.14308995992974]
  事前訓練されたMLLMがマルチモーダルなエビデンスをどのように利用するかを改善するトレーニング不要な推論時間フレームワークであるLook Twice(LoT)を紹介する。 LoTは、どの視覚領域と検索されたテキスト要素がクエリに関連するかを推定し、このハイライトされたエビデンスに条件付けられた回答を生成する。 複数の知識に基づくVQAベンチマークによる実験では、ゼロショットMLLMよりも一貫した改善が見られた。
  論文  参考訳（メタデータ） (2026-04-01T18:00:08Z)
• SmartCLIP: Modular Vision-language Alignment with Identification Guarantees [59.16312652369709]
  Contrastive Language-Image Pre-Traiing (CLIP)citepradford2021 Learningは、コンピュータビジョンとマルチモーダル学習において重要なモデルとして登場した。 CLIPは、多くの画像テキストデータセットにおける潜在的な情報ミスアライメントに苦労し、絡み合った表現に悩まされている。 モジュラー方式で、最も関連性の高い視覚的およびテキスト的表現を特定し、調整する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-07-29T22:26:20Z)
• Instruction Tuning-free Visual Token Complement for Multimodal LLMs [51.138806401996696]
  マルチモーダルな大言語モデル(MLLM)は、視覚と言語の間のエレガントな橋渡しを約束している。 本稿では,MLLM が欠落した視覚機能を取り戻すのに役立つ Visual Token Complement フレームワーク (VTC) を提案する。 我々のVTCは、テキスト不関連特徴を特定するためのガイドとしてテキスト・ツー・イメージ生成を統合し、視覚的セレクタを開発し、補完的な視覚的トークンを生成する。
  論文  参考訳（メタデータ） (2024-08-09T12:13:01Z)
• ReSee: Responding through Seeing Fine-grained Visual Knowledge in Open-domain Dialogue [34.223466503256766]
  視覚的知識をよりきめ細かな粒度に分割することで多モーダル対話を構築するための新しいパラダイムを提供する。 拡張視覚情報の精度と多様性を高めるため、インターネットや大規模な画像データセットからそれらを検索する。 テキストと視覚知識を活用することで、ReSeeは現実世界の視覚概念による情報応答を生成できる。
  論文  参考訳（メタデータ） (2023-05-23T02:08:56Z)
• K-LITE: Learning Transferable Visual Models with External Knowledge [242.3887854728843]
  K-LITE (Knowledge-augmented Language- Image Training and Evaluation) は、外部知識を活用して伝達可能な視覚システムを構築する戦略である。 トレーニングでは、WordNetとWiktionaryの知識で自然言語のエンティティを豊かにする。 評価において、自然言語は外部知識で拡張され、学習された視覚概念を参照するために使用される。
  論文  参考訳（メタデータ） (2022-04-20T04:47:01Z)
• Leveraging Visual Knowledge in Language Tasks: An Empirical Study on Intermediate Pre-training for Cross-modal Knowledge Transfer [61.34424171458634]
  視覚的知識を言語モデルに組み込むことがギャップを埋めるかどうかを検討する。 実験の結果,視覚的知識伝達は低リソース環境と完全教師付き環境の両方で性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-03-14T22:02:40Z)
• External Knowledge Augmented Text Visual Question Answering [0.6445605125467573]
  本稿では,視覚言語理解タスクのための標準マルチモーダルトランスフォーマー上で知識を抽出,フィルタリング,エンコードするフレームワークを提案する。 2つの公開データセット上で、最先端のデータセットに匹敵する結果を生成する。
  論文  参考訳（メタデータ） (2021-08-22T13:21:58Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。