論文の概要: Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2606.27373v1
• Date: Thu, 25 Jun 2026 17:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.399338
• Title: Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models
• Title（参考訳）: 自己進化型大規模マルチモーダルモデルにおける視覚トークンへの注意力の向上
• Authors: Shravan Venkatraman, Ritesh Thawkar, Omkar Thawakar, Rao Muhammad Anwer, Hisham Cholakkal, Salman Khan, Fahad Khan,
• Abstract要約: 現在の自己進化型LMMは、イメージキャプションや視覚的質問応答といった視覚言語理解タスクに苦慮している。 モデルの視覚条件を直接正規化する,純粋に教師なしの自己進化型フレームワークであるVISEを提案する。 VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作します。
• 参考スコア（独自算出の注目度）: 54.097381112138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, self-evolving large multimodal models (LMMs) have received attention for improving visual reasoning in a purely unsupervised setting. However, multi-role self-play and self-consistency reward schemes in existing self-evolving LMMs optimize answer agreement without ensuring the decoder attends to visual content, relying instead on statistical language priors to produce self consistent outputs. This leads to a persistent failure mode we term visual under-conditioning, where the decoder relies on language priors rather than the image during generation, manifesting as insufficient attention to visual tokens. As a result, current self-evolving LMMs struggle on vision--language understanding tasks such as image captioning and visual question answering. To address this, we propose VISE (Visual Invariance Self-Evolution), a purely unsupervised self-evolving framework that directly regularizes the model's visual conditioning policy through two complementary invariance-based rewards: a geometric invariance reward that enforces spatial consistency under known transformations, and a semantic invariance reward that penalizes evidence-agnostic generation by requiring the model to recognize the absence of evidence when predicted regions are perturbed. VISE operates within a single model without specialist roles, external reward models, or annotations, and is trained on raw unlabeled images. Experiments on 18 benchmarks demonstrate the efficacy of our approach. Using Qwen3-VL-2B as the base model, VISE achieves gains of $+16.85$ CIDEr on COCO and $+19.66$ CIDEr on TextCaps, reduces object hallucination by $5.0$ Chair-I points, and generalizes across four model families and scales. Our code and models are available at https://mbzuai-oryx.github.io/VISE
• Abstract（参考訳）: 近年,自己進化型大規模マルチモーダルモデル (LMM) が注目されている。 しかし、既存の自己進化型LMMにおけるマルチロールの自己プレーと自己整合性報酬スキームは、デコーダが視覚コンテンツに参加することを保証することなく、自己一貫した出力を生成するために統計言語に先立って、回答合意を最適化する。 これにより、視覚的アンダーコンディショニング(visual under-conditioning)と呼ばれる永続的な障害モードが発生し、デコーダは生成中の画像よりも言語優先に依存し、視覚的トークンに対する注意不足として現れます。 その結果、現在の自己進化型LMMは、画像キャプションや視覚的質問応答といった言語理解タスクに苦慮している。 これを解決するために, モデルが予測された領域が乱れたときの証拠の欠如を認識することを要求して, 証拠生成を罰する意味的不変報酬と, 既知の変換の下で空間的一貫性を強制する幾何学的不変報酬の2つの相補的不変報酬を通じて, モデルの視覚的条件付けポリシーを直接正規化する, 純粋に教師なしの自己進化フレームワークであるVISE(Visual Invariance Self-Evolution)を提案する。 VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作し、未ラベルの画像に基づいてトレーニングされる。 18のベンチマーク実験により,提案手法の有効性が示された。 Qwen3-VL-2Bをベースモデルとして、VISEはCOCOの$+16.85$CIDEr、TextCapsの$+19.66$CIDErを達成し、オブジェクト幻覚を5.0$のChair-Iポイントに減らし、4つのモデルファミリとスケールを一般化する。 私たちのコードとモデルはhttps://mbzuai-oryx.github.io/VISEで利用可能です。

関連論文リスト

• Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards [52.42920996842378]
  視覚的理解と画像生成の両方をサポートするほとんどの統合された大型マルチモーダルモデル(LMM)は、訓練後の監督に頼っている。 本稿では,3つの内部的役割を持つ自己進化型トレーニングフレームワークを提案する。 視覚的質問を生成するプロポーラ, 回答と評価を行うソルバ, 画像を生成するジェネレータである。 画像生成のために,質問文の忠実度とサイクル一貫性キャプションを組み合わせたマルチスケール内部評価手法を設計する。
  論文  参考訳（メタデータ） (2026-06-25T17:59:57Z)
• Adapting Vision-Language Models from Iconic to Inclusive for Multi-Label Recognition Without Labels [14.373553090930612]
  ヴィジュアル言語モデル(VLM)はラベル付きデータなしでゼロショット認識を可能にする。 これらのモデルは、しばしば最も象徴的なオブジェクトを優先順位付けし、他の文脈陽性を省略する。 本稿では,VLMをアイコン認識から包括的理解に適応させる,教師なしのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T03:41:50Z)
• reward-lens: A Mechanistic Interpretability Library for Reward Models [0.0]
  このツールキットを報酬モデルに移植するオープンソースライブラリである reward-lens を提示する。 このライブラリは、Reward Lens、コンポーネント属性、3モードアクティベーションパッチ、報奨型プローブスイート、TopK SAE機能属性を提供する。 695 RewardBench対における2つの生産報酬モデルについて検証した。
  論文  参考訳（メタデータ） (2026-04-28T21:38:10Z)
• MAR-MAER: Metric-Aware and Ambiguity-Adaptive Autoregressive Image Generation [1.4552327135549117]
  本稿では,革新的階層的自己回帰フレームワークであるMAR-MAERを紹介する。 これは、メートル法を意識した埋め込み正規化法であり、曖昧な意味論を扱うために使われる潜在モデルである。 提案手法は,CLIPScore や HPSv2 などの品質指標とモデルの内部表現を一致させる。 メトリクスの一貫性とセマンティックな柔軟性の両方において優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-02T10:19:46Z)
• Kelix Technical Report [86.64551727600104]
  我々は、完全離散自己回帰統一モデルであるKelixを紹介し、離散的および連続的な視覚表現間の理解ギャップを埋める。 最近の研究は、完全自己回帰型マルチモーダルモデリングを可能にするために、離散的な視覚的トークン化を探求している。
  論文  参考訳（メタデータ） (2026-02-10T14:48:26Z)
• EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards [52.42920996842378]
  本稿では,1つのバックボーンモデルから2つの協調エージェントをインスタンス化する自己進化型フレームワークEvoLMMを提案する。 この動的なフィードバックは、情報的クエリの生成と構造化推論の洗練の両方を促進する。 私たちのコードとモデルはhttps://github.com/mbzuai-oryx/EvoLMMで公開されています。
  論文  参考訳（メタデータ） (2025-11-20T18:59:54Z)
• Prefilled responses enhance zero-shot detection of AI-generated images [2.6581858762749997]
  我々は、AI生成画像のゼロショット検出のために、事前訓練された視覚言語モデル(VLM)を探索する。 人間の顔,物体,動物の合成画像を含む3つのベンチマークを用いて,VLMの性能を評価する。 特に「スタイルと合成アーティファクトを調べよう」というタスク対応のフレーズでVLM応答をプリフィルすると、3つの広く使われているオープンソースVLMのマクロF1スコアが最大24%向上する。
  論文  参考訳（メタデータ） (2025-05-20T22:44:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。