論文の概要: Prism: Bidirectional Self-Teaching for Unified Multimodal Models
- arxiv url: http://arxiv.org/abs/2611.06343v1
- Date: Wed, 04 Nov 2026 11:05:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.089217
- Title: Prism: Bidirectional Self-Teaching for Unified Multimodal Models
- Title（参考訳）: Prism: 統一マルチモーダルモデルのための双方向自己学習
- Abstract要約: 統一マルチモーダルモデル(UMM)は、単一のモデル内で視覚的理解と生成をサポートすることを目的としている。
UMMの双方向自己学習手法であるPrismを提案する。
混合光を分解するプリズムのように、Prismは結合したインターリーブされた軌跡をテキストチェーンと画像チェーンに分離し、各チェーンの信頼性を評価し、その信頼性状態から対応するトレーニングターゲットを構築する。
- 参考スコア（独自算出の注目度）: 9.48855288946867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unified Multimodal Models (UMMs) aim to support visual understanding and generation within a single model. Existing post-training methods either use understanding as a fixed teacher to improve generation, or rely on ground-truth trajectories to supervise both understanding and generation. Prism instead derives bidirectional supervision from self-generated interleaved rollouts, constructing training targets according to the reliability of their text and image chains. We propose Prism, a bidirectional self-teaching post-training method for UMMs. Like a prism decomposing mixed light, Prism decouples a coupled interleaved trajectory into a text chain and an image chain, assesses the reliability of each chain, and constructs a corresponding training target from their reliability states. Experiments on both SenseNova-U1 and BAGEL show that Prism improves both understanding and generation. On the generation side, GenEval improves from 85.8 to 89.2 (+3.4), and DPG improves from 86.1 to 87.3 (+1.2) on SenseNova-U1. On the understanding side, the total MME score improves from 2282.6 to 2311.6, and MMVP improves from 58.0 to 62.0. Consistent improvements are observed on BAGEL. These results highlight that Prism enables coordinated improvements in generation and understanding by constructing reliability-guided self-training targets from self-generated trajectories, without relying on an external verifier or externally annotated corrected trajectories during target construction.
- Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、単一のモデル内で視覚的理解と生成をサポートすることを目的としている。
既存のポストトレーニング手法では、理解を固定教師として利用して生成を改善するか、あるいは理解と生成の両方を監督するために地道的軌道に依存している。
代わりにPrismは、テキストと画像チェーンの信頼性に応じてトレーニングターゲットを構築する、自己生成のインターリーブ付きロールアウトから双方向の監視を導出する。
UMMの双方向自己学習手法であるPrismを提案する。
混合光を分解するプリズムのように、Prismは結合したインターリーブされた軌跡をテキストチェーンと画像チェーンに分離し、各チェーンの信頼性を評価し、その信頼性状態から対応するトレーニングターゲットを構築する。
SenseNova-U1とBAGELの実験では、Prismは理解と生成の両方を改善している。
生成側では、GenEvalは85.8から89.2(+3.4)に改善され、DSGはSenseNova-U1上で86.1から87.3(+1.2)に改善されている。
理解面では、総 MME スコアは 2282.6 から 2311.6 に改善され、MMVP は 58.0 から 62.0 に改善されている。
BAGELでは、一貫性のある改善が観察されている。
これらの結果から,Prismは,自己生成軌道から信頼性誘導型自己学習目標を構築することにより,外部検証器や外部注釈付き修正軌道に依存することなく,生成と理解の協調的な改善を可能にした。
関連論文リスト
- UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement [86.70117588532374]
建設的自己補正フィードバックから学習するマルチモーダルモデルのための自己進化フレームワークUniEvo-VLを紹介する。
実験により、UniEvo-VLはマルチモーダルモデルの画像生成能力を向上することが示された。
論文 参考訳（メタデータ） (2026-09-30T00:54:09Z) - Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning [48.42236694161824]
1つの統一モデル内での完全な反射軌道に強化学習(RL)を適用するUMM-Reflectionを導入する。
BAGELでは、UMM-ReflectionはGenEvalをSFT上で12.05ポイント改善し、WISE (+10.97)、OneIG-Bench (+3.48)、T2I-CompBench (+4.63)へのゲインはトレーニングに使われない。
論文 参考訳（メタデータ） (2026-09-28T17:59:36Z) - Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards [52.42920996842378]
視覚的理解と画像生成の両方をサポートするほとんどの統合された大型マルチモーダルモデル(LMM)は、訓練後の監督に頼っている。
本稿では,3つの内部的役割を持つ自己進化型トレーニングフレームワークを提案する。 視覚的質問を生成するプロポーラ, 回答と評価を行うソルバ, 画像を生成するジェネレータである。
画像生成のために,質問文の忠実度とサイクル一貫性キャプションを組み合わせたマルチスケール内部評価手法を設計する。
論文 参考訳（メタデータ） (2026-06-25T17:59:57Z) - Free Lunch for Unified Multimodal Models: Enhancing Generation via Reflective Rectification with Inherent Understanding [20.397510070808238]
統一マルチモーダルモデル(UMM)は、視覚的理解と生成を単一の構造に統合することを目的としている。
UMMは、その理解能力が世代を著しく上回る、顕著な能力ミスマッチを示す。
そこで我々は,UniRect-CoT(UniRect-CoT)を提案する。
論文 参考訳（メタデータ） (2026-04-15T06:41:56Z) - Learning to Self-Verify Makes Language Models Better Reasoners [65.75109817173315]
大規模言語モデル(LLM)は、複雑なタスクに対する有望な推論パスを生成する上で、強力なパフォーマンスを達成する。
強力な生成能力にもかかわらず、LSMは自身の答えを検証するのに弱いままである。
同じタスクであっても、生成を改善することは、自己検証の改善に繋がらないことを示す。
論文 参考訳（メタデータ） (2026-02-07T15:49:06Z) - UniCorn: Towards Self-Improving Unified Multimodal Models through Self-Generated Supervision [34.575729271291436]
導電失語(Conduction Aphasia)は、モデルがマルチモーダル入力を正確に解釈するが、その理解を忠実で制御可能な合成に変換するのに苦労する現象である。
外部データや教師の監督を必要としない,シンプルでエレガントな自己改善フレームワークUniCornを提案する。
マルチモーダルコヒーレンスの回復を検証するために,テキスト・トゥ・イメージ・トゥ・テクスチャ・コンシステンシー・ベンチマークであるUniCycleを導入する。
論文 参考訳（メタデータ） (2026-01-06T17:15:50Z) - Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。
私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。
本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
論文 参考訳（メタデータ） (2025-06-10T12:40:39Z) - SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards [55.99492656542475]
textbfSDER (textbfSelf-improving textbfUnified LMMs with textbfDual stextbfElf-textbfRewards) を提案する。
論文 参考訳（メタデータ） (2025-06-09T17:38:45Z) - Boosting LLM Reasoning via Spontaneous Self-Correction [43.4980625253775]
数学推論を改善するためのアプローチの1つは自己補正である。
既存の自己補正アプローチは、修正を独立したポストジェネレーションとして扱う。
本研究では,LLMが単一推論パスでインターリーブされた解と検証を生成できる自己補正手法であるSPOCを提案する。
論文 参考訳（メタデータ） (2025-06-07T21:23:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。