論文の概要: UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement
- arxiv url: http://arxiv.org/abs/2609.38721v1
- Date: Wed, 30 Sep 2026 00:54:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.916609
- Title: UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement
- Title(参考訳): UniEvo-VL:マルチモーダルモデル自己改善のためのオンライン自己蒸留研修
- Abstract要約: 建設的自己補正フィードバックから学習するマルチモーダルモデルのための自己進化フレームワークUniEvo-VLを紹介する。
実験により、UniEvo-VLはマルチモーダルモデルの画像生成能力を向上することが示された。
- 参考スコア(独自算出の注目度): 86.70117588532374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern multimodal models bring generation and understanding into a single unified system, which enables them to provide and learn from their own feedback. Motivated by this unified capacity, we introduce UniEvo-VL, a self-evolving framework for multimodal models to learn from this constructive self-correction feedback during test-time compute. Instead of relying on a separate, often larger, teacher, we leverage their self-critiques as privileged information and ask a single multimodal model to act as both teacher and student with different contexts. The student only sees the vanilla question, while the teacher conditions on the privileged critique. Then training minimizes the per-state divergence between their denoising diffusion distributions over the student's own sampling trajectories. Experiments demonstrate that UniEvo-VL improves the image generation capabilities of multimodal models, while maintaining their sensitivity to additional reflection information. Specifically, we build on top of the open-source Qwen-image-2512 and observe a significant performance gain from 0.747 to 0.808 on GenEval and from 32.97 to 35.53 on GenEval2 Soft-TIFA. Moreover, attempts with more powerful external critics (e.g., GPT5.6-Luna) show that multimodal models with strong judge capabilities can anticipate a higher self-evolving ceiling. Last but not least, mixed text-rendering outcomes show that our self-improvements may not be uniform across different tasks. Our study aims to shed light on the current hot recursive self-improvement research line to enhance the user experience when using multimodal models without external supervision or guidance.
- Abstract(参考訳): 現代のマルチモーダルモデルは、生成と理解を単一の統一システムにもたらすことで、彼ら自身のフィードバックの提供と学習を可能にする。
この統一能力に動機づけられたUniEvo-VLは、テスト時間計算中にこの構成的自己補正フィードバックから学習するマルチモーダルモデルのための自己進化フレームワークである。
個別の、しばしば大きな教師に頼るのではなく、彼らの自己批判を特権情報として活用し、異なる文脈の教師と学生の両方として振舞うために単一のマルチモーダルモデルを求める。
生徒はバニラの質問しか見ず、教師は特権的な批判について条件を定めている。
そして、訓練は、学生自身のサンプリング軌跡上での偏差分布の偏差を最小化する。
実験により、UniEvo-VLは、追加反射情報に対する感度を維持しながら、マルチモーダルモデルの画像生成能力を向上させることが示された。
具体的には、オープンソースのQwen-image-2512上に構築し、GenEvalで0.747から0.808、GenEval2 Soft-TIFAで32.97から35.53までの大幅なパフォーマンス向上を観察する。
さらに、より強力な外部批判者(例えば GPT5.6-ルナ)による試みは、強力な判断能力を持つマルチモーダルモデルは高い自己進化天井を予想できることを示している。
最後に重要なことは、混合テキストレンダリングの結果は、我々の自己改善がさまざまなタスクに一様でないことを示しています。
本研究の目的は、外部の監督や指導なしにマルチモーダルモデルを使用する場合のユーザエクスペリエンスを高めるために、現在の熱い再帰的自己改善研究ラインに光を当てることである。
関連論文リスト
- Reflect to Inform: Boosting Multimodal Reasoning via Information-Gain-Driven Verification [55.357038267439684]
Visual Re-Examination (VRE)は、MLLMが視覚的な入力を追加することなく推論中に自律的に視覚的イントロスペクションを実行することができる自己進化型トレーニングフレームワークである。
VREは推論精度と知覚信頼性を継続的に改善し、特にロングチェーン環境では幻覚を著しく低減する。
論文 参考訳(メタデータ) (2026-03-27T12:22:13Z) - UniCorn: Towards Self-Improving Unified Multimodal Models through Self-Generated Supervision [34.575729271291436]
導電失語(Conduction Aphasia)は、モデルがマルチモーダル入力を正確に解釈するが、その理解を忠実で制御可能な合成に変換するのに苦労する現象である。
外部データや教師の監督を必要としない,シンプルでエレガントな自己改善フレームワークUniCornを提案する。
マルチモーダルコヒーレンスの回復を検証するために,テキスト・トゥ・イメージ・トゥ・テクスチャ・コンシステンシー・ベンチマークであるUniCycleを導入する。
論文 参考訳(メタデータ) (2026-01-06T17:15:50Z) - Self-Evaluation Unlocks Any-Step Text-to-Image Generation [65.7088507945307]
本稿では,テキスト・画像生成のための自己評価モデル(Self-E)について紹介する。
Self-Eは、フローマッチングモデルと同様のデータから学習し、同時に新しい自己評価メカニズムを使用する。
大規模なテキストと画像のベンチマークの実験では、Self-Eは数ステップの世代で優れているだけでなく、50ステップで最先端のFlow Matchingモデルと競合している。
論文 参考訳(メタデータ) (2025-12-26T20:42:11Z) - Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。
本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-27T10:37:11Z) - Unlock the Power: Competitive Distillation for Multi-Modal Large
Language Models [17.25135606956287]
競合型マルチモーダル蒸留フレームワーク(CoMD)は,教師モデルと学生モデル間の双方向フィードバックをキャプチャする。
多様なデータセットを実験的に分析した結果,我々の知識伝達手法は学生モデルの性能を継続的に改善することがわかった。
論文 参考訳(メタデータ) (2023-11-14T14:49:46Z) - Improving Discriminative Multi-Modal Learning with Large-Scale
Pre-Trained Models [51.5543321122664]
本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。
MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
論文 参考訳(メタデータ) (2023-10-08T15:01:54Z) - Self-Supervised Monocular Depth Estimation with Self-Reference
Distillation and Disparity Offset Refinement [15.012694052674899]
自己教師付き単分子深度推定を改善するための2つの新しいアイデアを提案する。
我々は,教師が訓練の時期に合わせて更新したパラメータ最適化モデルを用いて,さらなる指導を行う。
我々は,高次特徴量と低次特徴量とのコンテキスト整合性を利用して,マルチスケールの相違オフセットを得る。
論文 参考訳(メタデータ) (2023-02-20T06:28:52Z) - Personalized Multimodal Feedback Generation in Education [50.95346877192268]
学校課題の自動評価は、教育分野におけるAIの重要な応用である。
モーダルゲート機構とパーソナライズされたバイアス機構を備えたPMFGN(Personalized Multimodal Feedback Generation Network)を提案する。
我々のモデルは、より正確で多様なフィードバックを生成することによって、いくつかのベースラインを著しく上回ります。
論文 参考訳(メタデータ) (2020-10-31T05:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。