論文の概要: Mutually Adversarial Self-Training with Evolving Data for Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2609.36224v1
• Date: Mon, 28 Sep 2026 20:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.000744
• Title: Mutually Adversarial Self-Training with Evolving Data for Unified Multimodal Models
• Title（参考訳）: 統合マルチモーダルモデルのための進化データを用いた相互対応型自己学習
• Abstract要約: 統一マルチモーダルモデル(UMM)は、画像生成と視覚的理解を共有バックボーンで結合する。 両枝の協調監督による自己訓練型UMMの研究 強化学習に基づくポストトレーニングフレームワークであるMATEを導入する。
• 参考スコア（独自算出の注目度）: 10.11714875198456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified multimodal models (UMMs) combine image generation and visual understanding in a shared backbone. Since generation and understanding are inverse tasks, recent studies self-train UMMs by letting the two branches cooperatively supervise each other. We introduce MATE (Mutually Adversarial self-Training with Evolving data), a reinforcement-learning-based post-training framework in which the two branches instead challenge each other, and the challenges evolve as the model trains. MATE lets generation and understanding take turns to be challenger and solver. Given an image, the understanding branch proposes several candidate descriptions that the generation branch must turn back into similar images, and vice versa. The candidates are screened for consistency with the image or prompt they were proposed from, and the solver is trained on the candidate it handles worst. The adversary thus comes from the model's own outputs, and no separate adversary is trained. Moreover, the candidates that defeat one branch become the sources of the next challenges to the other in the next epoch, which keeps the challenges evolving with the model and turns the training into self-play in data space. On Janus-Pro-1B, MATE improves GenEval by 2.4 points, DPG-Bench by 1.7 points, and the average over nine understanding benchmarks by 0.7 points, while strengthening consistency across repeated image-text cycles.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、画像生成と視覚的理解を共有バックボーンで結合する。 生成と理解は逆のタスクであるため、近年では2つの枝を協調的に監督することで自己学習型UMMが研究されている。 MATE(Mutually Adversarial Self-Training with Evolving Data)は、強化学習に基づくポストトレーニングフレームワークである。 MATEは、生成と理解が挑戦者、解決者となる。 イメージが与えられた場合、理解ブランチは、生成ブランチが同様のイメージに戻らなければならないといういくつかの候補記述を提案し、その逆も提案する。 候補は、提案された画像やプロンプトとの整合性を確認するためにスクリーニングされ、解法は、最悪に対処する候補に基づいて訓練される。 したがって、敵はモデル自身の出力から来るものであり、別の敵が訓練されることはない。 さらに、あるブランチを倒した候補は、次の時代において、次の課題の源泉となり、モデルによる課題を保ち、トレーニングをデータ空間におけるセルフプレイに変える。 Janus-Pro-1Bでは、MATEはGenEvalを2.4ポイント改善し、DPG-Benchを1.7ポイント改善し、平均9以上の理解ベンチマークを0.7ポイント改善した。

関連論文リスト

• Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards [52.42920996842378]
  視覚的理解と画像生成の両方をサポートするほとんどの統合された大型マルチモーダルモデル(LMM)は、訓練後の監督に頼っている。 本稿では,3つの内部的役割を持つ自己進化型トレーニングフレームワークを提案する。 視覚的質問を生成するプロポーラ, 回答と評価を行うソルバ, 画像を生成するジェネレータである。 画像生成のために,質問文の忠実度とサイクル一貫性キャプションを組み合わせたマルチスケール内部評価手法を設計する。
  論文  参考訳（メタデータ） (2026-06-25T17:59:57Z)
• When Models Judge Themselves: Unsupervised Self-Evolution for Multimodal Reasoning [30.162034423611292]
  マルチモーダル推論のための教師なし自己進化学習フレームワークを提案する。 ヒューマンアノテートされた回答や外部報酬モデルを用いることなく、安定したパフォーマンス向上を実現する。 提案手法は5つの数学的推論ベンチマークにおける推論性能と一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-22T15:22:19Z)
• EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards [52.42920996842378]
  本稿では,1つのバックボーンモデルから2つの協調エージェントをインスタンス化する自己進化型フレームワークEvoLMMを提案する。 この動的なフィードバックは、情報的クエリの生成と構造化推論の洗練の両方を促進する。 私たちのコードとモデルはhttps://github.com/mbzuai-oryx/EvoLMMで公開されています。
  論文  参考訳（メタデータ） (2025-11-20T18:59:54Z)
• UniRL: Self-Improving Unified Multimodal Models via Supervised and Reinforcement Learning [17.68867710994329]
  マルチモーダルな大規模言語モデルのための自己改善後学習手法UniRLを提案する。 我々のアプローチでは、モデルがプロンプトから画像を生成し、各イテレーションでトレーニングデータとして使用することができる。 我々は,Show-o と Janus の上の UniRL を評価し,Show-o の GenEval スコア0.77 とJanus の 0.65 を達成した。
  論文  参考訳（メタデータ） (2025-05-29T12:00:15Z)
• When the Future Becomes the Past: Taming Temporal Correspondence for Self-supervised Video Representation Learning [80.09819072780193]
  ビデオ表現学習における時間対応を利用した自己教師型フレームワーク(T-CoRe)を提案する。 T-CoReの実験は、複数の下流タスクに対して一貫して優れた性能を示し、ビデオ表現学習の有効性を実証している。
  論文  参考訳（メタデータ） (2025-03-19T10:50:03Z)
• Unified Autoregressive Visual Generation and Understanding with Continuous Tokens [52.21981295470491]
  We present UniFluid, a unified autoregressive framework for joint visual generation and understanding。 我々の統合自己回帰アーキテクチャはマルチモーダル画像とテキスト入力を処理し、テキストの離散トークンと画像の連続トークンを生成する。 画像生成と理解タスクの間には本質的にトレードオフがあることに気付きましたが、注意深く調整されたトレーニングレシピによって互いに改善できるようになりました。
  論文  参考訳（メタデータ） (2025-03-17T17:58:30Z)
• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を効率的に回避するために、連続的に評価された画像トークンを取り入れている。 また,数値安定性問題に対処する理論的に実証された手法と,タスク目標の生成と理解のバランスをとるトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。