論文の概要: Understanding vs. Generation: Navigating Optimization Dilemma in Multimodal Models

• arxiv url: http://arxiv.org/abs/2602.15772v1
• Date: Tue, 17 Feb 2026 18:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:18.151227
• Title: Understanding vs. Generation: Navigating Optimization Dilemma in Multimodal Models
• Title（参考訳）: 理解と生成:マルチモーダルモデルにおける最適化ジレンマのナビゲート
• Authors: Sen Ye, Mengde Xu, Shuyang Gu, Di He, Liwei Wang, Han Hu,
• Abstract要約: マルチモーダルモデルにおける生成と理解の潜在的な対立に対処する枠組みを提案する。 生成中のモデルの理解能力を明示的に活用することにより、最適化ジレンマを緩和することに成功した。 これは、次世代の統一マルチモーダルモデルを設計するための貴重な洞察を提供する。
• 参考スコア（独自算出の注目度）: 21.9391057771634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current research in multimodal models faces a key challenge where enhancing generative capabilities often comes at the expense of understanding, and vice versa. We analyzed this trade-off and identify the primary cause might be the potential conflict between generation and understanding, which creates a competitive dynamic within the model. To address this, we propose the Reason-Reflect-Refine (R3) framework. This innovative algorithm re-frames the single-step generation task into a multi-step process of "generate-understand-regenerate". By explicitly leveraging the model's understanding capability during generation, we successfully mitigate the optimization dilemma, achieved stronger generation results and improved understanding ability which are related to the generation process. This offers valuable insights for designing next-generation unified multimodal models. Code is available at https://github.com/sen-ye/R3.
• Abstract（参考訳）: マルチモーダルモデルにおける現在の研究は、生成能力の向上が理解を犠牲にし、その逆もしばしば発生する重要な課題に直面している。 このトレードオフを分析して、生成と理解の潜在的な衝突が主な原因である可能性を特定し、モデル内での競合ダイナミクスを生み出します。 そこで我々はReason-Reflect-Refine(R3)フレームワークを提案する。 この革新的なアルゴリズムは、単一ステップ生成タスクを「ジェネレーション・アンダースタンド・リジェネレーション」のマルチステッププロセスに再構成する。 生成中のモデルの理解能力を明示的に活用することにより、最適化ジレンマを緩和し、より強力な生成結果を実現し、生成プロセスに関連する理解能力を向上させる。 これは、次世代の統一マルチモーダルモデルを設計するための貴重な洞察を提供する。 コードはhttps://github.com/sen-ye/R3.comで入手できる。

関連論文リスト

• Top 10 Open Challenges Steering the Future of Diffusion Language Model and Its Variants [85.33837131101342]
  本稿では,基盤基盤,アルゴリズム最適化,認知推論,統合マルチモーダルインテリジェンスという4つの柱で構成された戦略ロードマップを提案する。 この移行は、複雑な構造的推論、動的自己補正、シームレスなマルチモーダル統合が可能な次世代AIの開発に不可欠である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-01-20T14:58:23Z)
• STAR: STacked AutoRegressive Scheme for Unified Multimodal Learning [37.68078190711403]
  STAR:STacked AutoRegressive scheme for task-progressive unified multimodal learning。 このアプローチはマルチモーダル学習を理解、生成、編集という複数の段階に分解する。 実験により、STARがGenEval(0.91)、DPG-Bench(87.44)、ImgEdit(4.34)の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-12-15T07:02:59Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• Understanding-in-Generation: Reinforcing Generative Capability of Unified Model via Infusing Understanding into Generation [43.98469957837991]
  統一モデル(UiG)のための新しい推論フレームワークを提案する。 UiGの中核となる洞察は、推論過程において強力な理解能力によって生成誘導を統合することである。 我々のUiGフレームワークは,既存のテキスト・ツー・イメージ推論手法に比べて,テキスト・ツー・イメージ生成の性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2025-09-23T04:52:39Z)
• CAFe: Unifying Representation and Generation with Contrastive-Autoregressive Finetuning [24.981279071712173]
  本稿では,LVLMを表現タスクと生成タスクの両方に拡張する,対照的に自己回帰的な微調整フレームワークであるCAFeを紹介する。 提案手法は,従来のタスクを統一し,マルチモーダル検索とマルチモーダル生成ベンチマークの両面で最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-03-25T17:57:17Z)
• Boosting the Power of Small Multimodal Reasoning Models to Match Larger Models with Self-Consistency Training [49.3242278912771]
  マルチモーダル推論(multimodal reasoning)は、複数のモーダルをまたいだモデルによる質問に答える難しいタスクである。 既存のアプローチでは、言語と視覚のモダリティを2段階の推論フレームワークに組み込むことで進歩している。 MC-CoTは,複数の合理性と回答を生成し,投票プロセスを通じて最も正確な選択を行う自己整合性学習戦略である。
  論文  参考訳（メタデータ） (2023-11-23T17:09:48Z)
• VOLTA: Improving Generative Diversity by Variational Mutual Information Maximizing Autoencoder [38.35049378875308]
  VOLTAは,VAEでトランスフォーマーをブリッジすることで,遺伝子多様性を高めるフレームワークである。 6つのデータセット上で2種類のトランスフォーマーを用いた総合的な実験を行い、生成品質を維持しながら生成の多様性を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-07-03T08:45:42Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。