論文の概要: From Tokens to Trajectories: Parameter-Efficient Continuous Adaptation of Unified Multimodal Models
- arxiv url: http://arxiv.org/abs/2611.05451v1
- Date: Tue, 03 Nov 2026 18:31:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.81136
- Title: From Tokens to Trajectories: Parameter-Efficient Continuous Adaptation of Unified Multimodal Models
- Title（参考訳）: トークンから軌道へ:統一マルチモーダルモデルのパラメータ効率の良い連続適応
- Abstract要約: FlowShiftは、トレーニング済みの個別UMMを修正フロージェネレータに変換するためのフレームワークである。
セマンティックドリフトを使わずに視覚的品質を向上させるために,Dual-Objective Velocity Vector Distillation (DOVD)を提案する。
FlowShiftはCOCO-30K FIDと美的スコアを大幅に改善し、99.5%以上のマルチモーダル理解能力を維持している。
- 参考スコア（独自算出の注目度）: 6.416858441797142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While discrete tokenization in Unified Multimodal Models (UMMs) establishes strong semantic reasoning, it introduces a strict quantization bottleneck that degrades fine-grained visual details, often resulting in structurally accurate but artifact-heavy images. We introduce FlowShift, a parameter-efficient post-training framework that bypasses this bottleneck by converting pre-trained discrete UMMs into continuous rectified-flow generators. Instead of discarding the backbone's semantic priors, FlowShift replaces discrete visual interfaces with continuous latent projections and applies LoRA to the attention layers. To efficiently boost visual quality without semantic drift, we propose Dual-Objective Velocity Vector Distillation (DOVD), which aligns the model with a high-fidelity continuous teacher and ground-truth continuous trajectories. This approach drastically improves perceptual quality while preserving prompt adherence and reasoning. When applied to leading discrete UMMs, FlowShift significantly improves COCO-30K FID and aesthetic scores, while retaining over 99.5% of multimodal understanding capabilities. Ablations confirm DOVD drives generation quality. Ultimately, FlowShift achieves high-fidelity continuous generation without sacrificing pre-trained semantic grounding.
- Abstract（参考訳）: Unified Multimodal Models (UMMs) における離散トークン化は、強い意味論的推論を確立する一方で、きめ細かい視覚的詳細を分解する厳密な量子化ボトルネックを導入し、しばしば構造的に正確だがアーティファクトが重い画像をもたらす。
本稿では,このボトルネックを回避するために,事前学習した離散的UMMを連続的な整流生成器に変換することで,パラメータ効率のよいポストトレーニングフレームワークであるFlowShiftを紹介する。
バックボーンのセマンティックプリミティブを廃止する代わりに、FlowShiftは個別のビジュアルインターフェースを連続的な遅延プロジェクションに置き換え、LoRAを注目層に適用する。
セマンティックドリフトを使わずに視覚的品質を効果的に向上するために,高忠実度連続教師と地道連続軌跡とを整合させるDual-Objective Velocity Vector Distillation (DOVD)を提案する。
このアプローチは、迅速な順守と推論を維持しながら、知覚的品質を大幅に改善する。
主要な個別UMMに適用すると、FlowShiftはCOCO-30K FIDと美的スコアを大幅に改善し、99.5%以上のマルチモーダル理解能力を維持している。
アブレーションにより、DOVDは生成品質を駆動する。
最終的に、FlowShiftは、事前訓練されたセマンティックグラウンドを犠牲にすることなく、高忠実な連続生成を実現する。
関連論文リスト
- Difference Feature Map Distillation: Transferring Inter-Sample Relational Knowledge Towards Efficient Transformer-Based Tracking [1.033641524013995]
変圧器を用いた視覚的物体追跡のための差分特徴マップ知識蒸留(DFM-KD)を提案する。
DFM-KDは、サンプル間特徴差を通じて知識を伝達し、特徴空間のリレーショナル構造を明示的に整列する。
精度と成功率の両方において、従来の特徴レベルの蒸留法よりも一貫して優れている。
論文 参考訳（メタデータ） (2026-10-05T02:43:46Z) - Contextual Flow Matching: Adaptive Step Selection in Flow Models for Efficient Visual Generation [19.964937692962902]
フローマッチングは、連続時間ダイナミクスによる高品質なビジュアル生成を可能にする。
提案するCOFLOWは,逐次的特徴に基づいて各世代のステップカウントを適応的に選択する推論時手法である。
本手法はプラグ・アンド・プレイであり,基礎となる生成モデルの再学習は不要である。
論文 参考訳（メタデータ） (2026-10-02T12:19:49Z) - Large Language Continuous Diffusion Models [91.20829802998554]
ステアブルで低次元のODE/SDE潜在軌道上に構築された最初の大規模(3B/8B)連続dLMであるSigmaについて述べる。
埋め込み空間のステアリングは、品質と多様性のトレードオフを効果的に支配し、強力なpass@kパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2026-10-02T01:34:44Z) - A Visual Dependence-Aware Framework for Multimodal Unsupervised Continual Post-Training [56.364526893066746]
MLLMの既存の教師なしポストトレーニング手法は、通常、ターゲットトークンを均一に最適化する。
視覚的制約付き最適輸送(VC-OT)は、新しいタスク学習中に旧タスクVDのVD構造歪みを定式化する。
Visually Modulated Adaptation (VMA)は、VDの不均一性を利用して、視覚的に基礎付けられた新しいタスク学習を強調する。
論文 参考訳（メタデータ） (2026-08-26T17:57:04Z) - Continuous-Time Distribution Matching for Few-Step Diffusion Distillation [57.28746398500951]
本稿では,CDM(Continuous-Time Distribution Matching)を導入し,DMDフレームワークを個別アンカーから連続最適化へ移行する。
まず、固定離散スケジュールをランダム長の動的連続スケジュールに置き換える。
第二に、学生の速度場を介して外挿された潜伏者に対してアクティブな軌道外マッチングを行う連続時間アライメント目的を提案する。
論文 参考訳（メタデータ） (2026-05-07T14:56:39Z) - IR-Flow: Bridging Discriminative and Generative Image Restoration via Rectified Flow [46.532530550015736]
本稿では,Rectified Flowに基づく新しい画像復元手法IR-Flowを提案する。
まず, モデルから学習し, 様々なレベルの劣化に適応できる多層データ分散フローを構築した。
劣化画像領域とクリーン画像領域間の直線移動流を直接確立することにより,高速な推論が可能となるだけでなく,分布外劣化への適応性も向上することを示す。
論文 参考訳（メタデータ） (2026-04-21T16:58:14Z) - RecTok: Reconstruction Distillation along Rectified Flow [85.51292475005151]
本稿では2つの重要な革新を通じて高次元視覚トークン化の限界を克服するRecTokを提案する。
提案手法は,VFMにおける意味情報を,フローマッチングにおける前方流路に抽出する。
我々のRecTokは画像再構成、生成品質、識別性能に優れています。
論文 参考訳（メタデータ） (2025-12-15T15:14:20Z) - Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳（メタデータ） (2025-10-01T18:00:56Z) - TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation [41.909091496502704]
拡散トランスフォーマー(Diffusion Transformers, DiTs)は、強力なが未探索な生成モデルのクラスである。
解釈可能な拡散変換を行うためのTIDE-Temporal-aware sparse Autoencodersを提案する。
論文 参考訳（メタデータ） (2025-03-10T08:35:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。