論文の概要: Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation
- arxiv url: http://arxiv.org/abs/2510.03782v1
- Date: Sat, 04 Oct 2025 11:10:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.250561
- Title: Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation
- Title（参考訳）: マージとガイド:制御可能な多目的生成のためのモデルマージとガイドデコーディング
- Authors: Guofu Xie, Chen Zhang, Xiao Zhang, Yunsheng Shi, Ting Yao, Jun Xu,
- Abstract要約: Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。
ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。
ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
- 参考スコア（独自算出の注目度）: 49.98025799046136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adapting to diverse user needs at test time is a key challenge in controllable multi-objective generation. Existing methods are insufficient: merging-based approaches provide indirect, suboptimal control at the parameter level, often disregarding the impacts of multiple objectives. While decoding-based guidance is more direct, it typically requires aggregating logits from multiple expert models, incurring significant space overhead and relying heavily on individual model capacity. To address these issues, we introduce Merge-And-GuidE (MAGE), a two-stage framework that leverages model merging for guided decoding. We first identify a critical compatibility problem between the guidance and base models. In Stage 1, MAGE resolves this by dynamically constructing a more robust base model, merging a series of backbone models that account for multiple objectives. In Stage 2, we merge explicit and implicit value models into a unified guidance proxy, which then steers the decoding of the base model from Stage 1. Our analysis empirically validates Linear Mode Connectivity (LMC) in value models, explores the relationship between model merging and prediction ensembling, and demonstrates the enhanced controllability afforded by our approach. Extensive experiments show that our method outperforms existing approaches, achieving superior controllability, Pareto-optimal performance, and enhanced adaptability.
- Abstract（参考訳）: テスト時に多様なユーザニーズに適応することは、制御可能な多目的生成において重要な課題である。
マージベースのアプローチはパラメータレベルで間接的で最適でない制御を提供し、しばしば複数の目的の影響を無視する。
復号化ベースのガイダンスはより直接的なものであるが、通常は複数の専門家モデルからのロジットを集約し、大きな空間オーバーヘッドを発生させ、個々のモデルのキャパシティに大きく依存する必要がある。
これらの問題に対処するために、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークであるMAGE(Merge-And-GuidE)を紹介します。
まず、ガイダンスとベースモデル間の重要な互換性の問題を特定する。
ステージ1では、MAGEはより堅牢なベースモデルを動的に構築し、複数の目的を考慮に入れた一連のバックボーンモデルをマージすることでこれを解決します。
ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
本分析は,線形モード接続性(LMC)を実験的に検証し,モデルマージと予測アンサンブルの関係について検討し,提案手法による制御性の向上を実証する。
実験の結果,本手法は既存の手法よりも優れた制御性,パレート最適性能,適応性の向上を実現していることがわかった。
関連論文リスト
- Black-box Model Merging for Language-Model-as-a-Service with Massive Model Repositories [21.899117703417517]
進化的アルゴリズム(Evo-Merging)に基づく微分自由最適化フレームワークを提案する。
提案手法は,(1) モデル間の不適切な情報や冗長な情報を識別・フィルタリングする疎結合型デノベーション,(2) 関連モデルに対する最適な組合せ重み付けを動的に計算するシグナック・アウェア・スケーリングの2つの重要な要素から構成される。
提案手法は,様々なタスクにおける最先端の成果を達成し,既存の強靭なベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2025-09-16T10:55:50Z) - OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation [91.45421429922506]
OneCATは、理解、生成、編集をシームレスに統合する統合マルチモーダルモデルである。
我々のフレームワークは、推論中に視覚変換器(ViT)や視覚トークン化器などの外部コンポーネントを不要にする。
論文 参考訳（メタデータ） (2025-09-03T17:29:50Z) - SE-Merging: A Self-Enhanced Approach for Dynamic Model Merging [60.83635006372403]
textttSE-Mergingは自己拡張型モデルマージフレームワークである。
textttSE-Mergingは、追加のトレーニングなしで動的モデルのマージを実現することを示す。
論文 参考訳（メタデータ） (2025-06-22T18:38:41Z) - Dynamic Fisher-weighted Model Merging via Bayesian Optimization [37.02810891820468]
既存のマージアプローチでは、一般的にパラメータをモデル的にスケーリングするか、パラメータの重要度をパラメータ的に統合する。
我々はこれらの戦略をより一般的な統合フレームワークに統合し、動的フィッシャー重み付け(DF-Merge)を導入する。
DF-Mergeは、異なるサイズと様々なタスクのモデルにおいて、強いベースラインを上回ります。
論文 参考訳（メタデータ） (2025-04-26T18:31:14Z) - AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization [86.8133939108057]
異種MLLMに適した新しいモデルマージ手法であるAdaMMSを提案する。
提案手法は,マッピング,マージ,検索という3段階の課題に対処する。
ラベル付きデータ無しで異種MLLMをマージできる最初のモデルマージ手法として、AdaMMSは様々なビジョンベンチマークで過去のモデルマージ手法より優れている。
論文 参考訳（メタデータ） (2025-03-31T05:13:02Z) - Fine, I'll Merge It Myself: A Multi-Fidelity Framework for Automated Model Merging [30.38047100067552]
推論機能は、大きな言語モデルにとって重要なフロンティアである。
機能を効率的に補完する1つの方法は、モデルマージである。
本稿では,マージ戦略のきめ細かい探索を可能にする自動モデルマージフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-06T12:47:25Z) - Parameter Competition Balancing for Model Merging [13.66727853299506]
PCB-Mergingは、効果的なモデルマージのために各パラメータの係数を調整する訓練不要の手法である。
PCB-Mergingは、複数のモダリティ、ドメイン、モデルサイズ、タスク数、微調整フォーム、および大きな言語モデルにわたる大幅なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2024-10-03T11:17:58Z) - An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。
我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。
本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文 参考訳（メタデータ） (2023-04-28T15:43:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。