論文の概要: Multi-Objective Bayesian Optimization for Model Merging

• arxiv url: http://arxiv.org/abs/2608.14264v1
• Date: Fri, 14 Aug 2026 12:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.382703
• Title: Multi-Objective Bayesian Optimization for Model Merging
• Title（参考訳）: モデルマージのための多目的ベイズ最適化
• Abstract要約: MOBO-Mergeは、マルチオブジェクトベイズ最適化を用いて、限られた評価予算の下でフロントを近似するマージ演算フレームワークである。 我々はQwen3-4BとLlama-3.1-8Bを2モデル命令マスと3モデル命令マスコード設定で評価した。
• 参考スコア（独自算出の注目度）: 15.977415957314705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging combines trained models directly in weight space, offering a compute-efficient alternative to additional fine-tuning. Selecting merge parameters is nevertheless difficult because downstream evaluations are expensive, gradients are unavailable, and source capabilities can conflict. We formulate merge-parameter selection as a black-box multi-objective optimization problem and introduce MOBO-Merge, a merge-operator agnostic framework that uses multi-objective Bayesian optimization to approximate the Pareto front under a limited evaluation budget. We evaluate Qwen3-4B and Llama-3.1-8B in two-model instruction-math and three-model instruction-math-code settings using Linear, SLERP, TIES, and block-wise merge operators. On held-out benchmark partitions, MOBO-Merge obtains higher mean hypervolume than random search in 11 of 12 reported comparisons. The gain is small for one-dimensional Linear interpolation but substantially larger for several TIES, block-wise, and three-objective searches. No merge operator is uniformly best: TIES leads in three of four family-setting combinations, whereas Block-Linear 4x is strongest for the Llama three-model merge. These results show that multi-objective Bayesian optimization is valuable as a search layer for expressive merge parameterizations.
• Abstract（参考訳）: モデルマージは、トレーニングされたモデルを重量空間で直接結合し、追加の微調整に代わる計算効率の高い代替手段を提供する。 しかし、下流の評価は高価であり、勾配は利用できないため、マージパラメータの選択は難しい。 ブラックボックスのマルチオブジェクト最適化問題としてマージパラメータ選択を定式化し、マルチオブジェクトベイズ最適化を用いてパレートフロントを限定的な評価予算で近似するマージ演算非依存フレームワークであるMOBO-Mergeを導入する。 我々は,Linear,SLERP,TIES,ブロックワイドマージ演算子を用いた2モデル命令マスおよび3モデル命令マスコード設定において,Qwen3-4BとLlama-3.1-8Bを評価した。 ホールドアウトベンチマーク分割では、MOBO-Mergeは、12の報告された比較のうち11の値において、ランダム検索よりも高い平均超体積を得る。 この利得は1次元線形補間では小さいが、いくつかのTIES、ブロックワイド、3目的探索ではかなり大きい。 TIESは4つのファミリーセットの組み合わせのうち3つをリードするが、Block-Linear 4xは3モデルマージで最強である。 これらの結果から,多目的ベイズ最適化は,表現的マージパラメータ化のための探索層として有用であることが示唆された。

関連論文リスト

• CoMerge: Conflict-Driven Preference Optimization for Multi-Task Model Merging [59.836482609414816]
  モデルマージのための競合駆動型優先最適化フレームワーク(CoMerge)を提案する。 CoMergeは、タスク固有の機能を保持しながら、パラメータ空間の競合を軽減するモデルを可能にする。 実験の結果、CoMerge は MergeBench 上で平均 0.9968 の正規化性能を達成した。
  論文  参考訳（メタデータ） (2026-09-02T08:21:28Z)
• RIMS: Preference Optimization via Smoothed Multi-pair Aggregation for Small-Scale LLM Retrieval-Augmented Generation [19.76481955873559]
  小型言語モデル(SLM)は、資源制約のある環境での検索強化世代(RAG)にとって魅力的である。 本稿では,3段階の選好最適化フレームワークRIMSを提案する。 提案手法は,複数のSLMバックボーンにまたがる最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-07-17T18:24:19Z)
• SimMerge: Learning to Select Merge Operators from Similarity Signals [32.157558993834414]
  モデルマージにより、複数の大規模言語モデル(LLM)を単一のモデルに統合し、パフォーマンスを維持できる。 本稿では,モデル間のコストのかかるタスクに依存しない類似性信号を用いて,最適なマージを選択する,没入型予測マージ選択手法を提案する。 その結果,チェックポイントカタログが大きく,評価予算が厳しい場合には,マージ方法の学習が,拡張性のあるモデル構成への実践的な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-14T13:30:00Z)
• Learning to bin: differentiable and Bayesian optimization for multi-dimensional discriminants in high-energy physics [0.0]
  多次元判別器で直接信号の重み付けを最適化する手法を提案する。 ガウス混合モデル (GMM) を用いて、多クラススコアの柔軟なビン境界形状を定義し、一方、1次元(バイナリ分類)ではビン境界を直接移動させる。 信号過程の限定的な分離性については, 1次元射影において最適化された双対であっても, argmax分類よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-12T17:40:45Z)
• BAMBO: Construct Ability and Efficiency LLM Pareto Set via Bayesian Adaptive Multi-objective Block-wise Optimization [4.196004665145396]
  BAMBO(Bayesian Adaptive Multi-objective Block-wise Optimization)は、大規模言語モデル(LLM)を自動的に構築する新しいフレームワークである。 1次元クラスタリング問題として定式化されたこの戦略は、動的プログラミング手法を利用してブロック内およびブロック間情報の分散を最適にバランスさせる。
  論文  参考訳（メタデータ） (2025-12-10T15:32:56Z)
• Fine, I'll Merge It Myself: A Multi-Fidelity Framework for Automated Model Merging [30.38047100067552]
  推論機能は、大きな言語モデルにとって重要なフロンティアである。 機能を効率的に補完する1つの方法は、モデルマージである。 本稿では,マージ戦略のきめ細かい探索を可能にする自動モデルマージフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-06T12:47:25Z)
• If You Can't Use Them, Recycle Them: Optimizing Merging at Scale Mitigates Performance Tradeoffs [48.95875673503714]
  多くのタスクで訓練された"ジェネラリスト"モデルをマージすることを研究する。 提案アルゴリズムは,各チェックポイントの重みを線形結合で調整し,最適モデルを生成する。 良いマージは、ほとんどすべてのチェックポイントとゼロでない重みを含む傾向があり、一見して悪い初期チェックポイントでさえ、良い最終マージに寄与することを示している。
  論文  参考訳（メタデータ） (2024-12-05T13:12:51Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [51.00436121587591]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメトリした線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。