論文の概要: Black-Box Optimization of Mixed Binary-Continuous Variables: Challenges and Opportunities in Evolutionary Model Merging

• arxiv url: http://arxiv.org/abs/2605.12326v1
• Date: Tue, 12 May 2026 16:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.996974
• Title: Black-Box Optimization of Mixed Binary-Continuous Variables: Challenges and Opportunities in Evolutionary Model Merging
• Title（参考訳）: 混合バイナリ連続変数のブラックボックス最適化 : 進化モデル統合における課題と機会
• Authors: Md. Robiul Islam Niloy,
• Abstract要約: 本稿では、パラメータ空間のマージ、データフロー空間のマージ、ハイブリッドアプローチの3つのカテゴリに分類し、進化モデルマージ技術に関する構造化された調査を行う。 我々は、DFSマージ問題を、混合二項連続変数、高次元探索空間、変数型間の条件依存性を含むブラックボックス最適化問題として公式に特徴付けている。 本研究では,二項連続条件依存性に係わる構造的アプローチが,有効探索空間を51.4%削減しつつ,非構造的アプローチを6.7%精度で上回ることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging has emerged as a cost-effective alternative to training large language models (LLMs) from scratch, enabling researchers to combine pre-trained models into more capable systems without full retraining. Evolutionary approaches to model merging have shown particular promise, automatically searching for optimal merging configurations across both parameter space (PS) and data flow space (DFS). However, the optimization challenges underlying these approaches -- particularly in DFS merging -- remain poorly understood and formally underspecified in the literature. This paper makes two contributions. First, we provide a structured survey of evolutionary model merging techniques, organizing them into three categories: parameter-space merging, data flow space merging, and hybrid approaches. Second, we formally characterize the DFS merging problem as a black-box optimization problem involving mixed binary-continuous variables, high-dimensional search spaces, and conditional dependencies between variable types -- challenges that standard optimization methods such as CMA-ES are not designed to handle. We provide preliminary empirical validation using real pre-trained language models, demonstrating that a structured approach respecting the binary-continuous conditional dependency outperforms an unstructured approach by 6.7% accuracy while reducing the effective search space by 51.4%. By connecting the model merging community with the broader evolutionary computation and black-box optimization literature, we identify concrete open problems and propose research directions to address them.
• Abstract（参考訳）: モデルマージは、大きな言語モデル(LLM)をスクラッチからトレーニングするコスト効率の良い代替手段として登場し、事前訓練されたモデルを完全なリトレーニングなしでより有能なシステムに組み合わせることを可能にする。 モデルマージへの進化的アプローチは、パラメータ空間(PS)とデータフロー空間(DFS)の両方にまたがる最適なマージ構成を自動で検索する、特に有望である。 しかし、これらのアプローチ、特にDFSの合併における最適化の課題は、文献ではよく理解されておらず、公式には未定のままである。 この論文には2つの貢献がある。 まず、パラメータ空間のマージ、データフロー空間のマージ、ハイブリッドアプローチの3つのカテゴリに分類して、進化モデルマージ技術に関する構造化された調査を行う。 第2に、DFSマージ問題を、混合二項連続変数、高次元探索空間、変数型間の条件依存性を含むブラックボックス最適化問題として公式に特徴づける。 実言語モデルを用いた予備的実証検証を行い、二項連続条件依存に対する構造的アプローチが、有効検索空間を51.4%削減しつつ、非構造的アプローチを6.7%精度で上回ることを示した。 モデル統合コミュニティと、より広範な進化計算とブラックボックス最適化の文献を結びつけることにより、具体的なオープンな問題を特定し、それに対応するための研究の方向性を提案する。

関連論文リスト

• Multi-objective Evolutionary Merging Enables Efficient Reasoning Models [18.89171308910831]
  L2S(Long-to-Short)推論問題は、少ないトークンを用いて高い精度を維持することを目指している。 本稿では,L2S推論を多目的最適化問題として定式化する新しいフレームワークであるEvo-L2Sを紹介する。 Evo-L2Sは、元の推論モデルを保存または改善しながら、生成した推論トレースの長さを50%以上削減できることを示す。
  論文  参考訳（メタデータ） (2026-04-07T21:07:55Z)
• C2-Evo: Co-Evolving Multimodal Data and Model for Self-Improving Reasoning [78.36259648527401]
  C2-Evoは、トレーニングデータとモデル機能の両方を共同で進化させる、自動クローズドループ自己改善フレームワークである。 C2-Evoは、複数の数学的推論ベンチマークにおいて、一定の性能向上が得られることを示す。
  論文  参考訳（メタデータ） (2025-07-22T12:27:08Z)
• AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization [86.8133939108057]
  異種MLLMに適した新しいモデルマージ手法であるAdaMMSを提案する。 提案手法は,マッピング,マージ,検索という3段階の課題に対処する。 ラベル付きデータ無しで異種MLLMをマージできる最初のモデルマージ手法として、AdaMMSは様々なビジョンベンチマークで過去のモデルマージ手法より優れている。
  論文  参考訳（メタデータ） (2025-03-31T05:13:02Z)
• Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging [36.00016254809852]
  本稿では, 3H 対応 LLM の構築におけるモデルマージとデータ混合手法の有効性を体系的に比較する。 そこで本稿では,新しいtextbfReweighting textbfEnhanced Task textbfSingular textbfMerging method, textbfRESMを提案する。
  論文  参考訳（メタデータ） (2025-02-08T11:56:58Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• HM3: Hierarchical Multi-Objective Model Merging for Pretrained Models [28.993221775758702]
  モデルマージ(英: Model merging)は、複数の大きな事前訓練されたモデルを単一のモデルに組み合わせ、パフォーマンスを向上し、タスク適応性を高める手法である。 本稿では,よりフレキシブルで包括的なモデルマージ技術への大きな進歩を示す。 我々は、重みベクトルのオフラインサンプリングを用いてポリシーと価値ネットワークを訓練し、マージ戦略のオンライン最適化に使用される。
  論文  参考訳（メタデータ） (2024-09-27T16:31:31Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• It's Morphing Time: Unleashing the Potential of Multiple LLMs via Multi-objective Optimization [16.54335356612006]
  モデルマージの目標は、複数のモデルを組み合わせることであり、それぞれが異なるタスクで優れており、個々のソースモデルよりも優れた1つのモデルにまとめることである。 既存の方法は人間の知識や直観に大きく依存している。 限られた評価において、優れたモデルマージ構成を得るのは難しいです。
  論文  参考訳（メタデータ） (2024-06-29T16:34:23Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。