論文の概要: It's Morphing Time: Unleashing the Potential of Multiple LLMs via Multi-objective Optimization

• arxiv url: http://arxiv.org/abs/2407.00487v1
• Date: Sat, 29 Jun 2024 16:34:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 02:56:15.238553
• Title: It's Morphing Time: Unleashing the Potential of Multiple LLMs via Multi-objective Optimization
• Title（参考訳）: モーフィング時間:多目的最適化による複数LLMの可能性の解放
• Authors: Bingdong Li, Zixiang Di, Yanting Yang, Hong Qian, Peng Yang, Hao Hao, Ke Tang, Aimin Zhou,
• Abstract要約: モデルマージの目標は、複数のモデルを組み合わせることであり、それぞれが異なるタスクで優れており、個々のソースモデルよりも優れた1つのモデルにまとめることである。 既存の方法は人間の直感とカスタマイズ戦略に大きく依存している。 多目的最適化アルゴリズムを用いて最適なマージ構成の探索を自動化するMM-MO法を提案する。
• 参考スコア（独自算出の注目度）: 16.54335356612006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce a novel approach for large language model merging via black-box multi-objective optimization algorithms. The goal of model merging is to combine multiple models, each excelling in different tasks, into a single model that outperforms any of the individual source models. However, model merging faces two significant challenges: First, existing methods rely heavily on human intuition and customized strategies. Second, parameter conflicts often arise during merging, and while methods like DARE [1] can alleviate this issue, they tend to stochastically drop parameters, risking the loss of important delta parameters. To address these challenges, we propose the MM-MO method, which automates the search for optimal merging configurations using multi-objective optimization algorithms, eliminating the need for human intuition. During the configuration searching process, we use estimated performance across multiple diverse tasks as optimization objectives in order to alleviate the parameter conflicting between different source models without losing crucial delta parameters. We conducted comparative experiments with other mainstream model merging methods, demonstrating that our method consistently outperforms them. Moreover, our experiments reveal that even task types not explicitly targeted as optimization objectives show performance improvements, indicating that our method enhances the overall potential of the model rather than merely overfitting to specific task types. This approach provides a significant advancement in model merging techniques, offering a robust and plug-and-play solution for integrating diverse models into a unified, high-performing model.
• Abstract（参考訳）: 本稿では,ブラックボックス多目的最適化アルゴリズムを用いた大規模言語モデル統合のための新しいアプローチを提案する。 モデルマージの目標は、複数のモデルを組み合わせることであり、それぞれが異なるタスクで優れており、個々のソースモデルよりも優れた1つのモデルにまとめることである。 まず、既存の手法は人間の直感とカスタマイズされた戦略に大きく依存します。 第2に、パラメータの衝突はマージ時に発生することが多く、DARE [1]のようなメソッドがこの問題を軽減する一方で、パラメータを確率的にドロップする傾向にあり、重要なデルタパラメータが失われるリスクがある。 これらの課題に対処するために,多目的最適化アルゴリズムを用いた最適マージ構成の探索を自動化し,人間の直感を不要とするMM-MO手法を提案する。 構成探索プロセスでは,複数のタスクにまたがる推定性能を最適化の目的として利用し,重要なデルタパラメータを失うことなく,異なるソースモデル間のパラメータの衝突を軽減する。 我々は、他の主流モデルマージ手法との比較実験を行い、我々の手法がそれらを一貫して上回ることを示した。 さらに, 最適化対象として明示的にターゲットされていないタスクタイプにおいても, 性能の向上が示され, 特定のタスクタイプに過度に適合するのではなく, モデル全体のポテンシャルを高めることが示唆された。 このアプローチは、多様なモデルを統一されたハイパフォーマンスなモデルに統合するための堅牢でプラグアンドプレイなソリューションを提供する。

関連論文リスト

• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。 我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。 我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
  大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-10-28T09:04:49Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• HM3: Hierarchical Multi-Objective Model Merging for Pretrained Models [28.993221775758702]
  モデルマージ(英: Model merging)は、複数の大きな事前訓練されたモデルを単一のモデルに組み合わせ、パフォーマンスを向上し、タスク適応性を高める手法である。 本稿では,よりフレキシブルで包括的なモデルマージ技術への大きな進歩を示す。 我々は、重みベクトルのオフラインサンプリングを用いてポリシーと価値ネットワークを訓練し、マージ戦略のオンライン最適化に使用される。
  論文  参考訳（メタデータ） (2024-09-27T16:31:31Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Pareto Set Learning for Neural Multi-objective Combinatorial Optimization [6.091096843566857]
  多目的最適化(MOCO)の問題は、現実世界の多くのアプリケーションで見られる。 我々は,与えられたMOCO問題に対するパレート集合全体を,探索手順を伴わずに近似する学習ベースアプローチを開発した。 提案手法は,多目的走行セールスマン問題,マルチコンディショニング車両ルーティング問題,複数クナップサック問題において,ソリューションの品質,速度,モデル効率の面で,他の方法よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-29T09:26:22Z)
• Leveraging Trust for Joint Multi-Objective and Multi-Fidelity Optimization [0.0]
  本稿では,ベイズ的多目的・多忠実度最適化(MOMF)に対する新しいアプローチについて検討する。 複数目的とデータソースの同時最適化を支援するために,信頼度基準の革新的利用を提案する。 本手法はプラズマ物理学や流体力学などの分野におけるシミュレーション問題の解法に適用可能である。
  論文  参考訳（メタデータ） (2021-12-27T20:55:26Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)
• MODRL/D-AM: Multiobjective Deep Reinforcement Learning Algorithm Using Decomposition and Attention Model for Multiobjective Optimization [15.235261981563523]
  本稿では,多目的最適化問題を解くための多目的深部強化学習法を提案する。 本手法では,各サブプロブレムをアテンションモデルにより解き,入力ノードの構造的特徴とノード的特徴を活用できる。
  論文  参考訳（メタデータ） (2020-02-13T12:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。