論文の概要: BAMBO: Construct Ability and Efficiency LLM Pareto Set via Bayesian Adaptive Multi-objective Block-wise Optimization

• arxiv url: http://arxiv.org/abs/2512.09972v1
• Date: Wed, 10 Dec 2025 15:32:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.001016
• Title: BAMBO: Construct Ability and Efficiency LLM Pareto Set via Bayesian Adaptive Multi-objective Block-wise Optimization
• Title（参考訳）: BAMBO:ベイズ適応多目的ブロックワイズ最適化によるLLMパレートの構成能力と効率
• Authors: Kesheng Chen, Wenjian Luo, Zhenqian Zhu, Yamin Hu, Yiya Xi,
• Abstract要約: BAMBO(Bayesian Adaptive Multi-objective Block-wise Optimization)は、大規模言語モデル(LLM)を自動的に構築する新しいフレームワークである。 1次元クラスタリング問題として定式化されたこの戦略は、動的プログラミング手法を利用してブロック内およびブロック間情報の分散を最適にバランスさせる。
• 参考スコア（独自算出の注目度）: 4.196004665145396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constructing a Pareto set is pivotal for navigating the capability-efficiency trade-offs in Large Language Models (LLMs); however, existing merging techniques remain inadequate for this task. Coarse-grained, model-level methods yield only a sparse set of suboptimal solutions, while fine-grained, layer-wise approaches suffer from the "curse of dimensionality," rendering the search space computationally intractable. To resolve this dichotomy, we propose BAMBO (Bayesian Adaptive Multi-objective Block-wise Optimization), a novel framework that automatically constructs the LLM Pareto set. BAMBO renders the search tractable by introducing a Hybrid Optimal Block Partitioning strategy. Formulated as a 1D clustering problem, this strategy leverages a dynamic programming approach to optimally balance intra-block homogeneity and inter-block information distribution, thereby dramatically reducing dimensionality without sacrificing critical granularity. The entire process is automated within an evolutionary loop driven by the q-Expected Hypervolume Improvement (qEHVI) acquisition function. Experiments demonstrate that BAMBO discovers a superior and more comprehensive Pareto frontier than baselines, enabling agile model selection tailored to diverse operational constraints. Code is available at: https://github.com/xin8coder/BAMBO.
• Abstract（参考訳）: Paretoセットの構築は、Large Language Models (LLMs) の能力効率トレードオフをナビゲートする上で重要であるが、既存のマージ技術はこのタスクでは不十分である。 粗くきめの細かいモデルレベルの手法は、厳密で階層的なアプローチは「次元の曲線」に悩まされ、探索空間は計算的に難解である。 この二分法を解決するために,LLMパレート集合を自動構築する新しいフレームワークであるBAMBO(Bayesian Adaptive Multi-objective Block-wise Optimization)を提案する。 BAMBOはHybrid Optimal Block Partitioning戦略を導入することで検索トラクタブルを描画する。 1次元クラスタリング問題として定式化されたこの戦略は、動的プログラミング手法を利用してブロック内均一性とブロック間情報分布を最適にバランスさせ、臨界粒度を犠牲にすることなく次元を劇的に減少させる。 プロセス全体は、q-Expected Hypervolume Improvement (qEHVI) 取得関数によって駆動される進化ループ内で自動化される。 実験によると、BAMBOはベースラインよりも優れた、より包括的なParetoフロンティアを発見し、様々な運用上の制約に合わせたアジャイルモデルの選択を可能にしている。 コードは、https://github.com/xin8coder/BAMBOで入手できる。

関連論文リスト

• MOBO-OSD: Batch Multi-Objective Bayesian Optimization via Orthogonal Search Directions [14.595244541373456]
  MOBO-OSDは多様な最適解を生成するために設計された多目的ベイズ最適化アルゴリズムである。 OSDの分散化によってMOBO-OSDは、目的空間を広範囲にカバーし、ソリューションの多様性とハイパーボリュームのパフォーマンスを向上する。 我々はMOBO-OSDが最先端のアルゴリズムより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-23T09:42:41Z)
• LLM4CMO: Large Language Model-aided Algorithm Design for Constrained Multiobjective Optimization [54.35609820607923]
  大規模言語モデル(LLM)は、アルゴリズム設計を支援する新しい機会を提供する。 LLM4CMOは,2つの人口構成をもつ2段階のフレームワークをベースとした新しいCMOEAである。 LLMは複雑な進化最適化アルゴリズムの開発において効率的な共同設計者として機能する。
  論文  参考訳（メタデータ） (2025-08-16T02:00:57Z)
• Pareto Multi-Objective Alignment for Language Models [7.9051473654430655]
  大規模言語モデル(LLM)は、複数の、しばしば矛盾する、目的の慎重なバランスを必要とする現実世界のアプリケーションに、ますます多くデプロイされている。 LLMにおける多目的アライメント(MOA)を明示的に設計するアルゴリズムを提案する。 PAMAは、マルチオブジェクトRLHFをクローズドフォームソリューションで凸最適化に変換し、スケーラビリティを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-11T08:54:14Z)
• Exact and Heuristic Algorithms for Constrained Biclustering [0.0]
  コクラスタリング(co-clustering)または双方向クラスタリング( two-way clustering)とも呼ばれるビクラスタリングは、データマトリックスの行と列を同時にパーティショニングすることで、コヒーレントパターンによるサブマトリクスを明らかにする。 我々は、オブジェクトが同一または異なるビクラスタに属するべきか否かを規定する制約付きビクラスタリング、すなわち、マスタリンクとナントリンクの制約について研究する。
  論文  参考訳（メタデータ） (2025-08-07T15:29:22Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。