論文の概要: GOLLuM: Gaussian Process Optimized LLMs -- Reframing LLM Finetuning through Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2504.06265v1
• Date: Tue, 08 Apr 2025 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:31:00.875818
• Title: GOLLuM: Gaussian Process Optimized LLMs -- Reframing LLM Finetuning through Bayesian Optimization
• Title（参考訳）: GOLLuM: ガウス過程最適化LDM -- ベイズ最適化によるLLMファインタニングのリフレーミング
• Authors: Bojana Ranković, Philippe Schwaller,
• Abstract要約: 大規模言語モデル(LLM)は、その潜在空間における複雑な関係を符号化することができる。 LLMベースのディープカーネルを導入し、GPと共同で最適化し、両方の利点を維持する。 提案手法は, 静的LLM埋め込みと比較して, 高効率反応の発見率をほぼ2倍に向上させる。
• 参考スコア（独自算出の注目度）: 0.4037357056611557
• License:
• Abstract: Large Language Models (LLMs) can encode complex relationships in their latent spaces, yet harnessing them for optimization under uncertainty remains challenging. We address this gap with a novel architecture that reframes LLM finetuning as Gaussian process (GP) marginal likelihood optimization via deep kernel methods. We introduce LLM-based deep kernels, jointly optimized with GPs to preserve the benefits of both - LLMs to provide a rich and flexible input space for Bayesian optimization and - GPs to model this space with predictive uncertainty for more efficient sampling. Applied to Buchwald-Hartwig reaction optimization, our method nearly doubles the discovery rate of high-performing reactions compared to static LLM embeddings (from 24% to 43% coverage of the top 5% reactions in just 50 optimization iterations). We also observe a 14% improvement over domain-specific representations without requiring specialized features. Extensive empirical evaluation across 19 benchmarks - ranging from general chemistry to reaction and molecular property optimization - demonstrates our method's robustness, generality, and consistent improvements across: (1) tasks, (2) LLM architectures (encoder, decoder, encoder-decoder), (3) pretraining domains (chemistry-related or general-purpose) and (4) hyperparameter settings (tuned once on a single dataset). Finally, we explain these improvements: joint LLM-GP optimization through marginal likelihood implicitly performs contrastive learning, aligning representations to produce (1) better-structured embedding spaces, (2) improved uncertainty calibration, and (3) more efficient sampling - without requiring any external loss. This work provides both practical advances in sample-efficient optimization and insights into what makes effective Bayesian optimization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、その潜在空間における複雑な関係をエンコードするが、不確実性の下で最適化するためにそれらを活用することは依然として困難である。 本稿では,LLMファインタニングをGaussian Process (GP) として再構成した新しいアーキテクチャを用いて,このギャップを解消する。 ベイズ最適化のためのリッチでフレキシブルな入力空間を提供するLLMと、より効率的なサンプリングのための予測不確実性でこの空間をモデル化するGPの両方の利点を維持するためにGPと共同で最適化されたLLMベースのディープカーネルを導入する。 Buchwald-Hartwig 反応の最適化に応用すると,我々の手法は静的 LLM 埋め込みに比べて高い性能の反応の発見率をほぼ2倍に向上させる(50 回の最適化イテレーションで上位5% 反応の 24% から 43% まで)。 また、特別な機能を必要としないドメイン固有の表現よりも14%改善されていることも観察します。 1)タスク,(2)LCMアーキテクチャ(エンコーダ,デコーダ,エンコーダ-デコーダ),(3)事前学習ドメイン(化学関連または汎用),(4)ハイパーパラメータ設定(単一データセットで1回チューニング)。 最後に、これらの改善について説明する: 辺縁的近さによる共同LLM-GP最適化は、暗黙的にコントラスト学習を行い、(1) より良い構造を持つ埋め込み空間、(2) 不確実性校正の改善、(3) 外部の損失を伴わずにより効率的なサンプリングを行う。 この研究は、サンプル効率最適化の実践的な進歩と、効果的なベイズ最適化の方法に関する洞察を提供する。

関連論文リスト

• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
  最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。 現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。 我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-02-22T01:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。