論文の概要: GOLLuM: Gaussian Process Optimized LLMs -- Reframing LLM Finetuning through Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2504.06265v2
• Date: Wed, 09 Apr 2025 23:45:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 13:13:29.86883
• Title: GOLLuM: Gaussian Process Optimized LLMs -- Reframing LLM Finetuning through Bayesian Optimization
• Title（参考訳）: GOLLuM: ガウス過程最適化LDM -- ベイズ最適化によるLLMファインタニングのリフレーミング
• Authors: Bojana Ranković, Philippe Schwaller,
• Abstract要約: 大規模言語モデル(LLM)は、その潜在空間における複雑な関係を符号化することができる。 LLMベースのディープカーネルを導入し、GPと共同で最適化し、両方の利点を維持する。 提案手法は, 静的LLM埋め込みと比較して, 高効率反応の発見率をほぼ2倍に向上させる。
• 参考スコア（独自算出の注目度）: 0.4037357056611557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) can encode complex relationships in their latent spaces, yet harnessing them for optimization under uncertainty remains challenging. We address this gap with a novel architecture that reframes LLM finetuning as Gaussian process (GP) marginal likelihood optimization via deep kernel methods. We introduce LLM-based deep kernels, jointly optimized with GPs to preserve the benefits of both - LLMs to provide a rich and flexible input space for Bayesian optimization and - GPs to model this space with predictive uncertainty for more efficient sampling. Applied to Buchwald-Hartwig reaction optimization, our method nearly doubles the discovery rate of high-performing reactions compared to static LLM embeddings (from 24% to 43% coverage of the top 5% reactions in just 50 optimization iterations). We also observe a 14% improvement over domain-specific representations without requiring specialized features. Extensive empirical evaluation across 19 benchmarks - ranging from general chemistry to reaction and molecular property optimization - demonstrates our method's robustness, generality, and consistent improvements across: (1) tasks, (2) LLM architectures (encoder, decoder, encoder-decoder), (3) pretraining domains (chemistry-related or general-purpose) and (4) hyperparameter settings (tuned once on a single dataset). Finally, we explain these improvements: joint LLM-GP optimization through marginal likelihood implicitly performs contrastive learning, aligning representations to produce (1) better-structured embedding spaces, (2) improved uncertainty calibration, and (3) more efficient sampling - without requiring any external loss. This work provides both practical advances in sample-efficient optimization and insights into what makes effective Bayesian optimization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、その潜在空間における複雑な関係をエンコードするが、不確実性の下で最適化するためにそれらを活用することは依然として困難である。 本稿では,LLMファインタニングをGaussian Process (GP) として再構成した新しいアーキテクチャを用いて,このギャップを解消する。 ベイズ最適化のためのリッチでフレキシブルな入力空間を提供するLLMと、より効率的なサンプリングのための予測不確実性でこの空間をモデル化するGPの両方の利点を維持するためにGPと共同で最適化されたLLMベースのディープカーネルを導入する。 Buchwald-Hartwig 反応の最適化に応用すると,我々の手法は静的 LLM 埋め込みに比べて高い性能の反応の発見率をほぼ2倍に向上させる(50 回の最適化イテレーションで上位5% 反応の 24% から 43% まで)。 また、特別な機能を必要としないドメイン固有の表現よりも14%改善されていることも観察します。 1)タスク,(2)LCMアーキテクチャ(エンコーダ,デコーダ,エンコーダ-デコーダ),(3)事前学習ドメイン(化学関連または汎用),(4)ハイパーパラメータ設定(単一データセットで1回チューニング)。 最後に、これらの改善について説明する: 辺縁的近さによる共同LLM-GP最適化は、暗黙的にコントラスト学習を行い、(1) より良い構造を持つ埋め込み空間、(2) 不確実性校正の改善、(3) 外部の損失を伴わずにより効率的なサンプリングを行う。 この研究は、サンプル効率最適化の実践的な進歩と、効果的なベイズ最適化の方法に関する洞察を提供する。

関連論文リスト

• Physics-Informed Uncertainty Enables Reliable AI-driven Design [1.1104649308580707]
  逆設計は、電気通信や光メタマテリアルのマイクロエレクトロニクスにとって重要な周波数選択面を含む、科学と工学の中心的な目標である。 ディープラーニングを用いた従来のサロゲート支援最適化手法は設計過程を高速化するが、不確実な定量化を含まないことが多い。 ここでは,モデルの予測が基本的な物理法則に違反する程度が,予測の不確実性に対する計算的かつ効果的なプロキシとして機能する,物理学的不確実性の基本的パラダイムを紹介し,検証する。
  論文  参考訳（メタデータ） (2026-01-26T16:10:59Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• Cognitive Loop via In-Situ Optimization: Self-Adaptive Reasoning for Science [1.309289689673624]
  In-situ Optimization (Clio) による認知ループと呼ばれる推論過程を深く正確に制御できる代替手法を提案する。 Clioは、大きな言語モデルによって、問題にアプローチする方法を自己形成し、自信が低いときに行動に適応し、最終的に科学者に最終的な信念や答えを与える。 さらなる訓練がなければ、OpenAIのGPT-4.1 with CLIOは、HumanityのLast Exam(HLE)に関するテキストベースの生物学と医学の質問において、22.37%の精度が得られる。
  論文  参考訳（メタデータ） (2025-08-04T18:01:35Z)
• Optimizers Qualitatively Alter Solutions And We Should Leverage This [62.662640460717476]
  ディープニューラルネットワーク(DNN)は、SGDのようなローカル情報のみを使用する場合、損失のグローバルな最小限に収束することを保証できない。 コミュニティは、既存のメソッドのバイアスを理解すること、また、ソリューションの特定の特性を誘発する明示的な意図で、新しいDNNを構築することを目的としている。
  論文  参考訳（メタデータ） (2025-07-16T13:33:31Z)
• New Insights on Unfolding and Fine-tuning Quantum Federated Learning [12.248184406275405]
  本研究は,Quantum Federated Learning(QFL)の中核的な限界に対処し,医療やゲノム研究などの複雑な課題への適用性を合理化したものである。 自己適応型微調整の開発により, 遺伝子発現解析や癌検出, 診断精度の向上, 量子システム内における予測モデリングなどの重要な応用に特に有効であることが証明された。
  論文  参考訳（メタデータ） (2025-06-24T21:17:48Z)
• Divide, Optimize, Merge: Fine-Grained LLM Agent Optimization at Scale [19.60416591361918]
  Fine-Grained Optimization (FGO)は、大規模最適化タスクを管理可能なサブセットに分割し、ターゲット最適化を実行し、プログレッシブマージを通じて最適化されたコンポーネントを体系的に結合するスケーラブルなフレームワークである。 ALFWorld、LogisticsQA、GAIAベンチマークによる評価では、FGOは既存のアプローチを1.6-8.6%上回り、平均的なプロンプトトークン消費量を56.3%削減している。
  論文  参考訳（メタデータ） (2025-05-06T20:50:27Z)
• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [42.362388367152256]
  大規模言語モデル(LLM)は、LoRAを使用してパラメータ効率の良いCode Llamaを微調整するために使用される。 提案手法は,演算オーバーヘッドを著しく低減しつつ,ルート平均角誤差(RMSE)の点で競争力や優位性を実現する。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• Make Optimization Once and for All with Fine-grained Guidance [78.14885351827232]
  Learning to Optimize (L2O)は、統合ニューラルネットワークによる最適化効率を向上させる。 L2Oパラダイムは、例えば、リフィット、目に見えない解決策を反復的または直接的に生成するなど、大きな成果を達成する。 そこで本研究では,Diff-L2Oと呼ばれる学習最適化のための一般的なフレームワークについて検討した。
  論文  参考訳（メタデータ） (2025-03-14T14:48:12Z)
• Language-Based Bayesian Optimization Research Assistant (BORA) [0.0]
  ドメイン知識のコンテキスト化は、実りある領域の探索をガイドする強力なアプローチである。 本稿では,検索最適化における言語モデル (LLM) の利用を提案する。
  論文  参考訳（メタデータ） (2025-01-27T17:20:04Z)
• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• Enhancing Trust in Large Language Models with Uncertainty-Aware Fine-Tuning [10.457661605916435]
  大規模言語モデル(LLM)は、その印象的な推論と質問応答能力によって自然言語処理の分野に革命をもたらした。 LLMは時に、幻覚として知られる、信頼できるが誤った情報を生成する傾向にある。 本稿では,決定論の原理に基づく不確実性を考慮した因果的言語モデリング損失関数を提案する。
  論文  参考訳（メタデータ） (2024-12-03T23:14:47Z)
• Can Learned Optimization Make Reinforcement Learning Less Difficult? [70.5036361852812]
  学習の最適化が強化学習の難しさを克服するのに役立つかどうかを検討する。 本稿では, 塑性, 探索および非定常性のための学習最適化手法(OPEN)を用いて, 入力特性と出力構造がこれらの困難に対して予め提案された情報によって通知される更新規則をメタラーニングする。
  論文  参考訳（メタデータ） (2024-07-09T17:55:23Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
  最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。 現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。 我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-02-22T01:17:31Z)
• Incorporating Expert Prior Knowledge into Experimental Design via Posterior Sampling [58.56638141701966]
  実験者は、グローバルな最適な場所に関する知識を得ることができる。 グローバル最適化に関する専門家の事前知識をベイズ最適化に組み込む方法は不明である。 効率の良いベイズ最適化手法は、大域的最適の後方分布の後方サンプリングによって提案されている。
  論文  参考訳（メタデータ） (2020-02-26T01:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。