論文の概要: Can Bayesian Optimization Efficiently Find a Strong Single Expert in Neural Thickets?

• arxiv url: http://arxiv.org/abs/2608.10867v1
• Date: Tue, 11 Aug 2026 12:41:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.041245
• Title: Can Bayesian Optimization Efficiently Find a Strong Single Expert in Neural Thickets?
• Title（参考訳）: ベイズ最適化はニューラルネットワークの強い単一専門家を効果的に見つけることができるか?
• Abstract要約: 本研究では,サロゲート誘導探索により,勾配のないポストトレーニングの評価コストを大幅に削減できることを示す。 提案手法はバックプロパゲーションを必要とせず,ガウス過程を用いて効率よく候補評価を導出する。 これらの結果から, シュロゲート誘導探索は, より強力な単一専門家を育成しながら, 勾配のないポストトレーニングの評価コストを大幅に削減できることが示された。
• 参考スコア（独自算出の注目度）: 44.39621309549252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-free post-training has emerged as a compelling alternative to gradient-based optimization for large language models (LLMs), but existing approaches remain costly. We ask whether structured search can identify a strong single expert under a modest evaluation budget. Motivated by evidence that useful weight updates lie in low-dimensional subspaces, we apply Bayesian optimization within a random linear embedding of weight space. Our method requires no backpropagation and uses a Gaussian process surrogate to guide candidate evaluations efficiently. Across several reasoning benchmarks with Qwen2.5-Instruct models from 0.5B to 3B parameters, Bayesian optimization using five times less candidate evaluations matches or exceeds RandOpt. These results show that surrogate-guided search can substantially reduce the evaluation cost of gradient-free post-training while producing stronger deployable single experts.
• Abstract（参考訳）: グラディエントフリーのポストトレーニングは、大規模言語モデル(LLM)の勾配ベースの最適化に代わる魅力的な代替手段として登場したが、既存のアプローチはコストがかかるままである。 定型検索が、控えめな評価予算の下で、強い一人の専門家を特定できるかどうかを問う。 低次元部分空間に有用なウェイト更新が存在するという証拠により、ウェイト空間のランダムな線形埋め込みにベイズ最適化を適用する。 提案手法はバックプロパゲーションを必要とせず,ガウス過程を用いて効率よく候補評価を導出する。 0.5Bから3BパラメータのQwen2.5-Instructモデルを用いたいくつかの推論ベンチマークにおいて、ベイズ最適化は5倍の候補評価で一致し、RandOptを超える。 これらの結果から, シュロゲート誘導探索は, より強力な単一専門家を育成しながら, 勾配のないポストトレーニングの評価コストを大幅に削減できることが示された。

関連論文リスト

• Rethinking Learnability in Offline Data-driven Optimization [20.146021332129703]
  Black-Box Optimization (BBO)は、現実世界の問題がますます複雑化するにつれて効率上の課題に直面している。 データ駆動最適化は、データから学習することでBBOの効率を改善する最も一般的なパラダイムである。 多くのオフライン最適化手法が提案されているが、根本的な疑問は未解決のままである。
  論文  参考訳（メタデータ） (2026-09-01T16:22:28Z)
• Generative Refinement for Low-Budget Black-Box Optimization [33.559218731885046]
  ブラックボックス最適化は、情報なしで目的を最適化できる基本的な科学と工学のツールである。 生成モデルを利用してサブスペースをナビゲートする既存の手法は、報酬整合分布からサンプリングするために構築されている。 報酬信号から生成前を完全分離するアルゴリズムであるSPARROWを提案する。
  論文  参考訳（メタデータ） (2026-07-01T09:41:41Z)
• Large-scale empirical tuning and comparison of default optimizers for variational inference [16.671882609909396]
  Black-box variational inference (BBVI) は、最適化に依存する後方近似の方法論である。 過去10年間で、チューニングの必要性を完全に軽減または排除する多くの新しい適応最適化アルゴリズムが開発されてきた。 56基最適化アルゴリズムの大規模評価を1092の推論問題に適用し,550,000以上の個別最適化と15コアの計算処理を含む大規模評価を行った。
  論文  参考訳（メタデータ） (2026-06-05T21:04:12Z)
• SparseEval: Efficient Evaluation of Large Language Models by Sparse Optimization [64.95852289011385]
  大規模言語モデル(LLM)は拡大を続けており、様々な下流タスクのパフォーマンスは大幅に改善されている。 多数のベンチマークサンプルで推論を行うと、高い計算コストが発生するため、それらの能力を評価するのがますます高価になっている。 SparseEvalは,アンカーウェイトを最適化する勾配降下法を初めて導入し,アンカーセレクションに反復的洗練戦略を採用する手法である。
  論文  参考訳（メタデータ） (2026-02-08T11:12:45Z)
• Bayesian Optimization in Language Space: An Eval-Efficient AI Self-Improvement Framework [0.0]
  大規模言語モデル(LLM)は、最近、自己改善型AI、すなわち、自身の成果を反復的に生成し、評価し、洗練するAIを可能にした。 多くの社会的応用において、第一の限界は、新しい解を生成するのではなく、それらを評価することである。 本稿では, 単純かつ広く使用されているBest-of-N選択戦略と単純なテキスト勾配の組み合わせが, 標準 UCB 取得関数上の勾配の挙動を統計的にエミュレートすることを証明することで, この課題を克服する。
  論文  参考訳（メタデータ） (2025-11-15T07:04:44Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• Voronoi Candidates for Bayesian Optimization [2.499907423888049]
  多くの実践的なBO法、特に高次元では、取得関数の形式的で連続的な最適化を導出する。 本稿では,現在の設計点のヴォロノイ・テッセルレーションの境界上にある候補を用いて,それらのうち2つ以上に等しくなるようにすることを提案する。 テッセルレーションを明示的に生成することなく,ヴォロノイ境界を直接サンプリングすることで,効率的な実装の戦略について議論する。
  論文  参考訳（メタデータ） (2024-02-07T14:47:13Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。