論文の概要: LB-MCTS: Synergizing Large Language Models and Bayesian Optimization for Efficient CASH

• arxiv url: http://arxiv.org/abs/2601.12355v1
• Date: Sun, 18 Jan 2026 11:26:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.591939
• Title: LB-MCTS: Synergizing Large Language Models and Bayesian Optimization for Efficient CASH
• Title（参考訳）: LB-MCTS: 大規模言語モデルと効率の良いCASHのためのベイズ最適化
• Authors: Beicheng Xu, Weitong Qian, Lingching Tung, Yupeng Lu, Bin Cui,
• Abstract要約: モンテカルロ木探索構造における大規模言語モデル(LLM)とBOの相乗化フレームワークであるLB-MCTSを提案する。 STM(Selective Tuning Memory)と明示的な探索-探索トレードオフによる推論を最大化する。 104のAMLBデータセットに対する実験は、LB-MCTSが競合ベースラインよりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 10.806107994473495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To lower the expertise barrier in machine learning, the AutoML community has focused on the CASH problem, a fundamental challenge that automates the process of algorithm selection and hyperparameter tuning. While traditional methods like Bayesian Optimization (BO) struggle with cold-start issues, Large Language Models (LLMs) can mitigate these via semantic priors. However, existing LLM-based optimizers generalize poorly to the high-dimensional, structured CASH space. We propose LB-MCTS, a framework synergizing LLMs and BO within a Monte Carlo Tree Search structure. It maximizes LLM reasoning with Selective Tuning Memory (STM) and explicit exploration-exploitation trade-off. It combines the strengths of both paradigms by dynamically shifting from LLM-driven to BO-driven proposals as data accumulates. Experiments on 104 AMLB datasets demonstrate the superiority of LB-MCTS over the competitive baselines.
• Abstract（参考訳）: 機械学習における専門知識の障壁を低くするため、AutoMLコミュニティは、アルゴリズムの選択とハイパーパラメータチューニングのプロセスを自動化する根本的な課題であるCASH問題に注力している。 ベイジアン最適化(BO)のような従来の手法はコールドスタート問題に悩まされているが、LLM(Large Language Models)はこれらをセマンティックプリミティブによって緩和することができる。 しかし、既存のLCMベースのオプティマイザは、高次元の構造化CASH空間によく一般化されている。 モンテカルロ木探索構造におけるLLMとBOの相乗化フレームワークであるLB-MCTSを提案する。 LLM推論をSTM(Selective Tuning Memory)と明示的な探索・探索トレードオフで最大化する。 データの蓄積に伴って、LLM駆動からBO駆動に動的にシフトすることで、両方のパラダイムの長所を結合する。 104のAMLBデータセットに対する実験は、LB-MCTSが競合ベースラインよりも優れていることを示した。

関連論文リスト

• Pre-trained knowledge elevates large language models beyond traditional chemical reaction optimizers [0.0]
  大規模言語モデル(LLM)における事前学習知識がこのパラダイムを根本的に変えることを実証する。 LLM-GOは、伝統的な手法が苦労するところを正確に表現している: 数学的最適化よりもドメイン理解を必要とする複雑なカテゴリー空間。
  論文  参考訳（メタデータ） (2025-08-27T21:09:51Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization [5.844783557050259]
  大規模言語モデル (LLM) は低データ構造において顕著な適応性を示している。 本稿では,LLINBO: LLM-in-the-Loop BOを提案する。 この論文は、3Dプリンティングの文脈における概念実証で締めくくっている。
  論文  参考訳（メタデータ） (2025-05-20T15:54:48Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Large Language Model-Enhanced Multi-Armed Bandits [43.34246396804588]
  大規模言語モデル(LLM)は、マルチアーム・バンディット(MAB)のようなシーケンシャルな意思決定タスクを解決するために採用されている。 古典的MABとLLMの強みを組み合わせた代替手法を提案する。 実世界のテキストデータセットを用いて設計したMABタスクと実験の両方を用いて経験的評価を行う。
  論文  参考訳（メタデータ） (2025-02-03T07:19:05Z)
• Sequential Large Language Model-Based Hyper-parameter Optimization [0.0]
  本研究では,大規模言語モデル(LLM)をハイパーパラメータ最適化(HPO)に活用する革新的なフレームワークSLLMBOを紹介する。 動的探索空間適応性、拡張パラメータ空間利用、新しいLLM木構造パーゼン推定器(LLM-TPE)が組み込まれている。 この総合ベンチマークは、GPT-3.5-Turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-Flashを含む複数のLCMを評価する。
  論文  参考訳（メタデータ） (2024-10-27T00:50:30Z)
• Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。