論文の概要: CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2602.09851v1
• Date: Tue, 10 Feb 2026 14:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.618093
• Title: CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization
• Title（参考訳）: CoFEH: 協調ベイズハイパーパラメータ最適化によるLLM駆動機能工学
• Authors: Beicheng Xu, Keyao Ding, Wei Liu, Yupeng Lu, Bin Cui,
• Abstract要約: 機能エンジニアリングは自動機械学習(AutoML)において重要である 既存のメソッドはフリーフォームのFEパイプラインの構築に失敗し、機能生成のような独立したサブタスクに限られている。 我々は、LLMベースのFEとベイジアンHPOをインターリーブし、堅牢なエンドツーエンドAutoMLを実現するコラボレーティブフレームワークであるCoFEHを提案する。
• 参考スコア（独自算出の注目度）: 13.416415080328195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature Engineering (FE) is pivotal in automated machine learning (AutoML) but remains a bottleneck for traditional methods, which treat it as a black-box search, operating within rigid, predefined search spaces and lacking domain awareness. While Large Language Models (LLMs) offer a promising alternative by leveraging semantic reasoning to generate unbounded operators, existing methods fail to construct free-form FE pipelines, remaining confined to isolated subtasks such as feature generation. Most importantly, they are rarely optimized jointly with hyperparameter optimization (HPO) of the ML model, leading to greedy "FE-then-HPO" workflows that cannot capture strong FE-HPO interactions. In this paper, we present CoFEH, a collaborative framework that interleaves LLM-based FE and Bayesian HPO for robust end-to-end AutoML. CoFEH uses an LLM-driven FE optimizer powered by Tree of Thought (ToT) to explore flexible FE pipelines, a Bayesian optimization (BO) module to solve HPO, and a dynamic optimizer selector that realizes interleaved optimization by adaptively scheduling FE and HPO steps. Crucially, we introduce a mutual conditioning mechanism that shares context between LLM and BO, enabling mutually informed decisions. Experiments show that CoFEH not only outperforms traditional and LLM-based FE baselines, but also achieves superior end-to-end performance under joint optimization.
• Abstract（参考訳）: 機能エンジニアリング(FE)は自動機械学習(AutoML)において重要であるが、従来型の手法では依然としてボトルネックであり、ブラックボックス検索として扱われ、厳格で定義された検索空間内で運用され、ドメインの認識が欠如している。 LLM(Large Language Models)は意味論的推論を利用して非有界演算子を生成するという有望な代替手段を提供するが、既存の手法では自由形式のFEパイプラインの構築に失敗し、機能生成のような孤立したサブタスクに限られている。 最も重要なことは、MLモデルのハイパーパラメータ最適化(HPO)と共同で最適化されることが滅多になく、強力なFE-HPOインタラクションをキャプチャできない"FE-then-HPO"ワークフローにつながることだ。 本稿では,LLM ベースの FE と Bayesian HPO を相互にインターリーブするコラボレーティブフレームワークである CoFEH について述べる。 CoFEHは、柔軟なFEパイプラインを探索するためにTree of Thought (ToT)を動力とするLLM駆動のFEオプティマイザ、HPOを解決するベイズ最適化(BO)モジュール、FEとHPOのステップを適応的にスケジューリングすることでインターリーブ最適化を実現する動的オプティマイザセレクタを使用する。 重要なことは、LLMとBOのコンテキストを共有する相互条件付け機構を導入し、相互に情報を得た意思決定を可能にすることである。 実験の結果,CoFEHは従来型およびLLMベースのFEベースラインよりも優れるだけでなく,共同最適化時のエンドツーエンド性能も優れていることがわかった。

関連論文リスト

• A Meta-Knowledge-Augmented LLM Framework for Hyperparameter Optimization in Time-Series Forecasting [0.0]
  LLM-AutoOptは,BOとLLMに基づく文脈推論を組み合わせたハイブリッドHPOフレームワークである。 LLM-AutoOpt はメタ知識のない BO や LLM のベースラインと比較して,予測性能の向上と解釈可能な最適化動作の向上を実現している。
  論文  参考訳（メタデータ） (2026-02-01T21:26:57Z)
• LLM4CMO: Large Language Model-aided Algorithm Design for Constrained Multiobjective Optimization [54.35609820607923]
  大規模言語モデル(LLM)は、アルゴリズム設計を支援する新しい機会を提供する。 LLM4CMOは,2つの人口構成をもつ2段階のフレームワークをベースとした新しいCMOEAである。 LLMは複雑な進化最適化アルゴリズムの開発において効率的な共同設計者として機能する。
  論文  参考訳（メタデータ） (2025-08-16T02:00:57Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• Can Large Language Models Be Trusted as Evolutionary Optimizers for Network-Structured Combinatorial Problems? [8.431866560904753]
  大規模言語モデル(LLM)は、言語理解とさまざまなドメイン間の推論において強力な能力を示している。 本研究では,問題構造に係わるLLMの能力を評価するための体系的枠組みを提案する。 我々は、よく使われる進化的手法(EVO)を採用し、LLM演算子の出力忠実度を厳格に評価する包括的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-25T05:19:19Z)
• In-the-loop Hyper-Parameter Optimization for LLM-Based Automated Design of Heuristics [0.020482269513546456]
  大規模言語モデル(LLM)は、(メタ)ヒューリスティックを自動的に生成し最適化する大きな可能性を示している。 本稿では,オープンソースのLLaMEAフレームワークとハイパー進化最適化(HPO)手法を統合した新しいハイブリッドアプローチであるLLaMEA-HPOを提案する。
  論文  参考訳（メタデータ） (2024-10-07T14:04:31Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。