論文の概要: Large Language Models as a Universal Searcher for Open-World Automated Machine Learning
- arxiv url: http://arxiv.org/abs/2611.12791v1
- Date: Mon, 09 Nov 2026 17:58:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.43759
- Title: Large Language Models as a Universal Searcher for Open-World Automated Machine Learning
- Title(参考訳): オープンワールド自動機械学習のためのユニバーサルサーカとしての大規模言語モデル
- Abstract要約: コンフィグレーションを共同で最適化する汎用大規模言語モデル(LLM)ベースのAutoMLフレームワークを提案する。
我々は、多様なAutoML設計選択を普遍的な離散シーケンスに変換する統一的な数値符号化方式であるNCodeを提案する。
提案するフレームワークは,汎用的なオープンワールド機械学習最適化に向けて,スケーラブルで汎用的で解釈可能な経路を提供する。
- 参考スコア(独自算出の注目度): 50.595117146046256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developing effective machine learning models requires complex manual tuning, while current Automated Machine Learning (AutoML) frameworks remain domain-specific and isolate model architecture, training hyperparameter, and data ratio optimization. Here, we bridge this gap by proposing a universal, large language model (LLM)-based AutoML framework that jointly optimizes these configurations for the first time without the need for task-specific fine-tuning. We propose NCode, a unified numerical encoding scheme that translates diverse AutoML design choices into universal discrete sequences and effectively reframes the optimization process as a unified ranking task. Trained solely on optimization trajectories derived from a limited, single-domain vision task, the proposed LLM-based searcher demonstrates impressive cross-task, cross-modality and joint search-space optimization generalizability, achieving state-of-the-art performance across image classification, image segmentation, speaker verification and text-to-image benchmarks. Crucially, it exhibits superior scalability in the large-scale training and joint optimization of a billion-parameter Diffusion Transformer, requiring 896 GPU-days and attaining a state-of-the-art GenEval score of 0.91. By leveraging reinforcement learning to instill Chain-of-Thought reasoning, we provide a systematic way to interpret the LLM-based searcher's internal decision-making mechanisms, revealing its optimization strategy shifted from the early-stage diversity-driven exploration to the late-stage anchor exploitation. Our proposed framework provides a scalable, generalizable, and interpretable pathway toward general-purpose open-world machine learning optimization.
- Abstract(参考訳): 効果的な機械学習モデルの開発には複雑な手動チューニングが必要だが、現在のAutomated Machine Learning (AutoML)フレームワークはドメイン固有であり、モデルアーキテクチャを分離し、ハイパーパラメータをトレーニングし、データ比率を最適化している。
ここでは、タスク固有の微調整を必要とせずに、これらの構成を初めて共同で最適化する、LLM(Universal, Large Language Model)ベースのAutoMLフレームワークを提案することにより、このギャップを埋める。
NCodeは、多様なAutoML設計選択を普遍的な離散シーケンスに変換し、最適化プロセスを統一的なランキングタスクとして効果的に再構成する統一数値符号化方式である。
画像分類,画像分割,話者検証,テキスト・ツー・イメージ・ベンチマークを対象とし,単一領域の視覚タスクから得られる最適化トラジェクトリのみを学習し,クロスタスク,クロスモダリティ,共同検索空間の最適化性を実証した。
重要な点として、これは10億パラメータ拡散変換器の大規模トレーニングと共同最適化において優れたスケーラビリティを示し、896GPU日を要し、最先端のGenEvalスコアが0.91に達する。
強化学習を活用して,LLMに基づく内部決定機構の体系的解釈を行い,その最適化戦略が初期段階の多様性駆動探索から後期のアンカー攻撃へと移行したことを明らかにした。
提案するフレームワークは,汎用的なオープンワールド機械学習最適化に向けて,スケーラブルで汎用的で解釈可能な経路を提供する。
関連論文リスト
- ORFS-agent: Tool-Using Agents for Chip Design Optimization [0.8088986164437757]
大規模言語モデル(LLM)は、このような高次元最適化タスク内で学習と推論を行う新しい機会を提供する。
LLMをベースとした反復最適化エージェントORFS-agentを導入し,パラメータチューニングをオープンソースのハードウェア設計フローで自動化する。
2つの異なる技術ノードと様々な回路ベンチマークに関する実証的な評価は、ORFSエージェントがルーティングされたワイヤ長と有効クロック期間の両方を13%以上改善できることを示している。
論文 参考訳(メタデータ) (2025-06-10T01:38:57Z) - Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。
本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。
本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2025-05-26T08:53:02Z) - CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design [11.639825726501659]
大規模言語モデル(LLM)は、従来のコストのごく一部で自律的にハイパフォーマンスを発見できる。
本稿では,言語指導と数値指導を組み合わせたハイブリッドフレームワークを提案する。
本手法は,様々な最適化タスクにおいて,SOTA(State-of-the-art)ベースラインを上回っている。
論文 参考訳(メタデータ) (2025-05-18T07:48:47Z) - Solver-Informed RL: Grounding Large Language Models for Authentic Optimization Modeling [3.253908111652627]
大型言語モデル(LLM)は、しばしば幻覚に対する形式的正当で使用可能なモデルを生成するのに苦労する。
本稿では,検証リワードを用いた強化学習を用いた最適化モデルのためのLLMの信頼性を向上する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-17T02:32:03Z) - IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Experts [28.9807389592324]
機械学習のワークフローを自動化するための有望なソリューションとして、大規模言語モデル(LLM)エージェントが登場した。
LLM駆動のMLパイプライン設計のための新しい戦略であるIterative Refinementを紹介します。
実際のトレーニングフィードバックに基づいて個々のコンポーネントを体系的に更新することにより、イテレーティブリファインメントはモデル全体のパフォーマンスを改善する。
論文 参考訳(メタデータ) (2025-02-25T01:52:37Z) - Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳(メタデータ) (2024-10-29T14:41:44Z) - Enhancing Model Performance: Another Approach to Vision-Language Instruction Tuning [0.0]
大規模言語モデル(LLM)と視覚言語(VL)タスクの統合は、人工知能の領域における変革的な発展である。
本稿では,これらの複雑なモデルのマルチモーダル関数の強化に特化して,Bottleneck Adapterと呼ばれる新しいアプローチを提案する。
当社のアプローチでは,大規模で複雑なニューラルネットワークを必要とせず,軽量なアダプタを用いてイメージエンコーダとLCMを接続する。
論文 参考訳(メタデータ) (2024-07-25T06:59:15Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳(メタデータ) (2020-12-10T03:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。