論文の概要: MetaLLMix : An XAI Aided LLM-Meta-learning Based Approach for Hyper-parameters Optimization

• arxiv url: http://arxiv.org/abs/2509.09387v1
• Date: Thu, 11 Sep 2025 12:06:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.372742
• Title: MetaLLMix : An XAI Aided LLM-Meta-learning Based Approach for Hyper-parameters Optimization
• Title（参考訳）: MetaLLMix : ハイパーパラメータ最適化のためのLLM-Metaラーニングに基づくXAI支援手法
• Authors: Mohammed Tiouti, Mohamed Bal-Ghaoui,
• Abstract要約: メタ学習,説明可能なAI,効率的なLLM推論を組み合わせたフレームワークであるMetaLLMiXを提案する。 また,MetaLLMiXは,計算コストを大幅に削減しつつ,従来のHPO法と競合し,優れた性能を発揮することを示す。 ローカルデプロイメントは、従来のAPIベースのアプローチよりも優れており、8つのタスクのうち5つで最適な結果、レスポンスタイムの99.6-99.9%、データセット6つで最速のトレーニング時間(2.4-15.7倍高速)を達成しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective model and hyperparameter selection remains a major challenge in deep learning, often requiring extensive expertise and computation. While AutoML and large language models (LLMs) promise automation, current LLM-based approaches rely on trial and error and expensive APIs, which provide limited interpretability and generalizability. We propose MetaLLMiX, a zero-shot hyperparameter optimization framework combining meta-learning, explainable AI, and efficient LLM reasoning. By leveraging historical experiment outcomes with SHAP explanations, MetaLLMiX recommends optimal hyperparameters and pretrained models without additional trials. We further employ an LLM-as-judge evaluation to control output format, accuracy, and completeness. Experiments on eight medical imaging datasets using nine open-source lightweight LLMs show that MetaLLMiX achieves competitive or superior performance to traditional HPO methods while drastically reducing computational cost. Our local deployment outperforms prior API-based approaches, achieving optimal results on 5 of 8 tasks, response time reductions of 99.6-99.9%, and the fastest training times on 6 datasets (2.4-15.7x faster), maintaining accuracy within 1-5% of best-performing baselines.
• Abstract（参考訳）: 効果的なモデルとハイパーパラメータの選択は、ディープラーニングにおいて大きな課題であり、しばしば広範な専門知識と計算を必要とする。 AutoMLと大規模言語モデル(LLM)は自動化を約束するが、現在のLLMベースのアプローチはトライアルとエラーと高価なAPIに依存しており、解釈可能性と一般化性が制限されている。 メタ学習,説明可能なAI,効率的なLCM推論を組み合わせたゼロショットハイパーパラメータ最適化フレームワークであるMetaLLMiXを提案する。 SHAPの説明による歴史的な実験結果を活用することで、MetaLLMiXは最適なハイパーパラメータと事前訓練されたモデルを追加の試行なしに推奨する。 さらに、出力形式、精度、完全性を制御するために、LCM-as-judge評価を用いる。 9つのオープンソース軽量LCMを用いた8つの医用画像データセットの実験により、MetaLLMiXは計算コストを大幅に削減しつつ、従来のHPO手法と競合または優れた性能を発揮することが示された。 当社のローカルデプロイメントは,従来のAPIベースのアプローチよりも優れており,8つのタスクのうち5つの最適な結果,99.6～99.9%のレスポンスタイム削減,6データセット(2.4～15.7倍高速)でのトレーニング時間の最速化を実現しています。

関連論文リスト

• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [42.362388367152256]
  大規模言語モデル(LLM)は、LoRAを使用してパラメータ効率の良いCode Llamaを微調整するために使用される。 提案手法は,演算オーバーヘッドを著しく低減しつつ,ルート平均角誤差(RMSE)の点で競争力や優位性を実現する。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
  本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。 提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
  論文  参考訳（メタデータ） (2025-04-02T20:33:27Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Sequential Large Language Model-Based Hyper-parameter Optimization [0.0]
  本研究では,大規模言語モデル(LLM)をハイパーパラメータ最適化(HPO)に活用する革新的なフレームワークSLLMBOを紹介する。 動的探索空間適応性、拡張パラメータ空間利用、新しいLLM木構造パーゼン推定器(LLM-TPE)が組み込まれている。 この総合ベンチマークは、GPT-3.5-Turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-Flashを含む複数のLCMを評価する。
  論文  参考訳（メタデータ） (2024-10-27T00:50:30Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset [0.15420205433587747]
  計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。 我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
  論文  参考訳（メタデータ） (2023-02-08T02:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。