論文の概要: LLMs as In-Context Meta-Learners for Model and Hyperparameter Selection

• arxiv url: http://arxiv.org/abs/2510.26510v1
• Date: Thu, 30 Oct 2025 14:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.847162
• Title: LLMs as In-Context Meta-Learners for Model and Hyperparameter Selection
• Title（参考訳）: モデルとハイパーパラメータ選択のためのインコンテキストメタラーとしてのLLM
• Authors: Youssef Attia El Hili, Albert Thomas, Malik Tiomoko, Abdelhakim Benechehab, Corentin Léger, Corinne Ancourt, Balázs Kégl,
• Abstract要約: 大規模言語モデル (LLM) が文脈内メタラーナーとして機能するかどうかを検討する。 LLMはデータセットのメタデータを利用して、競合するモデルやハイパーパラメータを検索なしで推奨できることを示す。 これらの結果は、軽量で汎用的なアシスタントとしてLLMにとって有望な新しい役割を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 8.94883745636267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model and hyperparameter selection are critical but challenging in machine learning, typically requiring expert intuition or expensive automated search. We investigate whether large language models (LLMs) can act as in-context meta-learners for this task. By converting each dataset into interpretable metadata, we prompt an LLM to recommend both model families and hyperparameters. We study two prompting strategies: (1) a zero-shot mode relying solely on pretrained knowledge, and (2) a meta-informed mode augmented with examples of models and their performance on past tasks. Across synthetic and real-world benchmarks, we show that LLMs can exploit dataset metadata to recommend competitive models and hyperparameters without search, and that improvements from meta-informed prompting demonstrate their capacity for in-context meta-learning. These results highlight a promising new role for LLMs as lightweight, general-purpose assistants for model selection and hyperparameter optimization.
• Abstract（参考訳）: モデルとハイパーパラメータの選択は、機械学習では重要だが、一般的には専門家の直観や高価な自動検索を必要とする。 本研究では,大規模言語モデル (LLM) がこのタスクのコンテキスト内メタラーナーとして機能するかどうかを検討する。 各データセットを解釈可能なメタデータに変換することで、LLMにモデルファミリとハイパーパラメータの両方を推奨するように促します。 本研究では,(1)事前学習した知識にのみ依存するゼロショットモード,(2)過去のタスクにおけるモデルとそのパフォーマンスを付加したメタインフォームドモード,の2つのプロンプト戦略について検討する。 合成および実世界のベンチマークを通じて、LLMはデータセットメタデータを利用して、検索なしで競合モデルやハイパーパラメータを推奨し、メタインフォームドプロンプトの改善により、コンテキスト内メタ学習の能力を示すことを示す。 これらの結果は、モデル選択とハイパーパラメータ最適化のための軽量で汎用的なアシスタントとして、LLMにとって有望な新しい役割を浮き彫りにしている。

関連論文リスト

• Amortized Bayesian Meta-Learning for Low-Rank Adaptation of Large Language Models [7.075648770762989]
  低ランク適応(LoRA)を用いた微調整型大規模言語モデルは、特定のデータセットから情報を組み込むためのコスト効率のよい方法である。 微調整 LLM がいかに一般化するか、すなわち、目に見えないデータセット上でどれだけうまく機能するかは、しばしば不明である。 我々は,大規模モデルへの一般化とスケールを改善するために,LoRA (ABMLL) のためのアモータライズベイズメタラーニングを提案する。
  論文  参考訳（メタデータ） (2025-08-19T21:57:59Z)
• Towards Efficient Multi-LLM Inference: Characterization and Analysis of LLM Routing and Hierarchical Techniques [14.892995952768352]
  言語モデル(LM)は、テキスト生成、要約、質問応答といったタスクに優れています。 彼らの推論は計算コストが高く、ハードウェア、電力、帯域幅に制限のある設定でエネルギーを集中的に消費する。 近年のアプローチでは、クエリの複雑さに基づいて、動的に計算資源を割り当てる複数のLLMインテリジェントモデル選択戦略が導入されている。
  論文  参考訳（メタデータ） (2025-06-06T23:13:08Z)
• Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
  本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。 提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
  論文  参考訳（メタデータ） (2025-04-02T20:33:27Z)
• The Performance of the LSTM-based Code Generated by Large Language Models (LLMs) in Forecasting Time Series Data [0.3749861135832072]
  本稿では,ChatGPT, PaLM, LLama, FalconなどのLLMの時系列データ解析のためのディープラーニングモデルの生成における性能について検討し, 比較する。 その結果は、生成的AIを活用して、許容できる良さで優れた予測モデルを作成したいデータアナリストや実践者にとって有益である。
  論文  参考訳（メタデータ） (2024-11-27T20:18:36Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning [43.512739869120125]
  大規模言語モデル(LLM)のメタトレーニング手法であるMAML-en-LLMを提案する。 MAML-en-LLMは、解離したタスクでうまく機能するだけでなく、目に見えないタスクに適応する真の一般化可能なパラメータを学習することができる。 我々は、MAML-en-LLMが、目に見えないドメインと見えないドメインのトレーニングデータが少ない設定において、ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-19T04:49:42Z)
• Entity Matching using Large Language Models [3.7277730514654555]
  本稿では, PLM ベースのマーカに代わる, タスク固有の訓練データ依存モデルとして, LLM (Generative Large Language Model) を用いて検討する。 GPT4は一致判定のための構造化された説明を生成でき、一致した誤りの原因を自動的に特定できることを示す。
  論文  参考訳（メタデータ） (2023-10-17T13:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。