Fugu-MT 論文翻訳(概要): XAutoLM: Efficient Fine-Tuning of Language Models via Meta-Learning and AutoML

論文の概要: XAutoLM: Efficient Fine-Tuning of Language Models via Meta-Learning and AutoML

arxiv url: http://arxiv.org/abs/2508.00924v3
Date: Sun, 05 Oct 2025 16:40:38 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-07 19:16:49.426336
Title: XAutoLM: Efficient Fine-Tuning of Language Models via Meta-Learning and AutoML
Title（参考訳）: XAutoLM:メタラーニングとAutoMLによる言語モデルの効率的な微調整
Authors: Ernesto L. Estevanell-Valladares, Suilan Estevez-Velarde, Yoan Gutiérrez, Andrés Montoyo, Ruslan Mitkov,
Abstract要約: XAutoLMは、微調整言語モデルのためのメタラーニング拡張されたAutoMLフレームワークである。 XAutoLMは、記憶された成功と失敗から学習し、差別的で生成的なLM微調整パイプラインを効率的に最適化する。 XAutoLMは6つのタスクのうち5つでゼロショットのピークF1を超え、パイプラインの平均評価時間を4.5倍に削減し、検索エラー率を最大7倍に削減し、ゼロショットフロントよりも50%高いパイプラインを発見できる。
参考スコア（独自算出の注目度）: 3.037576390660925
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Experts in machine learning leverage domain knowledge to navigate decisions in model selection, hyperparameter optimization, and resource allocation. This is particularly critical for fine-tuning language models (LMs), where repeated trials incur substantial computational overhead and environmental impact. However, no existing automated framework simultaneously tackles the entire model selection and hyperparameter optimization (HPO) task for resource-efficient LM fine-tuning. We introduce XAutoLM, a meta-learning-augmented AutoML framework that reuses past experiences to optimize discriminative and generative LM fine-tuning pipelines efficiently. XAutoLM learns from stored successes and failures by extracting task- and system-level meta-features to bias its sampling toward valuable configurations and away from costly dead ends. On four text classification and two question-answering benchmarks, XAutoLM surpasses zero-shot optimizer's peak F1 on five of six tasks, cuts mean evaluation time of pipelines by up to 4.5x, reduces search error ratios by up to sevenfold, and uncovers up to 50% more pipelines above the zero-shot Pareto front. In contrast, simpler memory-based baselines suffer negative transfer. We release XAutoLM and our experience store to catalyze resource-efficient, Green AI fine-tuning in the NLP community.
Abstract（参考訳）: 機械学習の専門家はドメイン知識を活用して、モデル選択、ハイパーパラメータ最適化、リソース割り当ての決定をナビゲートする。これは特に微調整言語モデル(LM)において重要であり、繰り返し試行によってかなりの計算オーバーヘッドと環境への影響が生じる。しかし、既存の自動フレームワークは、資源効率の良いLM微調整のためのモデル選択とハイパーパラメータ最適化(HPO)タスクを同時に取り組まなかった。我々はXAutoLMを紹介した。XAutoLMはメタラーニング拡張されたAutoMLフレームワークで、過去の経験を再利用し、差別的で生成的なLM微調整パイプラインを効率的に最適化する。 XAutoLMは、タスクレベルとシステムレベルのメタ機能を取り出して、格納された成功と失敗から学び、サンプリングを価値ある構成に偏り、コストのかかるデッドエンドから遠ざかる。 4つのテキスト分類と2つの質問答えベンチマークにおいて、XAutoLMは、ゼロショットオプティマイザのピークF1を6つのタスクのうち5つで越え、パイプラインの平均評価時間を4.5倍に削減し、検索エラー率を最大7倍に削減し、ゼロショットパレートフロントよりも最大50%多くパイプラインを明らかにする。対照的に、単純なメモリベースのベースラインは負の転送に苦しむ。我々は,資源効率の良いグリーンAIファインチューニングをNLPコミュニティで実現するために,XAutoLMとエクスペリエンスストアをリリースする。

関連論文リスト

EDCA - An Evolutionary Data-Centric AutoML Framework for Efficient Pipelines [0.276240219662896]
この作業では、Evolutionary Data Centric AutoMLフレームワークであるEDCAを紹介します。データ品質は通常、AutoMLの見過ごされている部分であり、手作業と時間を要するタスクであり続けています。 EDCAは、AutoMLベンチマークのトップの2つのフレームワークであるFLAMLとTPOTと比較された。
論文参考訳（メタデータ） (2025-03-06T11:46:07Z)
LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
論文参考訳（メタデータ） (2025-01-28T03:18:48Z)
SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning [14.702694298483445]
Tree-Search Enhanced LLM Agents (SELA)は、Monte Carlo Tree Search (MCTS)を利用してAutoMLプロセスを最適化するエージェントベースのシステムである。 SELAはパイプライン構成をツリーとして表現し、エージェントが知的かつ反復的に戦略を洗練させることを可能にする。 20の機械学習データセットにわたる広範囲な評価において、従来のAutoML手法とエージェントベースのAutoML手法のパフォーマンスを比較した。
論文参考訳（メタデータ） (2024-10-22T17:56:08Z)
Large Language Models can be Strong Self-Detoxifiers [82.6594169242814]
SASA(Self-disciplined Autoregressive Smpling)は、大規模言語モデル(LLM)の毒性低減のための軽量制御復号アルゴリズムである。 SASAは、自己回帰サンプリング戦略を調整することにより、電流出力のマージンを追跡し、有害な部分空間から世代を分離する。 Llama-3.1-Instruct (8B), Llama-2 (7B), GPT2-L model with the RealToxicityPrompts, BOLD, and AttaQ benchmarks。
論文参考訳（メタデータ） (2024-10-04T17:45:15Z)
AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
論文参考訳（メタデータ） (2024-10-03T20:01:09Z)
Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
論文参考訳（メタデータ） (2024-06-06T17:59:56Z)
AutoMix: Automatically Mixing Language Models [62.51238143437967]
大規模言語モデル(LLM)は、さまざまなサイズと構成のクラウドAPIプロバイダから利用可能になった。より小さなLMからの出力の近似精度に基づいて,クエリを大規模LMに戦略的にルーティングする手法であるAutomixを提案する。
論文参考訳（メタデータ） (2023-10-19T17:57:39Z)
MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文参考訳（メタデータ） (2023-08-25T01:41:04Z)
AutoEn: An AutoML method based on ensembles of predefined Machine Learning pipelines for supervised Traffic Forecasting [1.6242924916178283]
交通予測(TF)は、将来の交通状況を予測することで交通渋滞を緩和する能力により、関連性が高まっている。 TFは、モデル選択問題(MSP)として知られる機械学習パラダイムに大きな課題を提起する。事前に定義されたMLパイプラインの集合からマルチクラス化アンサンブルを自動生成する,シンプルで効率的な手法であるAutoEnを紹介する。
論文参考訳（メタデータ） (2023-03-19T18:37:18Z)
Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
論文参考訳（メタデータ） (2021-01-15T03:12:29Z)
Auto-Sklearn 2.0: Hands-free AutoML via Meta-Learning [45.643809726832764]
第2回ChaLearn AutoMLチャレンジへの勝利を動機とした新しいAutoMLアプローチを紹介します。我々はPoSH Auto-Sklearnを開発した。これは、厳格な時間制限下で、AutoMLシステムが大きなデータセットでうまく機能することを可能にする。また、真にハンズフリーなAutoMLに対する解決策を提案する。
論文参考訳（メタデータ） (2020-07-08T12:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。