論文の概要: AutoAdapt: An Automated Domain Adaptation Framework for LLMs
- arxiv url: http://arxiv.org/abs/2603.08181v1
- Date: Mon, 09 Mar 2026 10:03:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:15.753781
- Title: AutoAdapt: An Automated Domain Adaptation Framework for LLMs
- Title（参考訳）: AutoAdapt: LLMのための自動ドメイン適応フレームワーク
- Abstract要約: 大規模言語モデル(LLM)はオープンドメインでは優れているが、限られたデータと進化する知識で特別な設定に苦しむ。
既存のドメイン適応プラクティスは、手動の試行錯誤プロセスに大きく依存しています。
我々は、効率よく信頼性の高いドメイン適応のための新しいエンドツーエンド自動化フレームワークであるAutoAdaptを紹介する。
- 参考スコア（独自算出の注目度）: 24.0572835346962
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) excel in open domains but struggle in specialized settings with limited data and evolving knowledge. Existing domain adaptation practices rely heavily on manual trial-and-error processes, incur significant hyperparameter complexity, and are highly sensitive to data and user preferences, all under the high cost of LLM training. Moreover, the interactions and transferability of hyperparameter choices across models/domains remain poorly understood, making adaptation gains uncertain even with substantial effort. To solve these challenges, we present AutoAdapt, a novel end-to-end automated framework for efficient and reliable LLM domain adaptation. AutoAdapt leverages curated knowledge bases from literature and open-source resources to reduce expert intervention. To narrow the search space, we design a novel multi-agent debating system in which proposal and critic agents iteratively interact to align user intent and incorporate data signals and best practices into the planning process. To optimize hyperparameters under tight budgets, we propose AutoRefine, a novel LLM-based surrogate that replaces costly black-box search. Across 10 tasks, AutoAdapt achieves a 25% average relative accuracy improvement over state-of-the-art Automated Machine Learning baselines with minimal overhead.
- Abstract（参考訳）: 大規模言語モデル(LLM)はオープンドメインでは優れているが、限られたデータと進化する知識で特別な設定に苦しむ。
既存のドメイン適応のプラクティスは、手動の試行錯誤プロセスに大きく依存しており、大きなハイパーパラメータの複雑さを生じさせ、データやユーザの好みに非常に敏感であり、いずれもLLMトレーニングのコストが高い。
さらに、モデル/ドメイン間でのハイパーパラメータ選択の相互作用と転送可能性については、十分に理解されていないままであり、かなりの努力を払っても適応性は不確実である。
これらの課題を解決するために、我々は、効率よく信頼性の高いLLMドメイン適応のための新しいエンドツーエンド自動化フレームワークであるAutoAdaptを提案する。
AutoAdaptは、専門家の介入を減らすために、文献やオープンソースリソースからのキュレートされた知識ベースを活用する。
探索空間を狭めるために,提案エージェントと評論家エージェントが反復的に対話してユーザ意図を整合させ,データ信号やベストプラクティスを計画プロセスに組み込む,新しいマルチエージェント議論システムを設計する。
厳格な予算下でのハイパーパラメータの最適化のために,コストのかかるブラックボックス検索を置き換える新しいLCMベースのサロゲートであるAutoRefineを提案する。
10タスクにわたって、AutoAdaptは、最小限のオーバーヘッドで最先端のAutomated Machine Learningベースラインよりも25%平均的な相対的精度の向上を実現している。
関連論文リスト
- Data Efficient Adaptation in Large Language Models via Continuous Low-Rank Fine-Tuning [34.343514432589586]
本稿では,ローランド適応(LoRA)と連続的な微調整戦略を統合する新しいフレームワークであるtextbfを提案する。
15の多様なデータセットの実験は、DEALがベースラインメソッドを一貫して上回っていることを示している。
これらの結果は,大規模言語モデルにおける継続的適応に向けた我々のアプローチの可能性を示している。
論文 参考訳（メタデータ） (2025-09-23T12:55:57Z) - Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay [69.67914133280296]
強化学習(RL)は、大規模言語モデル(LLM)の微調整に有効なアプローチとなっている。
LLM RLファインチューニングにおけるデータ効率向上のための2つの手法を提案する。
本手法は,従来のGRPOアルゴリズムと同等の性能を示しながら,RLの微調整時間を23%から62%削減する。
論文 参考訳（メタデータ） (2025-06-05T17:55:43Z) - AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。
大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
論文 参考訳（メタデータ） (2025-05-30T16:35:32Z) - MAS-ZERO: Designing Multi-Agent Systems with Zero Supervision [76.42361936804313]
自動MAS設計のための自己進化型推論時間フレームワークMAS-ZEROを紹介する。
MAS-ZEROはメタレベルの設計を採用し、各問題インスタンスに適したMAS構成を反復的に生成し、評価し、洗練する。
論文 参考訳（メタデータ） (2025-05-21T00:56:09Z) - EDCA - An Evolutionary Data-Centric AutoML Framework for Efficient Pipelines [0.276240219662896]
この作業では、Evolutionary Data Centric AutoMLフレームワークであるEDCAを紹介します。
データ品質は通常、AutoMLの見過ごされている部分であり、手作業と時間を要するタスクであり続けています。
EDCAは、AutoMLベンチマークのトップの2つのフレームワークであるFLAMLとTPOTと比較された。
論文 参考訳（メタデータ） (2025-03-06T11:46:07Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - Hyper-parameter Optimization for Federated Learning with Step-wise Adaptive Mechanism [0.48342038441006796]
Federated Learning(FL)は、クライアントの生のデータセットを共有するのではなく、ローカルモデルパラメータを利用して機密情報を保護する分散学習アプローチである。
本稿では、FL設定における2つの軽量ハイパー最適化(HPO)ツールであるRaytuneとOptunaの展開と統合について検討する。
この目的のために、ローカルとグローバルの両方のフィードバック機構が統合され、検索空間が制限され、HPOプロセスが高速化される。
論文 参考訳（メタデータ） (2024-11-19T05:49:00Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。
近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。
本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
論文 参考訳（メタデータ） (2024-10-03T20:01:09Z) - AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation [37.456499537121886]
大規模言語モデルの最近の進歩はML/AI開発に変化をもたらした。
大規模言語モデルの最近の進歩は、検索・拡張生成(RAG)システムにおけるAutoMLの原則を変革している。
論文 参考訳（メタデータ） (2024-06-27T15:18:21Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳（メタデータ） (2024-03-21T13:52:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。