論文の概要: AutoAdapt: An Automated Domain Adaptation Framework for LLMs

• arxiv url: http://arxiv.org/abs/2603.08181v1
• Date: Mon, 09 Mar 2026 10:03:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.753781
• Title: AutoAdapt: An Automated Domain Adaptation Framework for LLMs
• Title（参考訳）: AutoAdapt: LLMのための自動ドメイン適応フレームワーク
• Authors: Sidharth Sinha, Anson Bastos, Xuchao Zhang, Akshay Nambi, Chetan Bansal, Saravan Rajmohan,
• Abstract要約: 大規模言語モデル(LLM)はオープンドメインでは優れているが、限られたデータと進化する知識で特別な設定に苦しむ。 既存のドメイン適応プラクティスは、手動の試行錯誤プロセスに大きく依存しています。 我々は、効率よく信頼性の高いドメイン適応のための新しいエンドツーエンド自動化フレームワークであるAutoAdaptを紹介する。
• 参考スコア（独自算出の注目度）: 24.0572835346962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) excel in open domains but struggle in specialized settings with limited data and evolving knowledge. Existing domain adaptation practices rely heavily on manual trial-and-error processes, incur significant hyperparameter complexity, and are highly sensitive to data and user preferences, all under the high cost of LLM training. Moreover, the interactions and transferability of hyperparameter choices across models/domains remain poorly understood, making adaptation gains uncertain even with substantial effort. To solve these challenges, we present AutoAdapt, a novel end-to-end automated framework for efficient and reliable LLM domain adaptation. AutoAdapt leverages curated knowledge bases from literature and open-source resources to reduce expert intervention. To narrow the search space, we design a novel multi-agent debating system in which proposal and critic agents iteratively interact to align user intent and incorporate data signals and best practices into the planning process. To optimize hyperparameters under tight budgets, we propose AutoRefine, a novel LLM-based surrogate that replaces costly black-box search. Across 10 tasks, AutoAdapt achieves a 25% average relative accuracy improvement over state-of-the-art Automated Machine Learning baselines with minimal overhead.
• Abstract（参考訳）: 大規模言語モデル(LLM)はオープンドメインでは優れているが、限られたデータと進化する知識で特別な設定に苦しむ。 既存のドメイン適応のプラクティスは、手動の試行錯誤プロセスに大きく依存しており、大きなハイパーパラメータの複雑さを生じさせ、データやユーザの好みに非常に敏感であり、いずれもLLMトレーニングのコストが高い。 さらに、モデル/ドメイン間でのハイパーパラメータ選択の相互作用と転送可能性については、十分に理解されていないままであり、かなりの努力を払っても適応性は不確実である。 これらの課題を解決するために、我々は、効率よく信頼性の高いLLMドメイン適応のための新しいエンドツーエンド自動化フレームワークであるAutoAdaptを提案する。 AutoAdaptは、専門家の介入を減らすために、文献やオープンソースリソースからのキュレートされた知識ベースを活用する。 探索空間を狭めるために,提案エージェントと評論家エージェントが反復的に対話してユーザ意図を整合させ,データ信号やベストプラクティスを計画プロセスに組み込む,新しいマルチエージェント議論システムを設計する。 厳格な予算下でのハイパーパラメータの最適化のために,コストのかかるブラックボックス検索を置き換える新しいLCMベースのサロゲートであるAutoRefineを提案する。 10タスクにわたって、AutoAdaptは、最小限のオーバーヘッドで最先端のAutomated Machine Learningベースラインよりも25%平均的な相対的精度の向上を実現している。

関連論文リスト

• Data Efficient Adaptation in Large Language Models via Continuous Low-Rank Fine-Tuning [34.343514432589586]
  本稿では,ローランド適応(LoRA)と連続的な微調整戦略を統合する新しいフレームワークであるtextbfを提案する。 15の多様なデータセットの実験は、DEALがベースラインメソッドを一貫して上回っていることを示している。 これらの結果は,大規模言語モデルにおける継続的適応に向けた我々のアプローチの可能性を示している。
  論文  参考訳（メタデータ） (2025-09-23T12:55:57Z)
• Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay [69.67914133280296]
  強化学習(RL)は、大規模言語モデル(LLM)の微調整に有効なアプローチとなっている。 LLM RLファインチューニングにおけるデータ効率向上のための2つの手法を提案する。 本手法は,従来のGRPOアルゴリズムと同等の性能を示しながら,RLの微調整時間を23%から62%削減する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:43Z)
• AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
  フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。 大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T16:35:32Z)
• MAS-ZERO: Designing Multi-Agent Systems with Zero Supervision [76.42361936804313]
  自動MAS設計のための自己進化型推論時間フレームワークMAS-ZEROを紹介する。 MAS-ZEROはメタレベルの設計を採用し、各問題インスタンスに適したMAS構成を反復的に生成し、評価し、洗練する。
  論文  参考訳（メタデータ） (2025-05-21T00:56:09Z)
• EDCA - An Evolutionary Data-Centric AutoML Framework for Efficient Pipelines [0.276240219662896]
  この作業では、Evolutionary Data Centric AutoMLフレームワークであるEDCAを紹介します。 データ品質は通常、AutoMLの見過ごされている部分であり、手作業と時間を要するタスクであり続けています。 EDCAは、AutoMLベンチマークのトップの2つのフレームワークであるFLAMLとTPOTと比較された。
  論文  参考訳（メタデータ） (2025-03-06T11:46:07Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。