論文の概要: LaMDAgent: An Autonomous Framework for Post-Training Pipeline Optimization via LLM Agents

• arxiv url: http://arxiv.org/abs/2505.21963v1
• Date: Wed, 28 May 2025 04:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.414135
• Title: LaMDAgent: An Autonomous Framework for Post-Training Pipeline Optimization via LLM Agents
• Title（参考訳）: LaMDAgent: LLMエージェントによる後パイプライン最適化のための自律的フレームワーク
• Authors: Taro Yano, Yoichi Ishibashi, Masafumi Oyamada,
• Abstract要約: トレーニング後の完全なパイプラインを自律的に構築し、最適化するフレームワークであるLaMDAgentを紹介します。 LaMDAgentは、ツールの使用精度を9.0ポイント向上し、命令追従機能を保持する。 従来の人間主導の探査で見落とされがちな効果的なポストトレーニング戦略を明らかにする。
• 参考スコア（独自算出の注目度）: 3.6117068575553595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated exceptional performance across a wide range of tasks. To further tailor LLMs to specific domains or applications, post-training techniques such as Supervised Fine-Tuning (SFT), Preference Learning, and model merging are commonly employed. While each of these methods has been extensively studied in isolation, the automated construction of complete post-training pipelines remains an underexplored area. Existing approaches typically rely on manual design or focus narrowly on optimizing individual components, such as data ordering or merging strategies. In this work, we introduce LaMDAgent (short for Language Model Developing Agent), a novel framework that autonomously constructs and optimizes full post-training pipelines through the use of LLM-based agents. LaMDAgent systematically explores diverse model generation techniques, datasets, and hyperparameter configurations, leveraging task-based feedback to discover high-performing pipelines with minimal human intervention. Our experiments show that LaMDAgent improves tool-use accuracy by 9.0 points while preserving instruction-following capabilities. Moreover, it uncovers effective post-training strategies that are often overlooked by conventional human-driven exploration. We further analyze the impact of data and model size scaling to reduce computational costs on the exploration, finding that model size scalings introduces new challenges, whereas scaling data size enables cost-effective pipeline discovery.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクで例外的なパフォーマンスを示している。 特定のドメインやアプリケーションにLLMをさらに調整するためには、スーパービジョンファインチューニング(SFT)、優先度学習、モデルマージといったポストトレーニング技術が一般的である。 これらの手法は独立して広く研究されてきたが、完全な後処理パイプラインの自動構築は未調査領域のままである。 既存のアプローチは通常、手動設計に依存するか、データ順序付けやマージ戦略といった個々のコンポーネントの最適化に限定する。 本研究では,LLMをベースとしたエージェントを用いて,学習後のパイプライン全体を自律的に構築し,最適化する新しいフレームワークであるLaMDAgentを紹介する。 LaMDAgentは、さまざまなモデル生成テクニック、データセット、ハイパーパラメータ構成を体系的に探求し、タスクベースのフィードバックを活用して、人間の介入を最小限に抑えたハイパフォーマンスパイプラインを見つける。 実験の結果,LaMDAgentは命令追従能力を保ちながら,ツール使用精度を9.0ポイント向上することがわかった。 さらに、従来の人間主導の探索によって見落とされがちな効果的なポストトレーニング戦略を明らかにする。 さらに、データサイズとモデルサイズスケーリングの影響を分析し、探索に計算コストを削減し、モデルサイズスケーリングが新たな課題をもたらすのに対して、データサイズはコスト効率のよいパイプライン発見を可能にする。

関連論文リスト

• MaskSearch: A Universal Pre-Training Framework to Enhance Agentic Search Capability [106.35604230971396]
  最近のエージェント技術の進歩により、大規模言語モデル(LLM)は、検索、計画、推論のためのツールを自律的に活用することができる。 エージェントの普遍的な検索能力を高めるために,新しい事前学習フレームワークMaskSearchを提案する。 事前学習の段階では、検索ツールを用いてマスク付きスパンを埋めるRetrieval Augmented Mask Prediction (RAMP)タスクを導入する。 その後、モデルは下流のタスクでトレーニングされ、さらなる改善が達成されます。
  論文  参考訳（メタデータ） (2025-05-26T17:58:50Z)
• Training Agents with Weakly Supervised Feedback from Large Language Models [19.216542820742607]
  本稿では,批判的LSMからの弱教師付き信号を用いたLSMエージェントの新しいトレーニング手法を提案する。 エージェントは反復的に訓練され、まず環境相互作用を通じて軌道を生成する。 API-bankデータセットのテストでは、エージェントの能力とGPT-4に匹敵するパフォーマンスが一貫して改善されている。
  論文  参考訳（メタデータ） (2024-11-29T08:47:04Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
  本稿では,Large Language Models (LLM) の微調整について検討する。 従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。 本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2024-08-23T14:48:02Z)
• Advancing Tool-Augmented Large Language Models: Integrating Insights from Errors in Inference Trees [37.297431187924765]
  本稿では,この制限に対処するための選好学習に基づく推論軌道最適化フレームワークを提案する。 まず,木のような専門的軌跡からステップワイズな選好データを構築する手法を提案する。 提案実験により, TP-LLaMAは, 推定木における誤差から洞察を得ることにより, ベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-06-11T10:00:18Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• Learning From Failure: Integrating Negative Examples when Fine-tuning Large Language Models as Agents [41.14201835950814]
  大規模言語モデル(LLM)は、検索エンジンなどのツールを介して環境と対話するエージェントとして機能することに成功した。 これまでの研究は、LLMと環境の間の相互作用軌跡を初めて収集し、小さなモデルを微調整するためにタスクを完了した軌道のみを用いていた。 これらの軌道からLLMは適切な品質制御と微調整戦略によって学習することができると我々は主張する。
  論文  参考訳（メタデータ） (2024-02-18T17:10:07Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。