論文の概要: Agent Fine-tuning through Distillation for Domain-specific LLMs in Microdomains

• arxiv url: http://arxiv.org/abs/2510.00482v1
• Date: Wed, 01 Oct 2025 04:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.366428
• Title: Agent Fine-tuning through Distillation for Domain-specific LLMs in Microdomains
• Title（参考訳）: ミクロドメインにおけるドメイン特異的LDMの蒸留によるエージェント微細調整
• Authors: Yawen Xue, Masaya Tsunokake, Yuta Koreeda, Ekant Muljibhai Amin, Takashi Sumiyoshi, Yasuhiro Sogawa,
• Abstract要約: エージェント型大規模言語モデル (LLM) は, 外部環境との自律的対話において注目されている。 本稿では,日立のJP1マイクロドメインにおけるドメイン適応のためのエージェント微調整について検討する。
• 参考スコア（独自算出の注目度）: 6.323778761045108
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Agentic large language models (LLMs) have become prominent for autonomously interacting with external environments and performing multi-step reasoning tasks. Most approaches leverage these capabilities via in-context learning with few-shot prompts, but this often results in lengthy inputs and higher computational costs. Agent fine-tuning offers an alternative by enabling LLMs to internalize procedural reasoning and domain-specific knowledge through training on relevant data and demonstration trajectories. While prior studies have focused on general domains, their effectiveness in specialized technical microdomains remains unclear. This paper explores agent fine-tuning for domain adaptation within Hitachi's JP1 middleware, a microdomain for specialized IT operations. We fine-tuned LLMs using JP1-specific datasets derived from domain manuals and distilled reasoning trajectories generated by LLMs themselves, enhancing decision making accuracy and search efficiency. During inference, we used an agentic prompt with retrieval-augmented generation and introduced a context-answer extractor to improve information relevance. On JP1 certification exam questions, our method achieved a 14% performance improvement over the base model, demonstrating the potential of agent fine-tuning for domain-specific reasoning in complex microdomains.
• Abstract（参考訳）: エージェント型大規模言語モデル(LLM)は、外部環境と自律的に対話し、多段階推論タスクを実行することで注目されている。 ほとんどのアプローチは、数発のプロンプトでコンテキスト内学習を通じてこれらの能力を活用するが、これは多くの場合、長い入力と高い計算コストをもたらす。 エージェントの微調整は、LLMが関連するデータや実証軌道のトレーニングを通じて、手続き的推論とドメイン固有の知識を内部化することで、代替手段を提供する。 先行研究は一般的なドメインに焦点を合わせてきたが、特殊技術マイクロドメインにおけるそれらの有効性は未だ不明である。 本稿では,日立のJP1ミドルウェアにおけるドメイン適応のためのエージェント微調整について検討する。 筆者らは, LLM自体が生成するドメインマニュアルから派生したJP1固有のデータセットを用いて, LLMを微調整し, 意思決定精度と探索効率を向上した。 提案手法では,情報関連性を向上させるためにエージェントプロンプトと検索拡張生成を用い,文脈応答抽出器を導入した。 JP1認定試験の質問に対して,本手法は基礎モデルよりも14%の性能向上を達成し,複雑なマイクロドメインにおけるドメイン固有推論のためのエージェント微調整の可能性を示した。

関連論文リスト

• Domain Adaptation of LLMs for Process Data [7.611051482274626]
  大規模言語モデル(LLM)は,プロセスマイニング(PM)など,さまざまな研究領域において注目の的となっている。 本研究では,事前学習したLLMの自然言語再構成なしでの処理データへの直接適応について検討した。 より具体的には、パラメータ効率のよい微調整技術に注目し、そのようなモデルに典型的に関連する計算オーバーヘッドを軽減する。
  論文  参考訳（メタデータ） (2025-09-03T09:21:35Z)
• Beyond Benchmarks: A Novel Framework for Domain-Specific LLM Evaluation and Knowledge Mapping [0.7555681642774916]
  本稿では,言語モデル(LM)評価における2つの重要な課題として,信頼性の高いドメイン固有ベンチマークの作成と,ドメイン適応時の知識表現の理解について論じる。 本稿では,LMや人為的なキュレーションに頼らずに,生のドメインコーパスを補完型ベンチマークに変換する決定論的パイプラインを提案する。 提案手法は,TFとTF-IDFを用いたドメイン固有キーワードと関連する単語リストを生成し,プロンプトとターゲットのペアを構築する。 我々は,これらのプロンプトを適切なドメイン固有ターゲットで完了させる能力を測定し,計算コストの低いドメイン知識を直接評価することによって,モデルを評価する。
  論文  参考訳（メタデータ） (2025-06-09T11:30:12Z)
• Leveraging Domain Knowledge at Inference Time for LLM Translation: Retrieval versus Generation [36.41708236431343]
  機械翻訳(MT)において,大規模言語モデル (LLM) がますます採用されている。 本研究は,LLMを用いたドメイン適応MTについて,慎重なプロンプト設定により検討する。 実演は用語学を一貫して上回り、検索は生成を一貫して上回ります。
  論文  参考訳（メタデータ） (2025-03-06T22:23:07Z)
• On Domain-Adaptive Post-Training for Multimodal Large Language Models [78.65220510401045]
  本稿では,MLLMのドメイン適応をポストトレーニングにより体系的に検討する。 データ合成、トレーニングパイプライン、タスク評価に重点を置いています。 バイオメディシン、食品、リモートセンシングなどの高インパクト領域で実験を行う。
  論文  参考訳（メタデータ） (2024-11-29T18:42:28Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。