Fugu-MT 論文翻訳(概要): Can Advanced LLMs Coach Smaller LLMs? Knowledge Distillation for Goal-Oriented Dialogs

論文の概要: Can Advanced LLMs Coach Smaller LLMs? Knowledge Distillation for Goal-Oriented Dialogs

arxiv url: http://arxiv.org/abs/2408.07238v2
Date: Sat, 13 Sep 2025 20:28:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-16 17:26:22.625845
Title: Can Advanced LLMs Coach Smaller LLMs? Knowledge Distillation for Goal-Oriented Dialogs
Title（参考訳）: 先進LLMはより小さなLDMをコーチできるか? : ゴール指向ダイアログの知識蒸留
Authors: Tong Wang, K. Sudhir, Dat Hong,
Abstract要約: 本稿では,迅速な知識蒸留フレームワークであるGuidance Elicitation and Retrieval(GER)を紹介する。 GERは教師から幅広い対話シナリオの戦術的ガイダンスを抽出し、これらのシナリオガイダンスペアを構造化ライブラリに格納する。 GERは完全に合成データでブートストラップできるが、そのモジュラーデザインは、人間の会話ログで合成データをシームレスに強化する。
参考スコア（独自算出の注目度）: 4.859279018666672
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Enterprises deploying LLMs for goal-oriented dialogs, such as customer service, face a critical trade-off between performance, control, and cost. Proprietary models like GPT-4 offer strong performance but are costly and cannot be self-hosted, raising security and privacy concerns. Open-source alternatives offer flexibility and lower token costs but lag in performance. We introduce Guidance Elicitation and Retrieval (GER), a prompt-based knowledge distillation framework where a high-performance teacher LLM coaches a lower-performance student without modifying the student's parameters. GER extracts tactical guidance for a wide range of dialog scenarios from the teacher and stores these scenario-guidance pairs in a structured library. At inference time, the student retrieves the relevant guidance and integrates it into its prompt. While GER training can be bootstrapped entirely with synthetic data, its modular design lets it seamlessly augment the synthetic data with human conversational logs. In addition, the modular design enables easy auditing and updating of the guidance library as new scenarios and constraints emerge. Experiments show GER's guidance-based coaching outperforms both example output based fine-tuning and non-customized guidance baselines, and generalizes across other contexts and student models. The GER framework is potentially extensible to coach human service agents.
Abstract（参考訳）: 顧客サービスなど、目標指向のダイアログにLLMをデプロイする企業は、パフォーマンス、コントロール、コストの間に重要なトレードオフに直面します。 GPT-4のようなプロプライエタリなモデルは強力なパフォーマンスを提供するが、コストが高く、セルフホストできないため、セキュリティとプライバシの懸念が高まる。オープンソースの代替手段は、柔軟性とトークンコストの低減を提供するが、パフォーマンスの遅れがある。ハイパフォーマンスなLLM教師が,生徒のパラメータを変更することなく,低パフォーマンスな学生を指導する,素早い知識蒸留フレームワークであるGuidance Elicitation and Retrieval(GER)を紹介した。 GERは教師から幅広い対話シナリオの戦術的ガイダンスを抽出し、これらのシナリオガイダンスペアを構造化ライブラリに格納する。推論時に、学生は関連するガイダンスを取得し、そのプロンプトに統合する。 GERのトレーニングは完全に合成データでブートストラップできるが、そのモジュラーデザインは、人間の会話ログで合成データをシームレスに強化する。さらに、モジュール設計により、新しいシナリオや制約が出現するにつれて、ガイダンスライブラリの監査や更新が容易になる。実験では、GERのガイダンスベースのコーチングは、サンプル出力ベースの微調整ベースと非カスタマイズガイダンスベースラインの両方に優れており、他のコンテキストや学生モデルにまたがって一般化されている。 GERフレームワークは、ヒューマンサービスエージェントのコーチングに拡張可能である可能性がある。

関連論文リスト

Training LLM-Based Agents with Synthetic Self-Reflected Trajectories and Partial Masking [61.61356842567952]
LLMに基づくエージェントトレーニングを改善するための新しい手法STePを提案する。誤差ステップの反射や補正を含む自己反射軌道を合成する。実験により,提案手法は3つの代表的なタスクにおいてエージェント性能を向上させることが示された。
論文参考訳（メタデータ） (2025-05-26T14:11:12Z)
Planning without Search: Refining Frontier LLMs with Offline Goal-Conditioned RL [62.984693936073974]
大きな言語モデル(LLM)は、質問応答や対話といったタスクに優れています。交渉や説得のような相互作用を必要とする複雑なタスクは、さらなる長期の推論と計画を必要とする。目的条件付き値関数を用いて LLM エージェントの推論を導出する手法を提案する。
論文参考訳（メタデータ） (2025-05-23T16:51:54Z)
From Problem-Solving to Teaching Problem-Solving: Aligning LLMs with Pedagogy using Reinforcement Learning [76.09281171131941]
大規模言語モデル(LLM)は教育を変換することができるが、直接質問応答のための最適化はしばしば効果的な教育を損なう。オンライン強化学習(RL)に基づくアライメントフレームワークを提案する。
論文参考訳（メタデータ） (2025-05-21T15:00:07Z)
When Words Outperform Vision: VLMs Can Self-Improve Via Text-Only Training For Human-Centered Decision Making [15.397582422113627]
実環境で動作するAIエージェントには、身体的意思決定が基本である。本研究では,マルチモーダルな人間中心意思決定タスクにおいて,オープンソースのビジュアル言語モデル(VLM)を評価する。
論文参考訳（メタデータ） (2025-03-21T09:25:23Z)
From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
SMART: Self-learning Meta-strategy Agent for Reasoning Tasks [44.45037694899524]
SMART(Self-learning Meta-Strategy Agent for Reasoning Tasks)は、LMが様々な推論タスクの最も効果的な戦略を学習し、選択できる新しいフレームワークである。我々は、戦略選択プロセスをマルコフ決定プロセスとしてモデル化し、強化学習による継続的自己改善を活用する。実験の結果,SMARTは外部ガイダンスを使わずに最適な戦略を選択する能力を大幅に向上することが示された。
論文参考訳（メタデータ） (2024-10-21T15:55:04Z)
SAC-GLAM: Improving Online RL for LLM agents with Soft Actor-Critic and Hindsight Relabeling [29.29604779151457]
本稿では,LSM剤に適応するソフトアクター・クライトと後方視の適応について検討する。本手法は,従来のマルチゴールRL環境において,オンライン学習を行う自動LLMエージェントへの道筋を示す。
論文参考訳（メタデータ） (2024-10-16T11:59:27Z)
Towards the Pedagogical Steering of Large Language Models for Tutoring: A Case Study with Modeling Productive Failure [36.83786872708736]
1対1の授業は、最も効果的な教育方法の1つである。先進的で効果的な学習設計であるProductive Failure (PF) に倣って, 高校数学のプロトタイプチューターを作成する。我々は,StratLがLLMの運営に成功し,生産的失敗の学習戦略に従うことを定量的に示す。
論文参考訳（メタデータ） (2024-10-03T16:15:41Z)
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-30T03:44:54Z)
Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。本稿では,LLMの連続学習に関する最近の研究について述べる。
論文参考訳（メタデータ） (2024-02-02T12:34:09Z)
Large Language Model as a Policy Teacher for Training Reinforcement Learning Agents [16.24662355253529]
LLM(Large Language Models)は、高レベルの命令を提供することによって、シーケンシャルな意思決定タスクに対処することができる。 LLMは、特にリアルタイムな動的環境において、特定のターゲット問題に対処する専門性を欠いている。 LLMベースの教師エージェントからの指示を用いて、より小規模で専門的なRLエージェントを訓練することで、これらの課題に対処する新しいフレームワークを導入する。
論文参考訳（メタデータ） (2023-11-22T13:15:42Z)
Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
論文参考訳（メタデータ） (2023-11-09T18:45:16Z)
LgTS: Dynamic Task Sampling using LLM-generated sub-goals for Reinforcement Learning Agents [10.936460061405157]
LgTS (LLM-Guided Teacher-Student Learning) を提案する。提案手法では,提案したサブゴールを達成するための事前訓練されたポリシーも必要としない。
論文参考訳（メタデータ） (2023-10-14T00:07:03Z)
Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。本稿では,この新技術について概観する。
論文参考訳（メタデータ） (2023-08-06T18:38:52Z)
Introspective Tips: Large Language Model for In-Context Decision Making [48.96711664648164]
我々は,大規模言語モデル(LLM)の自己最適化を促進するために,イントロスペクティブティップス(Introspective Tips)を採用している。本手法は,少数ショットとゼロショットの両方の学習状況において,エージェントの性能を向上させる。 TextWorldにおける100以上のゲームに関する実験は、我々のアプローチの優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2023-05-19T11:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。