論文の概要: DACIP-RC: Domain Adaptive Continual Instruction Pre-Training via Reading Comprehension on Business Conversations

• arxiv url: http://arxiv.org/abs/2510.08152v1
• Date: Thu, 09 Oct 2025 12:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.069337
• Title: DACIP-RC: Domain Adaptive Continual Instruction Pre-Training via Reading Comprehension on Business Conversations
• Title（参考訳）: DACIP-RC:ビジネス会話の読解によるドメイン適応型継続的指導事前学習
• Authors: Elena Khasanova, Harsh Saini, Md Tahmid Rahman Laskar, Xue-Yong Fu, Cheng Chen, Shashi Bhushan TN,
• Abstract要約: 本稿では,DACIP-RC(Domain Adaptive Continual Instruction Pre-Training)を提案する。 次世代の予測に依存する従来の事前学習アプローチとは異なり、DACIP-RCは会話書き起こしの読解を通じて多様なタスク命令と応答を生成する。 実験により,DACIP-RCは広範囲のビジネス会話タスクにおいて,ゼロショットの一般化を著しく改善することが示された。
• 参考スコア（独自算出の注目度）: 12.671996818071817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancements in Large Language Models (LLMs) have enabled their adoption in real-world industrial scenarios for various natural language processing tasks. However, the high inference cost of large-scale LLMs makes their deployment impractical, necessitating the use of smaller models. Despite their efficiency, smaller LLMs lack robust zero-shot instruction-following capabilities across diverse domains, limiting their adaptability to dynamic user requirements. Traditional fine-tuning approaches exacerbate this issue by inducing catastrophic forgetting, reducing the model's generalization ability for unseen tasks. In this paper, we propose Domain Adaptive Continual Instruction Pre-Training via Reading Comprehension (DACIP-RC), a continual pre-training technique that enhances smaller LLMs' domain adaptability for business conversational tasks. Unlike conventional pre-training approaches that rely on next-token prediction, DACIP-RC generates diverse task instructions and responses via reading comprehension on conversation transcripts, enabling better instruction generalization. Our empirical evaluations demonstrate that DACIP-RC significantly improves zero-shot generalization across a wide range of business conversational tasks, including meeting summarization, action item generation, and call purpose identification. To the best of our knowledge, this is the first work to apply instruction pre-training on business conversational data, providing insights into how industries can leverage proprietary datasets for domain adaptation.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩により、様々な自然言語処理タスクの現実的な産業シナリオへの導入が可能になった。 しかし、大規模LLMの高推論コストは、その展開を非現実的にし、より小さなモデルを使う必要がある。 効率性にも拘わらず、小型のLLMは多様なドメインにまたがる堅牢なゼロショット命令追従機能を持たず、動的なユーザ要求への適応性を制限している。 従来の微調整アプローチは、破滅的な忘れ込みを誘発し、目に見えないタスクに対するモデルの一般化能力を低下させることで、この問題を悪化させる。 本稿では,ビジネス会話タスクにおけるLLMのドメイン適応性を向上する継続事前学習技術であるDACIP-RC(Domain Adaptive Continual Instruction Pre-Training)を提案する。 次世代の予測に依存する従来の事前学習アプローチとは異なり、DACIP-RCは会話書き起こしの読解を通じて多様なタスク命令と応答を生成し、より良い命令一般化を可能にする。 DACIP-RCは、会議要約、アクションアイテム生成、呼び出し目的識別など、幅広いビジネス会話タスクにおいて、ゼロショットの一般化を著しく改善することを示す。 私たちの知る限りでは、これはビジネスの会話データに事前トレーニングを適用するための最初の取り組みであり、業界がドメイン適応のために独自のデータセットをどのように活用できるかについての洞察を提供する。

関連論文リスト

• DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation Summarization [10.083326281775939]
  大規模言語モデル (LLM) はテキスト要約において顕著な性能を達成した。 微調整は要約の品質を向上させることができるが、通常は高価で高品質なラベル付きデータに依存している。 我々は、下流の要約タスクにLLMを適用するためのスケーラブルで自己管理的なアプローチとして、継続事前学習について検討する。
  論文  参考訳（メタデータ） (2025-10-07T12:26:19Z)
• From Reviews to Dialogues: Active Synthesis for Zero-Shot LLM-based Conversational Recommender System [49.57258257916805]
  大きな言語モデル(LLM)は強力なゼロショットレコメンデーション機能を示している。 現実的なアプリケーションは、スケーラビリティ、解釈可能性、データプライバシの制約により、より小さく、内部的に管理された推奨モデルを好むことが多い。 能動学習技術によって導かれるブラックボックスLSMを利用して,会話学習データを合成する能動データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-21T23:05:47Z)
• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• The Synergy of LLMs & RL Unlocks Offline Learning of Generalizable Language-Conditioned Policies with Low-fidelity Data [50.544186914115045]
  TEDUOは、シンボリック環境におけるオフライン言語条件のポリシー学習のための、新しいトレーニングパイプラインである。 まず、オフラインデータセットをよりリッチなアノテーションで拡張する自動化ツールとして、次に、一般化可能な命令フォローエージェントとして使用します。
  論文  参考訳（メタデータ） (2024-12-09T18:43:56Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。