論文の概要: DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation Summarization

• arxiv url: http://arxiv.org/abs/2510.05858v1
• Date: Tue, 07 Oct 2025 12:26:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.245559
• Title: DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation Summarization
• Title（参考訳）: DACP:電話会話要約のための大規模言語モデルのドメイン適応型連続事前学習
• Authors: Xue-Yong Fu, Elena Khasanova, Md Tahmid Rahman Laskar, Harsh Saini, Shashi Bhushan TN,
• Abstract要約: 大規模言語モデル (LLM) はテキスト要約において顕著な性能を達成した。 微調整は要約の品質を向上させることができるが、通常は高価で高品質なラベル付きデータに依存している。 我々は、下流の要約タスクにLLMを適用するためのスケーラブルで自己管理的なアプローチとして、継続事前学習について検討する。
• 参考スコア（独自算出の注目度）: 10.083326281775939
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved impressive performance in text summarization, yet their performance often falls short when applied to specialized domains %or conversational data that differ from their original pre-training distribution. While fine-tuning can improve summarization quality, it typically relies on costly and scarce high-quality labeled data. In this work, we explore continual pre-training as a scalable, self-supervised approach to adapt LLMs for downstream summarization tasks, particularly in the context of noisy real-world conversation transcripts. We conduct extensive experiments using large-scale, unlabeled business conversation data to investigate whether continual pre-training enhances model capabilities in conversational summarization. Our results demonstrate that continual pre-training yields substantial gains in both in-domain and out-of-domain summarization benchmarks, while maintaining strong generalization and robustness. We also analyze the effects of data selection strategies, providing practical guidelines for applying continual pre-training in summarization-focused industrial applications.
• Abstract（参考訳）: 大規模言語モデル (LLM) はテキスト要約において顕著な性能を達成しているが、特定のドメインに適用した場合、元の事前学習ディストリビューションと異なる会話データに対して、その性能は低下することが多い。 微調整によって要約の品質が向上するが、通常は高価で高品質なラベル付きデータに依存している。 本研究では,LLMをダウンストリーム要約タスクに適用するための,スケーラブルで自己指導的なアプローチとして,特に雑音の多い実世界の会話書き起こしの文脈において,継続事前学習について検討する。 大規模・未ラベルのビジネス会話データを用いて広範囲にわたる実験を行い、継続事前学習が会話要約におけるモデル能力を高めるかどうかを検討する。 本研究は,ドメイン内およびドメイン外要約ベンチマークにおいて,高い一般化とロバスト性を維持しつつ,継続事前学習が実質的な利得を得ることを示す。 また,データ選択戦略の効果を分析し,要約型産業アプリケーションに継続事前学習を適用するための実践的ガイドラインを提供する。

関連論文リスト

• Experience Scaling: Post-Deployment Evolution For Large Language Models [44.48142891798125]
  大規模言語モデル(LLM)の継続的デプロイ後進化のためのフレームワークであるエクスペリエンススケーリングを提案する。 このフレームワークは,以前には見つからなかったが関連するタスク,繰り返しクエリ,過飽和知識ストアへの一般化を含む実世界のシナリオで検証される。 その結果、構造化されたデプロイ後学習は、静的な人間生成データの限界を超えてLLM能力を拡張できることを示した。
  論文  参考訳（メタデータ） (2025-09-23T08:04:58Z)
• From Reviews to Dialogues: Active Synthesis for Zero-Shot LLM-based Conversational Recommender System [49.57258257916805]
  大きな言語モデル(LLM)は強力なゼロショットレコメンデーション機能を示している。 現実的なアプリケーションは、スケーラビリティ、解釈可能性、データプライバシの制約により、より小さく、内部的に管理された推奨モデルを好むことが多い。 能動学習技術によって導かれるブラックボックスLSMを利用して,会話学習データを合成する能動データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-21T23:05:47Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Controlled Randomness Improves the Performance of Transformer Models [4.678970068275123]
  制御されたランダム性、すなわちノイズを訓練プロセスに導入し、微調整言語モデルを改善する。 このようなノイズを加えることで、結合したエンティティ認識と関係抽出とテキスト要約という2つの下流タスクのパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-10-20T14:12:55Z)
• Can LMs Generalize to Future Data? An Empirical Analysis on Text Summarization [50.20034493626049]
  最近の学習済み言語モデル(PLM)は、既存の抽象的な要約データセットにおいて有望な結果をもたらす。 既存の要約ベンチマークは、標準の事前学習コーパスと微調整データセットと時間的に重複する。 要約モデルに格納されたパラメトリック知識は、将来のデータに対する生成した要約の忠実度に大きく影響することを示す。
  論文  参考訳（メタデータ） (2023-05-03T08:08:07Z)
• Contextualization and Generalization in Entity and Relation Extraction [0.0]
  本研究では、訓練中に見えない事実への一般化に関する最先端モデルの振る舞いについて検討する。 従来のベンチマークは、トレーニングとモデル評価に使用される言及と関係の間に重要な語彙的重複を示す。 本稿では,トレーニングセットと重複する言及と関連性に基づいて,パフォーマンスを分離するための実証的研究を提案する。
  論文  参考訳（メタデータ） (2022-06-15T14:16:42Z)
• Low-Resource Dialogue Summarization with Domain-Agnostic Multi-Source Pretraining [10.750492932503649]
  注釈付き要約を伴う対話データの不十分さのため、大規模な要約モデルの訓練は一般的に不可能である。 本稿では,外部要約データをよりよく活用するためのマルチソース事前学習パラダイムを提案する。 提案手法は競争性能を達成し,異なる対話シナリオでよく一般化する。
  論文  参考訳（メタデータ） (2021-09-09T07:47:16Z)
• An Empirical Investigation Towards Efficient Multi-Domain Language Model Pre-training [15.440627147018711]
  我々は破滅的忘れ(CF)を緩和するための既知の方法に関する実証的研究を行っている。 弾性重み統合は7つの一般的なタスクに対して0.33%の低下しか得られない,最高の総合スコアを提供する。
  論文  参考訳（メタデータ） (2020-10-01T09:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。