論文の概要: Mutual Reinforcement of LLM Dialogue Synthesis and Summarization Capabilities for Few-Shot Dialogue Summarization

• arxiv url: http://arxiv.org/abs/2502.17328v1
• Date: Mon, 24 Feb 2025 17:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:25.901078
• Title: Mutual Reinforcement of LLM Dialogue Synthesis and Summarization Capabilities for Few-Shot Dialogue Summarization
• Title（参考訳）: LLM対話合成の相互強化とFew-Shot対話要約のための要約機能
• Authors: Yen-Ju Lu, Ting-Yao Hu, Hema Swetha Koppula, Hadi Pouransari, Jen-Hao Rick Chang, Yin Xia, Xiang Kong, Qi Zhu, Simon Wang, Oncel Tuzel, Raviteja Vemulapalli,
• Abstract要約: LLMにおけるMultual Reinforcecing Data Synthesis (MRDS) による対話要約作業の改善 提案したMRDS機構を利用して,合成データの形式にLCMの内部知識を取り入れる。 提案手法は,人体評価における平均スコアを最大化する。
• 参考スコア（独自算出の注目度）: 28.989849099599667
• License:
• Abstract: In this work, we propose Mutual Reinforcing Data Synthesis (MRDS) within LLMs to improve few-shot dialogue summarization task. Unlike prior methods that require external knowledge, we mutually reinforce the LLM\'s dialogue synthesis and summarization capabilities, allowing them to complement each other during training and enhance overall performances. The dialogue synthesis capability is enhanced by directed preference optimization with preference scoring from summarization capability. The summarization capability is enhanced by the additional high quality dialogue-summary paired data produced by the dialogue synthesis capability. By leveraging the proposed MRDS mechanism, we elicit the internal knowledge of LLM in the format of synthetic data, and use it to augment the few-shot real training dataset. Empirical results demonstrate that our method improves dialogue summarization, achieving a 1.5% increase in ROUGE scores and a 0.3% improvement in BERT scores in few-shot settings. Furthermore, our method attains the highest average scores in human evaluations, surpassing both the pre-trained models and the baselines fine-tuned solely for summarization tasks.
• Abstract（参考訳）: 本研究では,LLMにおけるMultual Reinforcecing Data Synthesis (MRDS)を提案する。 外部知識を必要とする従来の手法とは異なり、私たちはLLM\の対話合成と要約能力を相互に強化し、訓練中に相互に補完し、全体的な性能を向上させる。 対話合成能力は、要約機能からの選好スコアリングによる指示された選好最適化によって強化される。 対話合成機能によって生成された高品質な対話終末ペアデータにより要約能力を向上する。 提案したMRDS機構を利用することで、合成データのフォーマットでLLMの内部知識を抽出し、それを用いて、数発の実際のトレーニングデータセットを増強する。 実験により,本手法は対話要約を改善し,ROUGEスコアが1.5%,BERTスコアが0.3%向上した。 さらに,本手法は,事前学習されたモデルと,要約タスクのみに微調整されたベースラインの両方を上回り,人間の評価において最高の平均スコアを得る。

関連論文リスト

• Dynamic benchmarking framework for LLM-based conversational data capture [0.0]
  本稿では,大規模言語モデル(LLM)を評価するためのベンチマークフレームワークを提案する。 生成エージェントシミュレーションを統合して、情報抽出、コンテキスト認識、適応エンゲージメントといった重要次元のパフォーマンスを評価する。 その結果,不明瞭な応答を扱う場合,適応戦略によりデータの抽出精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T15:47:47Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• Prompting and Fine-Tuning of Small LLMs for Length-Controllable Telephone Call Summarization [33.67670065326008]
  本稿では,大規模言語モデル(LLM)を用いた電話要約システムの迅速な開発について検討する。 Llama-2-7Bの微調整による要約モデルでは,実測精度,完全性,簡潔性の観点から,GPT-4と同等に動作することがわかった。
  論文  参考訳（メタデータ） (2024-10-24T10:32:10Z)
• ToolFlow: Boosting LLM Tool-Calling Through Natural and Coherent Dialogue Synthesis [80.34000499166648]
  より関連性の高いツールの組み合わせをサンプリングするためのグラフベースのサンプリング戦略と、コヒーレントな対話の合成を導く計画を作成するための計画生成戦略を提案する。 ツールフローで生成した8000の合成対話を用いてLLaMA-3.1-8BにSFTを適用した。 その結果,GPT-4に匹敵するツールコール性能が得られた。
  論文  参考訳（メタデータ） (2024-10-24T05:45:04Z)
• Self-Boosting Large Language Models with Synthetic Preference Data [97.94185115047999]
  モデルアライメントのための合成選好データを活用する自己ブースティングパラダイムであるSynPOを紹介する。 4回のSynPOイテレーションの後、Llama3-8BとMistral-7Bは命令追従能力を大幅に強化した。 SynPO は様々なタスクにおける LLM の一般的な性能を改善し、よく認識された Open LLM のリーダーボード上で平均スコアが 3.2 から 5.0 に向上した。
  論文  参考訳（メタデータ） (2024-10-09T14:57:31Z)
• Synthetic Patient-Physician Dialogue Generation from Clinical Notes Using LLM [27.33193944412666]
  医療対話システム(MDS)は、患者と医師のコミュニケーションを強化し、医療のアクセシビリティを改善し、コストを削減する。 しかし、これらのシステムの訓練に適したデータを取得することは大きな課題である。 我々のアプローチであるSynDialは、ゼロショットプロンプトとフィードバックループを備えた単一のLLMを反復的に使用し、高品質な合成対話を生成する。
  論文  参考訳（メタデータ） (2024-08-12T16:49:22Z)
• Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
  本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。 このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。 提案手法は従来のSOTA(State-of-the-art)よりも優れている。
  論文  参考訳（メタデータ） (2023-06-16T13:04:56Z)
• Leveraging Non-dialogue Summaries for Dialogue Summarization [1.0742675209112622]
  要約データペアの文書化に変換を適用して,対話の要約に適したトレーニングデータを作成する。 我々は、我々のアプローチを検証するために、英語と韓国語の両方で広範な実験を行っている。
  論文  参考訳（メタデータ） (2022-10-17T23:34:31Z)
• Leveraging Historical Interaction Data for Improving Conversational Recommender System [105.90963882850265]
  アイテムと属性に基づく嗜好シーケンスを統合するための,新しい事前学習手法を提案する。 実世界の2つのデータセットの実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-08-19T03:43:50Z)
• Multimodal Semi-supervised Learning Framework for Punctuation Prediction in Conversational Speech [17.602098162338137]
  句読点予測のためのマルチモーダル半教師付き学習手法について検討する。 我々は大量の音声およびテキストデータから表現を学習する。 1時間分の音声とテキストデータをトレーニングすると、ベースラインモデルよりも9-18%の絶対的な改善が得られた。
  論文  参考訳（メタデータ） (2020-08-03T08:13:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。