論文の概要: ConsistentChat: Building Skeleton-Guided Consistent Dialogues for Large Language Models from Scratch

• arxiv url: http://arxiv.org/abs/2506.03558v1
• Date: Wed, 04 Jun 2025 04:21:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.149328
• Title: ConsistentChat: Building Skeleton-Guided Consistent Dialogues for Large Language Models from Scratch
• Title（参考訳）: ConsistentChat: Scratchによる大規模言語モデルのためのSkeleton-Guided Consistent Dialogueの構築
• Authors: Jiawei Chen, Xinyan Guan, Qianhao Yuan, Guozhao Mo, Weixiang Zhou, Yaojie Lu, Hongyu Lin, Ben He, Le Sun, Xianpei Han,
• Abstract要約: Skeleton-Guided Multi-Turn Dialogue Generationは、人間の意図を明示的にモデル化することで、マルチターン命令合成を制約する。 約15,000のマルチターン会話と224,392の発話を持つマルチターン命令データセットであるConsistentChatを構築した。 Light, Topdial, MT-Evalベンチマークの実験では、ConsistentChatで微調整されたモデルでは、チャットの一貫性が20～30%向上し、タスクの成功率が15%向上している。
• 参考スコア（独自算出の注目度）: 45.41011628745296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current instruction data synthesis methods primarily focus on single-turn instructions and often neglect cross-turn coherence, resulting in context drift and reduced task completion rates in extended conversations. To address this limitation, we propose Skeleton-Guided Multi-Turn Dialogue Generation, a framework that constrains multi-turn instruction synthesis by explicitly modeling human conversational intent. It operates in two stages: (1) Intent Modeling, which captures the global structure of human dialogues by assigning each conversation to one of nine well-defined intent trajectories, ensuring a coherent and goal-oriented information flow; and (2) Skeleton Generation, which constructs a structurally grounded sequence of user queries aligned with the modeled intent, thereby serving as a scaffold that constrains and guides the downstream instruction synthesis process. Based on this process, we construct ConsistentChat, a multi-turn instruction dataset with approximately 15,000 multi-turn conversations and 224,392 utterances. Experiments on the Light, Topdial, and MT-Eval benchmarks show that models fine-tuned on ConsistentChat achieve a 20-30% improvement in chat consistency and up to a 15% increase in task success rate, significantly outperforming models trained on existing single-turn and multi-turn instruction datasets.
• Abstract（参考訳）: 現在の命令データ合成法は、主にシングルターン命令に焦点を当て、しばしばクロスターンコヒーレンスを無視する。 この制限に対処するために,人間の会話意図を明示的にモデル化し,マルチターン命令合成を制限するフレームワークであるSkeleton-Guided Multi-Turn Dialogue Generationを提案する。 1)会話を9つの明確に定義された意図軌跡の1つに割り当て、コヒーレントで目標指向の情報の流れを確保することによって、人間の対話のグローバルな構造を捉え、(2)モデル化された意図に整合したユーザークエリの構造的基底配列を構成するスケルトン生成を行い、下流の命令合成プロセスを制約しガイドする足場として機能する。 このプロセスに基づいて、約15,000のマルチターン会話と224,392の発話を持つマルチターン命令データセットであるConsistentChatを構築する。 Light, Topdial, MT-Evalのベンチマークでは、ConsistentChatで微調整されたモデルでは、チャット一貫性が20～30%向上し、タスク成功率が15%向上し、既存のシングルターンとマルチターンの命令データセットでトレーニングされたモデルよりも大幅に向上したことが示されている。

関連論文リスト

• Dynamic-SUPERB: Towards A Dynamic, Collaborative, and Comprehensive Instruction-Tuning Benchmark for Speech [107.81472531864195]
  テキスト言語モデルは、よく整形された命令が与えられたときに、目に見えないタスクに一般化する際、顕著なゼロショット能力を示している。 ゼロショット方式で複数のタスクを実行するための命令チューニングを活用できるユニバーサル音声モデルを構築するためのベンチマークであるDynamic-SUPERBを提案する。
  論文  参考訳（メタデータ） (2023-09-18T06:43:30Z)
• Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
  本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。 我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。 我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-06T19:17:47Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
  本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。 我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。 本手法は, 客観的評価では3位, 最終公式評価では2位である。
  論文  参考訳（メタデータ） (2022-03-08T12:26:57Z)
• Structure-Aware Abstractive Conversation Summarization via Discourse and Action Graphs [22.58861442978803]
  より正確で正確な会話要約のために、会話の豊富な構造を明示的にモデル化することを提案する。 発話とアクショントリプル間の会話関係を構造化されたグラフを通して表現し、会話をよりよくエンコードする。 実験により,提案したモデルは最先端の手法より優れ,他の領域でよく一般化されていることが示された。
  論文  参考訳（メタデータ） (2021-04-16T23:04:52Z)
• Multi-View Sequence-to-Sequence Models with Conversational Structure for Abstractive Dialogue Summarization [72.54873655114844]
  テキスト要約は、NLPにおいて最も困難で興味深い問題の1つである。 本研究では、まず、異なる視点から構造化されていない日々のチャットの会話構造を抽出し、会話を表現するマルチビューシーケンス・ツー・シーケンスモデルを提案する。 大規模対話要約コーパスの実験により,本手法は,自動評価と人的判断の両面から,従来の最先端モデルよりも有意に優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-04T20:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。