論文の概要: PFDial: A Structured Dialogue Instruction Fine-tuning Method Based on UML Flowcharts
- arxiv url: http://arxiv.org/abs/2503.06706v1
- Date: Sun, 09 Mar 2025 17:43:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:53:15.349062
- Title: PFDial: A Structured Dialogue Instruction Fine-tuning Method Based on UML Flowcharts
- Title（参考訳）: PFDial:UMLフローチャートに基づく構造化対話命令微調整法
- Authors: Ming Zhang, Yuhui Wang, Yujiong Shen, Tingyi Yang, Changhao Jiang, Yilong Wu, Shihan Dou, Qinhao Chen, Zhiheng Xi, Zhihao Zhang, Yi Dong, Zhen Wang, Zhihui Fei, Mingyang Wan, Tao Liang, Guojun Ma, Qi Zhang, Tao Gui, Xuanjing Huang,
- Abstract要約: このデータセットは、5,055のプロセスノードを含む440のフローチャートから派生した12,705の高品質な中国語対話命令を含む。
PlantUML仕様に基づいて、各フローチャートはアトミックな対話ユニット、すなわち構造化された5タプルに変換される。
実験結果から, たった800サンプルでトレーニングした7Bモデルと, 全データでトレーニングした0.5Bモデルが90%以上の精度を達成できた。
- 参考スコア（独自算出の注目度）: 47.18738316044761
- License:
- Abstract: Process-driven dialogue systems, which operate under strict predefined process constraints, are essential in customer service and equipment maintenance scenarios. Although Large Language Models (LLMs) have shown remarkable progress in dialogue and reasoning, they still struggle to solve these strictly constrained dialogue tasks. To address this challenge, we construct Process Flow Dialogue (PFDial) dataset, which contains 12,705 high-quality Chinese dialogue instructions derived from 440 flowcharts containing 5,055 process nodes. Based on PlantUML specification, each UML flowchart is converted into atomic dialogue units i.e., structured five-tuples. Experimental results demonstrate that a 7B model trained with merely 800 samples, and a 0.5B model trained on total data both can surpass 90% accuracy. Additionally, the 8B model can surpass GPT-4o up to 43.88% with an average of 11.00%. We further evaluate models' performance on challenging backward transitions in process flows and conduct an in-depth analysis of various dataset formats to reveal their impact on model performance in handling decision and sequential branches. The data is released in https://github.com/KongLongGeFDU/PFDial.
- Abstract（参考訳）: プロセス駆動対話システムは、厳格に定義されたプロセス制約の下で動作し、顧客サービスや機器のメンテナンスシナリオにおいて不可欠である。
大きな言語モデル(LLM)は、対話と推論の顕著な進歩を示しているが、これらの厳密な制約のある対話タスクを解決するのに依然として苦労している。
この課題に対処するために,5,055個のプロセスノードを含む440個のフローチャートから派生した12,705個の高品質な中国語対話命令を含むプロセスフロー対話(PFDial)データセットを構築した。
PlantUML仕様に基づいて、各UMLフローチャートはアトミックな対話ユニット、すなわち構造化された5タプルに変換される。
実験結果から, たった800サンプルでトレーニングした7Bモデルと, 全データでトレーニングした0.5Bモデルが90%以上の精度を達成できた。
さらに、8BモデルはGPT-4oを43.88%まで上回り、平均は11.00%である。
さらに、プロセスフローの後方遷移に挑戦するモデルの性能を評価し、様々なデータセットフォーマットの詳細な分析を行い、決定処理や逐次分岐処理におけるモデル性能への影響を明らかにする。
データはhttps://github.com/KongLongGeFDU/PFDialで公開されている。
関連論文リスト
- ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。
我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
論文 参考訳（メタデータ） (2024-09-02T03:19:56Z) - TS-Align: A Teacher-Student Collaborative Framework for Scalable Iterative Finetuning of Large Language Models [41.19735603722873]
TS-Align"フレームワークは、その出力から自動的に抽出されるペアのフィードバックデータを使用してポリシーモデルを微調整する。
最終調整方針は, 平均勝利率69.7%で基本方針モデルを上回っていることを示す。
論文 参考訳（メタデータ） (2024-05-30T16:17:40Z) - TOD-Flow: Modeling the Structure of Task-Oriented Dialogues [77.15457469745364]
ダイアログを付加した対話データからTOD-Flowグラフを推定する手法を提案する。
推定されたTOD-Flowグラフは、任意の対話モデルと容易に統合することができ、予測性能、透明性、制御性を改善することができる。
論文 参考訳（メタデータ） (2023-12-07T20:06:23Z) - Application of frozen large-scale models to multimodal task-oriented
dialogue [0.0]
既存のLarge Language Models ENnhanced to See Framework(LENS Framework)を使用して、マルチモーダルタスク指向対話の実現可能性をテストする。
LENS Frameworkは、追加のトレーニングや事前訓練されたモデルの固定パラメータなしでコンピュータビジョンタスクを解く方法として提案されている。
論文 参考訳（メタデータ） (2023-10-02T01:42:28Z) - How Far Can Camels Go? Exploring the State of Instruction Tuning on Open
Resources [117.6496550359768]
この研究は、オープンな命令追従データセットにおける命令チューニング言語モデルの最近の進歩を探求する。
我々は、12の命令データセットに基づいて訓練された6.7Bから65Bのパラメータを含む、命令調整されたモデルの大規模なセットを提供する。
それらの事実的知識、推論、多言語性、コーディング、そしてその後に続くオープン・エンド・インストラクションに基づいて評価する。
論文 参考訳（メタデータ） (2023-06-07T19:59:23Z) - Scaling Instruction-Finetuned Language Models [126.4789306516927]
命令として表現されたデータセットの集合上での言語モデルの微調整は、モデル性能を改善することが示されている。
命令の微調整により,様々なモデルクラスの性能が劇的に向上することがわかった。
論文 参考訳（メタデータ） (2022-10-20T16:58:32Z) - Logical Reasoning for Task Oriented Dialogue Systems [57.440956636333325]
本稿では,ロバータやT5などの変圧器モデルに対して,与えられた対話コンテキストにおける事実の集合を推論する新しい手法を提案する。
本手法は,モデルが論理関係を学習するのに役立つ合成データ生成機構を含む。
対話コンテキストが全ての必要な情報を含む場合、変換器に基づくモデルが論理的推論を行い、質問に答えることを示す。
論文 参考訳（メタデータ） (2022-02-08T21:46:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。