論文の概要: ToolDial: Multi-turn Dialogue Generation Method for Tool-Augmented Language Models
- arxiv url: http://arxiv.org/abs/2503.00564v1
- Date: Sat, 01 Mar 2025 17:23:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:20:34.075609
- Title: ToolDial: Multi-turn Dialogue Generation Method for Tool-Augmented Language Models
- Title（参考訳）: ToolDial: ツール拡張言語モデルのためのマルチターン対話生成法
- Authors: Jeonghoon Shim, Gyuhyeon Seo, Cheongsu Lim, Yohan Jo,
- Abstract要約: 我々は,RapidAPIのAPIに基づいて,対話毎に平均8.95回転する11,111のマルチターン対話からなるデータセットであるToolDialをリリースした。
システムから必要な情報をAPIドキュメントに基づいて要求する対話をシミュレートし,必要な情報の提供に失敗した場合に追加のAPIを求める。
我々は,正しい動作を予測し,対話履歴からAPI呼び出しの入力パラメータ値を抽出する言語モデル群を評価する。
- 参考スコア（独自算出の注目度）: 1.82618237315022
- License:
- Abstract: Tool-Augmented Language Models (TALMs) leverage external APIs to answer user queries across various domains. However, existing benchmark datasets for TALM research often feature simplistic dialogues that do not reflect real-world scenarios, such as the need for models to ask clarifying questions or proactively call additional APIs when essential information is missing. To address these limitations, we construct and release ToolDial, a dataset comprising 11,111 multi-turn dialogues, with an average of 8.95 turns per dialogue, based on APIs from RapidAPI. ToolDial has two key characteristics. First, the dialogues incorporate 16 user and system actions (e.g., "Request", "Clarify", "Fail inform") to capture the rich dynamics of real-world interactions. Second, we simulate dialogues where the system requests necessary information from the user based on API documentation and seeks additional APIs if the user fails to provide the required information. To facilitate this process, we introduce a method for generating an API graph that represents input and output compatibility between APIs. Using ToolDial, we evaluate a suite of language models on their ability to predict correct actions and extract input parameter values for API calls from the dialogue history. Modern language models achieve accuracy scores below 70%, indicating substantial room for improvement. We release our dataset and code at https://github.com/holi-lab/ToolDial.
- Abstract（参考訳）: Tool-Augmented Language Models (TALMs)は、外部APIを活用して、さまざまなドメインにわたるユーザクエリに応答する。
しかし、TALM研究のための既存のベンチマークデータセットでは、明確な質問をしたり、重要な情報が欠落している場合に積極的に追加のAPIを呼び出すモデルの必要性など、現実のシナリオを反映しない単純化された対話が特徴であることが多い。
これらの制限に対処するため,我々は,RapidAPIのAPIに基づいて,対話あたり平均8.95ターンの11,111のマルチターン対話からなるデータセットであるToolDialを構築し,リリースする。
ToolDialには2つの重要な特徴がある。
まず、対話には16のユーザアクションとシステムアクション(例えば、"Request"、"Clarify"、"Fail inform")が組み込まれ、現実世界のインタラクションのリッチなダイナミクスを捉える。
次に,APIドキュメンテーションに基づいてユーザから必要な情報を要求する対話をシミュレートし,必要な情報の提供に失敗した場合に追加のAPIを求める。
このプロセスを容易にするために,API間のインプットとアウトプットの互換性を表すAPIグラフを生成する手法を提案する。
ToolDialを用いて、正しい動作を予測し、対話履歴からAPI呼び出しの入力パラメータ値を抽出する言語モデル群を評価する。
現代の言語モデルは70%未満の精度を達成しており、改善の余地がかなりあることを示している。
データセットとコードはhttps://github.com/holi-lab/ToolDial.comで公開しています。
関連論文リスト
- ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。
我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
論文 参考訳（メタデータ） (2024-09-02T03:19:56Z) - Interpreting User Requests in the Context of Natural Language Standing
Instructions [89.12540932734476]
我々は17のドメインにまたがる2.4K以上の対話からなる言語とプログラムのデータセットであるNLSIを開発した。
NLSIの鍵となる課題は、ある対話に適用可能なスタンディング命令のサブセットを特定することである。
論文 参考訳（メタデータ） (2023-11-16T11:19:26Z) - SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented
Dialogue Agents [72.42049370297849]
SpokenWOZは音声TODのための大規模音声テキストデータセットである。
SpokenWOZでは、クロスターンスロットと推論スロット検出が新たな課題である。
論文 参考訳（メタデータ） (2023-05-22T13:47:51Z) - q2d: Turning Questions into Dialogs to Teach Models How to Search [11.421839177607147]
質問から情報検索ダイアログを生成する自動データ生成パイプラインであるq2dを提案する。
検索クエリによる人書きダイアログに依存する従来の手法とは異なり,提案手法では,より優れた制御とスケールで,クエリベースの基底ダイアログを自動的に生成することができる。
論文 参考訳（メタデータ） (2023-04-27T16:39:15Z) - Dialog2API: Task-Oriented Dialogue with API Description and Example
Programs [57.336201096903466]
タスク指向対話のための新しいパラダイム、Dialog2APIを導入し、機能を大幅に拡張し、シームレスな対話体験を提供する。
また、対話ポリシーを管理し、適切な自然言語応答を生成することでユーザと対話する。
Dialog2APIは、ソフトウェア自動化やカスタマーサービスなど、多くのアプリケーションシナリオで動作する。
論文 参考訳（メタデータ） (2022-12-20T01:52:46Z) - CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog
Evaluation [75.60156479374416]
CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。
96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。
学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
論文 参考訳（メタデータ） (2022-11-21T16:21:41Z) - GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。
GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。
評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文 参考訳（メタデータ） (2022-06-22T18:19:32Z) - NeuralWOZ: Learning to Collect Task-Oriented Dialogue via Model-Based
Simulation [13.943378554273377]
本稿では,モデルに基づく対話シミュレーションを用いた対話収集フレームワークNeuralWOZを提案する。
収集者は(1)ユーザの目標指示(自然言語におけるユーザコンテキストとタスク制約)と(2)システムのAPI呼び出し結果から対話を生成する。
ラベルラは、アノテーションを複数選択問題として定式化し、目標指示とAPI呼び出し結果から候補ラベルを抽出することにより、生成された対話に注釈を付ける。
論文 参考訳（メタデータ） (2021-05-30T07:54:54Z) - TicketTalk: Toward human-level performance with end-to-end,
transaction-based dialog systems [10.659519248703273]
トランザクションベースの対話システムに対するデータ駆動型エンドツーエンドアプローチを提案する。
本システムは,音声応答品質と実感的グラウンドリング精度の観点から,ほぼ人間レベルで動作することを示す。
我々は23,789の注釈付き会話を含む映画チケットダイアログデータセットであるTicketTalkを紹介した。
論文 参考訳（メタデータ） (2020-12-23T02:43:37Z) - Dialog Simulation with Realistic Variations for Training Goal-Oriented
Conversational Systems [14.206866126142002]
ゴール指向のダイアログシステムにより、ユーザーは映画に関する情報をリクエストしたり、チケットを予約したりといった特定の目標を達成することができる。
本稿では,注釈付きダイアログとダイアログスキーマから,注釈付きダイアログの大規模なコーパスを自動生成する手法を提案する。
ベースラインダイアログ生成手法と比較して,ホールドアウトテストセットの50%の相対精度を実現した。
論文 参考訳（メタデータ） (2020-11-16T19:39:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。