論文の概要: ToolTurns: Benchmarking LLM Agents in Multi-Turn Dialogue
- arxiv url: http://arxiv.org/abs/2611.14925v1
- Date: Wed, 11 Nov 2026 02:27:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.983618
- Title: ToolTurns: Benchmarking LLM Agents in Multi-Turn Dialogue
- Title(参考訳): ToolTurns:多言語対話におけるLLMエージェントのベンチマーク
- Abstract要約: ToolTurnsは1,827のツールと11,004のAPIエンドポイントにまたがる2,620の問題のベンチマークである。
各対話は意図的でない要求から始まり、2つのコンテキスト依存のフォローアップを継続する。
また、対話を通じて保持されていないコンテキストを明らかにし、フォローアップ要求を生成するオープンソースのユーザシミュレータも導入する。
- 参考スコア(独自算出の注目度): 13.096735531861853
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tool-using language models are increasingly deployed in conversational settings, yet most large-scale tool-use benchmarks focus on isolated requests. We introduce ToolTurns, a benchmark of 2,620 problems spanning 1,827 tools and 11,004 API endpoints across 47 categories. Each dialogue begins with an intentionally underspecified request and continues through two context-dependent follow-ups, testing clarification, tool use, and retention of conversational context. We also introduce an open-source user simulator that reveals withheld context through dialogue and generates follow-up requests, with a checker--fixer pipeline for improving its turns. Across nine language models, the best agent resolves 69.6% of individual requests but completes only 39.8% of full dialogues. Under this evaluation protocol, every evaluated model receives lower success scores on follow-up requests than on the initial request, and dialogue-quality rubric scores and task success can rank models very differently. Paired turn-level evaluation shows that the checker--fixer reduces detected dialogue defects, and blind human evaluation favors the revised turns. ToolTurns provides a testbed for evaluating whether agents sustain task success across multi-turn dialogue with tools.
- Abstract(参考訳): ツール使用言語モデルは、対話的な設定でデプロイされることが多いが、ほとんどの大規模ツール使用ベンチマークは、分離された要求に重点を置いている。
47のカテゴリにまたがる1,827のツールと11,004のAPIエンドポイントにまたがる2,620の問題のベンチマークであるToolTurnsを紹介した。
それぞれの対話は意図的でない要求から始まり、コンテキストに依存した2つのフォローアップ、テストの明確化、ツールの使用、会話コンテキストの保持を継続する。
また,対話を通じて保持されていないコンテキストを明らかにしてフォローアップ要求を生成する,オープンソースのユーザシミュレータも導入し,そのターンを改善するためのチェッカー・フィックス・パイプラインを構築した。
9つの言語モデル全体で、最高のエージェントは個々の要求の69.6%を解決しているが、完全な対話の39.8%しか完了していない。
この評価プロトコルの下では、各評価モデルが初期要求よりもフォローアップ要求よりも低い成功スコアを受信し、対話品質の高いルーリックスコアとタスク成功スコアはモデルに非常に異なるランク付けを行うことができる。
Paired turn-level Evaluationでは、チェッカー固定器は検出された対話欠陥を低減し、盲人評価は修正されたターンを好んでいる。
ToolTurnsは、エージェントがツールとのマルチターン対話でタスクの成功を支えているかどうかを評価するためのテストベッドを提供する。
関連論文リスト
- MTVA-Bench: Evaluating the Language Model Inside Cascaded Voice Agents [0.7611870296994722]
そこで, MTVA-Bench (Multi-Turn Voice Agent Benchmark) を提案する。
ベンチマークには49のエージェントが含まれ、レビューされた490のシナリオで動作し、7つの言語をサポートする。
7つのモデルによる調査では、6つのモデルがそれぞれの6.4ポイント以内で正しいツールを選択するが、全体的なスコアは24.4ポイントである。
論文 参考訳(メタデータ) (2026-09-17T12:44:03Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-05T14:39:59Z) - CONFETTI: Conversational Function-Calling Evaluation Through Turn-Level Interactions [13.550975153842632]
大規模言語モデル(LLM)の機能呼び出し機能と応答品質を評価するための対話型ベンチマークを提案する。
CONFETTIはこのギャップを109の人間シミュレーションによる会話を通じて解決し、313のユーザターンと86のAPIをカバーする。
我々は、一連の最先端のLCMを評価し、利用可能なAPIの数、会話の長さ、連鎖関数呼び出しについて、それらの性能を分析した。
論文 参考訳(メタデータ) (2025-06-02T16:48:11Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳(メタデータ) (2025-03-11T17:53:02Z) - FunctionChat-Bench: Comprehensive Evaluation of Language Models' Generative Capabilities in Korean Tool-use Dialogs [4.406769771178207]
本研究では,ツール・ユース・ダイアログにおける言語モデルの生成能力について検討する。
ツールコール,Answer Completion,Slot Question,Relevance Detectionの4種類に分類した。
このベンチマークを用いて,関数呼び出しをサポートする複数の言語モデルを評価する。
論文 参考訳(メタデータ) (2024-11-21T11:59:13Z) - Synthetic Dialogue Dataset Generation using LLM Agents [7.933485970511388]
我々は,会話エージェントとして機能するエージェントと,ユーザとして機能するエージェントを2つ開発する。
ユーザが利用できるNL4Optからの線形問題に関するテキスト記述のセットを使用して、エージェントとユーザは、元の問題記述からすべてのキー情報を取得するまで会話を行う。
我々は,人間の評価指標を再現するためにGPT-4を用いた評価手法を含む,人的および自動評価を行う。
論文 参考訳(メタデータ) (2024-01-30T21:49:30Z) - GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。
GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。
評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文 参考訳(メタデータ) (2022-06-22T18:19:32Z) - Actionable Conversational Quality Indicators for Improving Task-Oriented
Dialog Systems [2.6094079735487994]
本稿では、ACQI(Actionable Conversational Quality Indicator)の使用について紹介し、解説する。
ACQIは、改善可能なダイアログの一部を認識し、改善する方法を推奨するために使用される。
本稿では、商用顧客サービスアプリケーションで使用されるLivePersonの内部ダイアログシステムにおけるACQIの使用の有効性を示す。
論文 参考訳(メタデータ) (2021-09-22T22:41:42Z) - A Simple Language Model for Task-Oriented Dialogue [61.84084939472287]
SimpleTODはタスク指向対話に対する単純なアプローチであり、すべてのサブタスクのリキャストで訓練された単一因果言語モデルを単一シーケンス予測問題として利用する。
これによりSimpleTODは、事前訓練されたオープンドメイン、GPT-2のような因果言語モデルからのトランスファー学習を完全に活用できる。
論文 参考訳(メタデータ) (2020-05-02T11:09:27Z) - Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。
提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
論文 参考訳(メタデータ) (2020-05-01T20:01:39Z) - Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。
提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。
本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
論文 参考訳(メタデータ) (2020-04-29T11:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。