論文の概要: CypherTurn: A Multi-Turn Benchmark for Conversational Text-to-Cypher Evaluation and the Autonomy Divergence

• arxiv url: http://arxiv.org/abs/2609.36987v1
• Date: Tue, 29 Sep 2026 08:21:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.316319
• Title: CypherTurn: A Multi-Turn Benchmark for Conversational Text-to-Cypher Evaluation and the Autonomy Divergence
• Title（参考訳）: CypherTurn: 対話型テキスト・to・Cypher評価のためのマルチTurnベンチマークと自律的多様性
• Abstract要約: 我々はCypherTurnを紹介した。CypherTurnは対話型テキスト・to・Cypher評価のための最初のベンチマークである。 導出オラクルプロトコルと完全自律エージェントプロトコルの下で15のモデルを評価する。 最高のモデルの実行精度は64.7%に過ぎず、セッションレベルの正確さは5%以下である。
• 参考スコア（独自算出の注目度）: 3.8631093598731585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph databases are increasingly queried through natural language, yet every existing benchmark evaluates isolated single-turn queries rather than the multi-turn sessions through which analysts actually work. We introduce CypherTurn, the first benchmark for conversational Text-to-Cypher evaluation, comprising 721 sessions and 5,927 turns across 7 knowledge graphs and 13 conversational phenomena. We evaluate 15 models under a guided oracle protocol and a fully autonomous agentic protocol, yielding four findings. First, the best model reaches only 64.7% execution accuracy, and session-level correctness remains below 5%. Second, despite strong overall rank correlation, frontier models exhibit a consequential reordering of the top of the leaderboard under autonomous operation, a phenomenon we term the Autonomy Divergence, which reveals error-management as a partially independent capability from raw generation skill. Third, scaling action budgets from x3 to x10 fails to close the autonomy gap, as the strongest frontier models self-limit to approximately two actions per turn regardless of available budget. Fourth, single-turn Cypher fine-tuning degrades multi-turn instruction following, while architecture-appropriate specialization outperforms several frontier models. These results establish CypherTurn as an open challenge for conversational graph database reasoning. Code and data are available at https://github.com/BarryQ/CypherTurn.
• Abstract（参考訳）: グラフデータベースは自然言語でクエリされることが多いが、既存のベンチマークはすべて、アナリストが実際に動作するマルチターンセッションではなく、孤立したシングルターンクエリを評価する。 CypherTurnは、721のセッションと5,927のターンが7つの知識グラフと13の会話現象にまたがる会話テキスト・ツー・Cypher評価のための最初のベンチマークである。 導出オラクルプロトコルと完全自律エージェントプロトコルの下で15のモデルを評価し,4つの結果を得た。 第一に、最良のモデルの実行精度は64.7%に過ぎず、セッションレベルの正確さは5%以下である。 第2に,フロンティアモデルでは,厳密な総合相関にもかかわらず,自律運転下でのリーダーボードの上部を連続的に並べ替える現象がみられた。 第3に、x3からx10までのアクション予算のスケーリングは、最強のフロンティアが、利用可能な予算に関わらず、1ターンに約2アクションに自己制限をモデル化するため、自律的なギャップを埋めることができない。 第4のシングルターンCypherファインチューニングは、次のマルチターン命令を劣化させ、アーキテクチャに適した特殊化は、いくつかのフロンティアモデルより優れている。 これらの結果はCypherTurnを対話型グラフデータベース推論のオープンな課題として位置づけている。 コードとデータはhttps://github.com/BarryQ/CypherTurn.comで公開されている。

関連論文リスト

• Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures [0.0]
  行動検証とエビデンス監視を備えたマルチターンデータセットを構築した。 データセットには、敵対的な会話、良性双生児、高リスク語彙の良性変異を含む1,762の会話が含まれている。 我々は、安全違反を予測する軽量な階層属性モデルをトレーニングし、それらがユーザのターンとトークンスパンに寄与しているとみなす。
  論文  参考訳（メタデータ） (2026-08-17T00:37:56Z)
• Three Roles, One Model: Role Orchestration at Inference Time to Close the Performance Gap Between Small and Large Agents [0.4666493857924357]
  複雑なマルチステップ環境において,推論時足場のみに追加のトレーニング計算を使わずに,小さなモデルの性能を向上させることができるかどうかを検討した。 我々は,AppWorldベンチマークのQwen3-8Bを,完全精度と4ビット量子化構成の両方で評価した。 本格的な推測では、私たちの足場付き8Bモデルは、オリジナルのAppWorld評価からDeepSeek-Coder 33Bインストラクション(7.1%)を上回っています。
  論文  参考訳（メタデータ） (2026-04-13T13:40:33Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
  大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。 既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。 マルチターン命令追従能力を評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-05T14:39:59Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models [70.92847554971065]
  MT-Evalは,マルチターン対話能力を評価するための総合的なベンチマークである。 人間のLLM会話を解析することにより,インタラクションパターンを,再現,拡張,洗練,フォローアップの4つのタイプに分類する。 11個の有名なLCMを評価したところ、クローズドソースモデルは一般的にオープンソースモデルを上回るが、特定のタスクにおいて特定のオープンソースモデルの方がGPT-3.5-Turboを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-01-30T04:50:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。