論文の概要: PIPE-Cypher: Automatic Enterprise Benchmark Generation for Text-to-Cypher Systems
- arxiv url: http://arxiv.org/abs/2606.08481v1
- Date: Sun, 07 Jun 2026 06:53:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.136693
- Title: PIPE-Cypher: Automatic Enterprise Benchmark Generation for Text-to-Cypher Systems
- Title（参考訳）: PIPE-Cypher:テキスト対暗号システムのための自動エンタープライズベンチマーク生成
- Authors: Suraj Ranganath, Anish Raghavendra,
- Abstract要約: PIPE-Cypherは、ライブプロパティグラフとオプションのシードクエリをバランスの取れたNL-to-Cypherベンチマークに変換する、ベンチマーク生成パイプラインである。
PIPE-Cypher がFinBench/SNB の例を3,000 個エクスポートし、3 つの監査されたアブレーションスイートを完了し、人間のラベルによる判断行動を校正し、11 つのローカルダウンストリームモデルを評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise property graphs vary widely in schema structure, internal terminology, domain assumptions, governance constraints, and user interaction patterns. A deployment-relevant Text2Cypher benchmark therefore reflects the questions users and agents actually ask of that graph. Creating such a benchmark is difficult because schemas and values are unique, and graph structure changes over time. Each NL-query pair must also be executable, use real graph entities, preserve diversity, and remain balanced across query types and difficulty levels. We present PIPE-Cypher, a local benchmark-generation pipeline that turns a live property graph and optional seed queries from customer questions, analyst logs, or agent tool calls into balanced NL-to-Cypher benchmarks. PIPE-Cypher combines schema profiling, reverse-query grounding, constrained generation, deterministic Cypher governance, execution validation, redaction, diversity controls, and a calibrated local LLM judge. Using local Qwen3.5-9B generation and judging, PIPE-Cypher exports 3,000 accepted FinBench/SNB examples, completes three audited ablation suites, calibrates judge behavior with human labels, and evaluates 11 local downstream models. The resulting benchmark is deliberately discriminative: zero-shot transfer is weak, while a few-shot control shows that schema-specific example banks can help compatible model families. Together, PIPE-Cypher makes Text2Cypher benchmarking a repeatable process that evolves with the graph, its users, and its target workloads.
- Abstract（参考訳）: エンタープライズプロパティグラフは、スキーマ構造、内部用語、ドメインの前提、ガバナンスの制約、ユーザーインタラクションパターンで大きく異なります。
したがって、デプロイメントに関連するText2Cypherベンチマークは、ユーザやエージェントが実際にそのグラフを問う質問を反映している。
このようなベンチマークを作成するのは、スキーマと値がユニークで、グラフ構造が時間とともに変化するため、難しい。
各NL-クエリペアは実行可能で、実際のグラフエンティティを使用し、多様性を保持し、クエリタイプと難易度の間でバランスを保たなければならない。
PIPE-Cypherは,ユーザの質問やアナリストログ,エージェントツールコールからライブプロパティグラフとオプションのシードクエリを,バランスの取れたNL-to-Cypherベンチマークに変換する,ローカルなベンチマーク生成パイプラインである。
PIPE-Cypherは、スキーマプロファイリング、リバースクエリのグラウンディング、制約付き生成、決定論的Cypherガバナンス、実行検証、リアクション、ダイバーシティコントロール、調整されたローカルLLMジャッジを組み合わせる。
ローカルQwen3.5-9B生成と判定を用いて、PIPE-Cypherは3000個のFinBench/SNBサンプルをエクスポートし、3つの監査されたアブレーションスイートを完了し、人間のラベルで判断動作を校正し、11個のローカルダウンストリームモデルを評価する。
ゼロショット転送は弱いが、数ショットの制御ではスキーマ固有のサンプルバンクがモデルファミリとの互換性を助長できることが示されている。
PIPE-Cypherと組み合わせることで、Text2Cypherベンチマークは、グラフ、ユーザ、ターゲットワークロードとともに進化する、繰り返し可能なプロセスになる。
関連論文リスト
- BADGER: Bridging Agentic and Deterministic Evaluation for Generative Enterprise Reasoning [0.8681424810073922]
BADGERはテキスト・ツー・アセスメントとエージェント動作評価を統合した統合フレームワークである。
BADGERは、クライアントが管理するデータ環境内で完全に動作します。
クライアント固有の判断とメトリクスの迅速なプロトタイピングをサポートする。
論文 参考訳（メタデータ） (2026-06-01T11:42:37Z) - TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories [61.51984029109709]
グラフベースのフレームワークであるTraceGraphを紹介した。
各タスクに対して、TraceGraphは、モデルIDが導入される前に、プールされたロールアウトから観測可能なアクション・オブザーブレーション状態のグラフを構築する。
次に、結果インフォームされた生産的なコアとトラップリージョンをオーバーレイし、各ロールアウトを3つのイベント – アクセス、トラップ露出、修復 – で要約する。
論文 参考訳（メタデータ） (2026-05-29T13:40:31Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - EGREFINE: An Execution-Grounded Optimization Framework for Text-to-SQL Schema Refinement [10.675982676332941]
既存のアプローチでは、スキーマを固定として扱い、下流でエラーに対処する。
我々は、制約付き最適化問題としてスキーマの洗練を枠組み化した。
この問題の計算硬度を解析し、カラムワイドグリーディ分解を動機付ける。
論文 参考訳（メタデータ） (2026-05-01T13:01:59Z) - AgentSkiller: Scaling Generalist Agent Intelligence through Semantically Integrated Cross-Domain Data Synthesis [30.512393568258105]
大規模言語モデルエージェントは、ツールを介して現実世界の問題を解決する可能性を実証するが、汎用的な知性は、質の低い長期データによってボトルネックとなる。
本稿では,現実的なセマンティックなドメイン間でのマルチターンインタラクションデータを合成する,完全に自動化されたフレームワークであるAgentSkillerを提案する。
論文 参考訳（メタデータ） (2026-02-10T03:21:42Z) - PROFASR-BENCH: A Benchmark for Context-Conditioned ASR in High-Stakes Professional Speech [0.0]
ProfASR-Benchは、金融、医療、法律、技術全般にわたる高度な応用のためのプロフェッショナルトーク評価スイートである。
それぞれの例は、自然言語プロンプトとエンティティリッチなターゲット発話をペアリングし、コンテキスト条件認識の制御された計測を可能にする。
論文 参考訳（メタデータ） (2025-12-29T18:43:23Z) - KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering [64.62317305868264]
テキスト模倣から強化学習によるインタラクション最適化へパラダイムをシフトするフレームワークである textbfKBQA-R1 を提案する。
KBQAを多ターン決定プロセスとして扱うことで,行動のリストを用いて知識ベースをナビゲートすることを学ぶ。
WebQSP、GrailQA、GraphQuestionsの実験では、KBQA-R1が最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-12-10T17:45:42Z) - Multi-Agent GraphRAG: A Text-to-Cypher Framework for Labeled Property Graphs [7.943264761730892]
Multi-Agent GraphRAGはLPGベースのグラフデータに対する自然言語インタフェースとして機能する。
繰り返しコンテンツ認識の修正と正規化は、集約されたフィードバックループによって強化され、生成されたクエリのセマンティックおよび構文的改善の両方を保証する。
このことは、このようなアプローチがAIを大規模に現実世界のアプリケーションにブリッジする方法を強調し、産業用デジタル自動化のユースケースを可能にしている。
論文 参考訳（メタデータ） (2025-11-11T14:04:00Z) - Follow the Flow: Fine-grained Flowchart Attribution with Neurosymbolic Agents [106.04963073116468]
フローチャートは意思決定プロセスを視覚化するための重要なツールです。
視覚言語モデルは、これらの図を分析する際に、存在しない接続や決定経路を幻覚させる。
LLM応答を参照してフローチャートを接地する特定の成分をトレースするフローチャートについて紹介する。
本稿では, グラフベースの推論により微細なホック帰属を行うニューロシンボリック・エージェントであるFlowPathAgentを提案する。
論文 参考訳（メタデータ） (2025-06-02T06:02:41Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。