論文の概要: What Drives Recovery in Agentic Text-to-Cypher? LAST-CQ: An LLM Agent Self-Refinement Framework
- arxiv url: http://arxiv.org/abs/2609.12746v1
- Date: Fri, 11 Sep 2026 11:47:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.733979
- Title: What Drives Recovery in Agentic Text-to-Cypher? LAST-CQ: An LLM Agent Self-Refinement Framework
- Title(参考訳): LAST-CQ: LLMエージェント・セルフリファインメントフレームワーク
- Abstract要約: LAST-CQは5エージェント、トレーニング不要、実行ベースとしたText-to-Cypherフレームワークである。
私たちは2,471件のライブデータベースクエリと3つのベンダースケール層にまたがる6つのバックボーンで3つのカウンタファクトを実行しています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic pipelines for structured-query generation are rapidly expanding, but it is unclear which part of the loop produces the gain. We use LAST-CQ -- a five-agent, training-free, execution-grounded Text-to-Cypher framework -- as an instrumented testbed, running three counterfactuals over 2,471 live-database queries and six backbones spanning three vendor scale tiers. Removing correction is worth between 3.1% aggregate execution-BLEU against the single-pass system and 12.3% against a no-refinement counterfactual (up to 80.7% for the weakest backbone). Replacing schema-grounded, LLM-synthesised feedback with raw database error strings costs almost nothing (20.9% vs. 19.9% naive exact match; <0.2% end-to-end; equivalent within $\pm 0.075$ set-F1 by two one-sided tests). Spending the same call budget on parallel sampling degrades quality by 10-11%. What works is detecting failure and routing it to a retry, not the feedback sophistication or number of samples. LAST-CQ itself recovers 91.7% of queries that fail under single-pass generation, while a query that succeeds first time still costs exactly one LLM call. We also show that n-gram overlap on serialised results is not a bound in either direction: it over-scores against set equivalence on 65.9% of results while under-scoring against judged semantics. Finally, we calibrate our LLM judge against blind human labels and find it optimistic by 9 points.
- Abstract(参考訳): 構造化クエリ生成のためのエージェントパイプラインは急速に拡大している。
LAST-CQ - 5エージェントでトレーニング不要で、実行ベースであるText-to-Cypherフレームワーク - を、計器的なテストベッドとして使用し、2,471のライブデータベースクエリと3つのベンダースケール層にまたがる6つのバックボーンで3つのカウンタファクトを実行しています。
修正はシングルパスシステムに対して3.1%の集合的実行-BLEUと、非リファクト(最も弱いバックボーンでは最大80.7%)に対する12.3%の間に価値がある。
スキーマを基底としたLLM合成の生のデータベースエラー文字列へのフィードバックはほとんどコストがかからない(20.9%対19.9%の単純一致、<0.2%のエンドツーエンド;$\pm 0.075$ set-F1 の片側テストで同等)。
並列サンプリングで同じコール予算を設定すれば、品質は10-11%低下する。
機能するのは、失敗を検出してリトライにルーティングすることであって、フィードバックの洗練やサンプルの数ではありません。
LAST-CQ自体は、シングルパス生成時にフェールするクエリの91.7%をリカバリする。
また、直列化結果のn-gramオーバーラップはいずれの方向も有界ではなく、65.9%の結果に対して集合同値に対してオーバースコアし、判定された意味論に対してアンダースコアする。
最後に,LLM審査員を盲人ラベルに対して校正し,9ポイント楽観的に評価した。
関連論文リスト
- Your Retriever Already Knows: Distribution-Shape QPP for RAG Retrieval Sufficiency [0.0]
チェコの核レギュレータの展開を動機として,RAGにおける検索効率向上のためのクエリ性能予測(QPP)パラダイムを3つ比較した。
我々の24の非語彙機能は、古典的なQPP文学プールの前に、クエリあたり2msで0.856の重み付き平均AUROCに達する。
LLM判定を1つの特徴(ハイブリッド)として加えると、ViDoRe(0.863)ではS1と一致するが、SJBでは統計的に有意なエッジが得られる。
論文 参考訳(メタデータ) (2026-09-10T14:52:16Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline [0.0]
本稿では,2つの合成倉庫における400の凍結作業であるWarehouseBenchについて紹介する。
7BエージェントであるQueryProofは、セマンティックレイヤと物理カタログから派生したルールを使用して、その振る舞いを決定する。
論文 参考訳(メタデータ) (2026-08-10T08:14:24Z) - A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳(メタデータ) (2026-08-05T14:01:10Z) - Real-Time Detection and Repair of LLM Agent Failures [0.0]
LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。
1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。
システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
論文 参考訳(メタデータ) (2026-08-03T16:34:46Z) - StaminaBench: Stress-Testing Coding Agents over 100 Interaction Turns [45.43677974796221]
コーディングエージェントのスタミナを測定するベンチマークであるStaminaBenchを紹介する。
一般的な分数タスクのメトリクスとは異なり、これはセッションが数十回、数百回実行される実際のバイブコーディングと一致します。
論文 参考訳(メタデータ) (2026-06-17T21:36:09Z) - Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
デプロイされた注文エージェントは、階層の固定された分類に分解される。
純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。
制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
論文 参考訳(メタデータ) (2026-06-10T05:55:13Z) - CRANE: Knowledge Editing for Reasoning MLLMs [37.084419383244814]
マルチモーダルな大言語モデル(MLLM)は、回答を生成する前に明示的なチェーン・オブ・シークレット(CoT)推論を生成する。
MLLMの推論では、(FT, LoRA)を一般化する手法はフォーマットの崩壊を引き起こすが、深い修正のない手法は一般化できない。
本稿では,CRANEを提案する。
論文 参考訳(メタデータ) (2026-06-08T05:01:11Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳(メタデータ) (2026-05-28T09:45:47Z) - How Code Representation Shapes False-Positive Dynamics in Cross-Language LLM Vulnerability Detection [8.360057179027322]
言語間の脆弱性検出において、コード表現形式がどのように偽陽性行動を形成するかは、まだ理解されていない。
学習時間と推論時間の両方で、原文と刈り取られた抽象構文木を比較し、学習強度とコード表現形式を体系的に変化させる。
言語間のFPRは、トレーニング時間と推論時間の両方の表現の合同効果を反映している。
論文 参考訳(メタデータ) (2026-04-30T11:01:03Z) - SQL-ASTRA: Alleviating Sparse Feedback in Agentic SQL via Column-Set Matching and Trajectory Aggregation [51.696027315573296]
本稿では,効率的な軌道レベル評価と高密度ステップレベル信号の提供を目的とした,普遍的な2層報酬機構を特徴とするフレームワークを提案する。
伝統的なパラダイムでは、報酬は最終ターンのフィードバックによってのみ決定され、中間プロセスを無視し、曖昧な信用評価をもたらす。
提案手法は,同一モデルを用いてBIRD 2.0上でのSOTA Arctic-Text2-R1-7Bより優れており,頑健なマルチターンエージェントのパラダイムに向けてテキストから逆収束を推進していることを示す。
論文 参考訳(メタデータ) (2026-03-17T06:26:36Z) - VAULT: Vigilant Adversarial Updates via LLM-Driven Retrieval-Augmented Generation for NLI [15.320553375828045]
VAULTは、NLIモデルの弱点を発見し、改善する完全に自動化された対向的なRAGパイプラインである。
VAULTはデータセット間で、従来よりも最大で2.0%パフォーマンスが向上している。
論文 参考訳(メタデータ) (2025-08-01T14:22:54Z) - Reasoning Robustness of LLMs to Adversarial Typographical Errors [49.99118660264703]
大規模言語モデル(LLM)は、Chain-of-Thought(CoT)プロンプトを使用した推論において、印象的な機能を示している。
本研究では,LLMのタイポグラフィ的誤りに対するロバスト性について検討する。
我々は,クエリに重要な単語の型を反復的にサンプリングし,攻撃に成功しそうな編集を選択する,Adversarial Typo Attack(texttATA$)アルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-11-08T05:54:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。