論文の概要: Which Part of the Context Layer Does the Work? Separating Semantic Content from Retrieval Scaffolding in Text-to-SQL Agents
- arxiv url: http://arxiv.org/abs/2609.22259v1
- Date: Sun, 06 Sep 2026 14:36:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.80942
- Title: Which Part of the Context Layer Does the Work? Separating Semantic Content from Retrieval Scaffolding in Text-to-SQL Agents
- Title（参考訳）: コンテキストレイヤのどの部分が作業を行うか? テキストからSQLエージェントの検索しゃがみからセマンティックコンテンツを切り離す
- Abstract要約: コンテキスト層 – 分析エージェントがクエリ時にフェッチするキュレートされたドキュメント。
with/outの比較では、どのレイヤが処理を行うかは言えません。
DABStepでは,3つを分離した4つのモデルについて4腕のアブレーションを報告した。
- 参考スコア（独自算出の注目度）: 7.583601596994175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context layers, curated documentation that an analytics agent fetches at query time, produce large accuracy gains on text-to-SQL benchmarks. A with/without comparison cannot say which part of the layer does the work: the semantic content, the retrieval scaffolding that delivers it, or the pre-computed views that usually accompany it. We report a four-arm ablation on DABStep on four models that separates the three. The instrument is a data contract: a YAML artifact that carries a domain's semantics and the rules an agent's tools enforce. One arm empties every field of prose in the frozen contract while holding the tool surface, retrieval instruction, table allow-list and operation rules byte-for-byte fixed. Compiling the contract's own SQL expressions into views gives the ceiling a pre-computed layer would reach: gold on all 176 tasks it covers. Content dominates. It raises hard-task accuracy from 13.9% to 55.1%, 22.6% to 56.6%, 22.9% to 68.4% and 37.0% to 77.4%, beating the same knowledge pasted into the prompt on every model. Scaffolding without content is worth 0 to 5 points on two flash models and 14 to 15 on two frontier models. Against the compiled ceiling the contract arm's shortfall is a failure to derive, and it falls from 39 points to 5 with model capability. The contract beats the prompt because the rule it needs is one lookup away rather than buried in a long prompt: its SQL carries the fee semantics up to 98% of the time against the prompt arm's 4%, and at the lowest cost per correct answer on three of four models. For practitioners: semantics first, scaffolding second, pre-computed macros only where an agent demonstrably fails to derive. Ungoverned arms submitted 166 mutating statements; governed arms none. The gain is confined to the contract's domain. On one model the benchmark's own withheld golds grade the contract arm at 51.9% against 18.8% for the prompt baseline.
- Abstract（参考訳）: コンテキスト層、分析エージェントがクエリ時にフェッチするキュレートされたドキュメントは、テキストからSQLのベンチマークで大きな精度の向上をもたらす。
セマンティックな内容、それを提供する検索の足場、通常それに伴う事前計算されたビューなどです。
DABStepでは,3つを分離した4つのモデルについて4腕のアブレーションを報告した。
YAMLアーティファクトはドメインのセマンティクスとエージェントのツールが強制するルールを格納する。
1つのアームは、ツールサーフェス、検索命令、テーブル許容リスト、およびバイト単位で固定された操作ルールを保持しながら、凍結された契約で散文のすべてのフィールドを空にする。
コントラクト独自のSQL式をビューにコンパイルすると、天井に計算済みのレイヤが到達します。
コンテンツが支配的だ。
ハードタスクの精度は13.9%から55.1%、22.6%から56.6%、22.9%から68.4%、37.0%から77.4%に上昇し、全てのモデルのプロンプトに貼り付けるのと同じ知識を上回っている。
2つのフラッシュモデルでは0から5ポイント、2つのフロンティアモデルでは14から15ポイントの価値がある。
コンパイルされた天井に対して、コントラクトアームの不足は導出に失敗し、モデル能力で39点から5点に低下する。
そのSQLは、プロンプトアームの4%に対して、手数料のセマンティクスを最大98%、そして4つのモデルのうち3つのモデルの正しい答えに対して、最低コストで持っています。
実践者にとって: セマンティクス 第一に、足場、第二に、事前に計算されたマクロは、エージェントが明らかに導出できない場合に限られる。
未統治の軍隊は166の反乱声明を提出したが、統治した武器は無かった。
利得は契約のドメインに限られます。
あるモデルでは、ベンチマークで保持されていない金が51.9%、プロンプトベースラインが18.8%である。
関連論文リスト
- An Iterative LangGraph Agent for Text-to-SQL: Natural Language Access to the Chicago Crime Database [0.0]
非技術ステークホルダは、運用データベースから洞察を抽出するために必要なthesqlを書くことができないことが多い。
このギャップを埋めるText-to-checkerエージェントを構築し,評価した。
エージェントはプロンプトエンジニアリングのみを使用し、モデルは微調整されなかった。
論文 参考訳（メタデータ） (2026-09-19T09:54:16Z) - IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。
ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。
信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
論文 参考訳（メタデータ） (2026-09-09T17:31:29Z) - Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills [86.15447717549154]
私たちは、スキルを創造し、研究中にそれらを使用する、スキル駆動型研究エージェントであるDisCoを紹介します。
私たちはこの欠落したレイヤの運用知識を、メソッドの知識を機能させるのと分離するノウハウと呼んでいる。
論文 参考訳（メタデータ） (2026-09-02T15:49:41Z) - SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。
4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
論文 参考訳（メタデータ） (2026-09-02T07:31:18Z) - Beyond Top-K: Replacing Black-Box Retrieval with Interpretable Agentic Operations [0.0]
長いドキュメントに対する検索拡張生成は、テキストをチャンクし、チャンクを埋め、クエリの最も近い隣人にサーフェスする、という1つの設計によって支配されている。
我々は、財務報告、監査報告、規制リターンといった重要な文書のクラスにとって、この設計は構造的に不正確であると主張する。
本稿では,READ(Reliable Embedding-free Agentic Document-search)を提案する。
論文 参考訳（メタデータ） (2026-08-06T17:23:13Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - Skill-as-Pseudocode: Refactoring Skill Libraries to Pseudocode for LLM Agents [50.78646963535282]
Skill-as-Pseudocode (SaP) はマークダウンスキルライブラリの型付き擬似コードへの自動変換である。
1つ以上のスキルから引き出された類似の手続きパスのクラスタごとに、SaPは型付きコントラクトを抽出し、それを4チェック決定性検証器を通じてフィルタリングする。
プロモートされた契約は、復元された具体的なアクションテンプレートと共に書き直されたスキルスケルトンにインライン化され、エージェントは2つの補完的な信号を与える。
論文 参考訳（メタデータ） (2026-05-27T04:48:40Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。
ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
論文 参考訳（メタデータ） (2026-04-28T02:53:23Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。