論文の概要: Tracing Recurrent and Emergent Hallucination Patterns in Decomposed Text-to-SQL Generation

• arxiv url: http://arxiv.org/abs/2610.27720v1
• Date: Tue, 20 Oct 2026 06:39:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.675603
• Title: Tracing Recurrent and Emergent Hallucination Patterns in Decomposed Text-to-SQL Generation
• Title（参考訳）: Decomposed Text-to-SQL 生成における逐次的および創発的幻覚パターンの追跡
• Abstract要約: 大規模な言語モデルは、スキーマとクエリ-論理エラーを生成しながら、強力なテキスト-言語ベンチマーク性能を達成することができる。 本稿では,テキスト・ツー・クエリをより複雑なサブクエリに分解するドリルダウン評価フレームワークを提案する。 繰り返し発生する幻覚を区別し、同じ規則に基づくカテゴリーが初期段階および最終問合せで観測される。
• 参考スコア（独自算出の注目度）: 1.8033500402815792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can achieve strong Text-to-SQL benchmark performance while still producing schema and query-logic errors. Most evaluations characterize such failures only in the final generated query, making it difficult to determine whether a related error was also observed in an earlier, simpler step or appears only at the final stage. We present a drill-down evaluation framework that decomposes Text-to-SQL queries into progressively more complex executable sub-queries and corresponding natural-language questions, allowing rule-based hallucination categories to be examined across a generation path. We distinguish recurrent hallucinations, in which the same rule-based category is observed in an earlier step and again in the final query, from emergent hallucinations, in which the category is observed at the final step without an earlier detection in the same path. Across five LLMs evaluated on an expanded BIRD-mini benchmark, several categories show appreciable recurrence probabilities, while clause abuse shows comparatively higher conditional emergence. Under the conversational-history condition, recurrence probabilities are generally higher and emergence probabilities are generally lower. These observations indicate that the two conditional measures do not move uniformly in the same direction under additional context and motivate trajectory-level analysis in addition to final-output evaluation. Code and evaluation artifacts are available in the project repository. https://github.com/HaydenMM/bird-mini-drilldown
• Abstract（参考訳）: 大規模な言語モデルは、スキーマとクエリ-論理エラーを生成しながら、強力なText-to-SQLベンチマークのパフォーマンスを達成することができる。 ほとんどの評価では、そのような失敗は最終生成クエリのみに特徴付けられるため、関連するエラーが以前の単純なステップでも観測されたのか、最終段階でのみ現れるのかを判断することは困難である。 本稿では,テキストからSQLへのクエリを,より複雑なサブクエリとそれに対応する自然言語質問に分解するドリルダウン評価フレームワークを提案する。 本研究は,前段階と最終問合せで同じ規則に基づくカテゴリーが観測される繰り返し幻覚と,最終段階において同じ経路で早期に検出されることなくそのカテゴリーが観察される創発幻覚とを区別する。 BIRD-miniベンチマークで評価した5つのLSMのうち、いくつかのカテゴリでは再現可能性が高く、節乱用は比較的高い条件の出現を示す。 会話履歴の条件下では、再帰確率は一般的に高く、出現確率は一般的に低い。 これらの結果から, 2つの条件は, 追加の文脈下で同じ方向に均一に移動せず, 最終出力評価に加え, 軌道レベルの解析を動機付けることが示唆された。 コードと評価アーティファクトはプロジェクトリポジトリから入手可能だ。 https://github.com/HaydenMM/bird-mini-drilldown

関連論文リスト

• When Should Queries Be Decomposed? A Stage-Aware Study of Query Decomposition for Multi-Condition Retrieval [7.14438992840294]
  マルチ条件検索には、複数の制約を満たす文書を識別するシステムが必要である。 クエリ分解は直感的な治療法として広く採用されているが、検索パイプラインの段階によってその有効性は未解明のままである。 本稿では,グローバルなセマンティックコンテキストを保存するために,初期検索時にモノリシックなクエリを保持するための,ルール付きStage-Aware Decompositionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-07T11:13:15Z)
• SANE Schema-aware Natural-language Evaluation of Biological Data [0.14337588659482522]
  ドメイン固有のテキスト言語評価のための新しいパラダイムであるSANE-Aware Natural Evaluationを提案する。 構造化されたプロンプトとガードレールを持つ制約付きスキーマでは、モデルのトレーニングや微調整なしに正確なクエリ生成が達成可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-03T06:31:28Z)
• TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering [80.93487993878836]
  現実世界のクエリの一般的なクラスは暗黙的に予測され、単に検索するのではなく、歴史的パターンから観測されていない回答を推測する必要がある。 これらのクエリには、潜在意図を認識することと、大規模テーブル上での信頼性の高い予測推論という2つの課題がある。 単点予測から意思決定,処理効果分析,複雑な推論に至るまで,4つのサブタスクにわたる779のサンプルからなるベンチマークであるTopBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-30T16:22:51Z)
• HCRE: LLM-based Hierarchical Classification for Cross-Document Relation Extraction with a Prediction-then-Verification Strategy [54.91468501159335]
  文書間関係抽出 (RE) は, 異なる文書に存在する頭部尾部エンティティ間の関係を識別することを目的としている。 本稿では,各レベルでの多視点検証により信頼性を向上させる推論戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:55:27Z)
• Retromorphic Testing with Hierarchical Verification for Hallucination Detection in RAG [3.2327627739464635]
  本稿では,文脈信頼度評価のための逆転型テストフレームワークRT4CHARTを提案する。 モデル出力を独立に検証可能なクレームに分解し、階層的で局所的な検証を行う。 全基準線のうち、最良回答レベル幻覚検出F1を実現する。
  論文  参考訳（メタデータ） (2026-03-29T16:12:18Z)
• HighlightBench: Benchmarking Markup-Driven Table Reasoning in Scientific Documents [88.16322879912458]
  マルチモーダルな大言語モデル (MLLM) は文書理解においてかなりの進歩を遂げているが、明示的な論理ディレクティブとしてそのような方法を扱う能力はいまだ探索されていない。 マークアップ駆動型テーブル理解のための診断ベンチマークであるHighlightBenchを導入し,評価を5つのタスクファミリに分解する。 構成された出力制約の下では、視覚的手がかりがシンボリック推論と一貫して一致しなければならない場合、強いモデルでさえ不安定であることを示す。
  論文  参考訳（メタデータ） (2026-03-25T06:15:40Z)
• SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding [52.98133831401225]
  時間的グラウンドディング(英: Temporal grounding、ビデオモーメント検索(英語版))は、所定のクエリ文に対応するビデオセグメントを特定することを目的としている。 本稿では, GPT-3.5-Turbo を用いた負のクエリ構築のための大規模言語モデル駆動手法を提案する。 本稿では,ビデオと階層的負のクエリ間の多粒度意味的関係を学習するモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-06T16:08:17Z)
• Evaluating Cross-Domain Text-to-SQL Models and Benchmarks [7.388002745070808]
  テキスト・ツー・ベンチマークを研究し、これらのベンチマークの中で最高のパフォーマンスのモデルを再評価する。 これらのベンチマークで完全な性能を達成することは、提供されたサンプルから導出できる複数の解釈のため不可能であることがわかった。 GPT4ベースのモデルは、人間の評価においてスパイダーベンチマークのゴールド標準基準クエリを上回る。
  論文  参考訳（メタデータ） (2023-10-27T23:36:14Z)
• Improving One-stage Visual Grounding by Recursive Sub-query Construction [102.47477888060801]
  長いクエリと複雑なクエリのグラウンド化における現在の制限に対処することで、ワンステージの視覚的グラウンド化を改善する。 我々は,新しい1段階法により,最先端の1段階ベースラインに対して5.0%,4.5%,7.5%,12.8%の絶対改善が得られたことを示す。
  論文  参考訳（メタデータ） (2020-08-03T17:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。