論文の概要: Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact

• arxiv url: http://arxiv.org/abs/2608.13926v1
• Date: Fri, 14 Aug 2026 03:53:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.26161
• Title: Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact
• Title（参考訳）: 質問に答えるAIシステムの構造的欠如は事実と仮定される
• Abstract要約: 大規模言語モデルは、データベースに対する自然言語インターフェースを新たに信頼できるものにしたが、キャリブレーションされたテキストから集約されたシステムは、デプロイメントにおいて重要な方法で失敗している。 本稿では、生成シェルを持つ信頼カーネルである、そのようなシステムのためのアーキテクチャパターンを1つの不変量に基づいて提案する。 生成シェルは入力とフレーズの応答を解釈し、決定論的カーネルは、完全に指定された質問と解答可能な質問形状の有界集合とを一致させる。 この2つは、ユーザが何らかの値が計算される前に読む確認で一致し、カーネルが表現できない要求は、近似されるよりも減少する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have made natural language interfaces to databases (NLIDB) newly credible, but LLM text-to-SQL systems fail in a way that matters for deployment: a hallucinated column or a mis-aggregated total yields a fluent wrong answer, indistinguishable at the point of use from a right one. Where the consumer cannot inspect the generated query, as in enterprise AI deployments and operational dashboards, and increasingly where the consumer is a tool-using agent rather than a person, accuracy alone is insufficient: nothing marks which answers to distrust. This is a reliability problem before it is an accuracy problem. We propose an architectural pattern for such systems, a trusted kernel with a generative shell, resting on one invariant: a component that can fabricate may influence which question the system answers, never which value it returns. A generative shell interprets underspecified input and phrases replies; a deterministic kernel matches fully specified questions against a bounded set of answerable question shapes and compiles them to queries by deterministic execution. The two meet at a confirmation the user reads before any value is computed, and requests the kernel cannot express are declined rather than approximated. We call this structural abstention, and distinguish it from the statistical abstention of selective prediction and calibrated confidence: refusal here needs no confidence estimate, because unanswerable requests are unrepresentable. We specify the pattern implementation-independently, give a five-decision recipe and work it across three domains, extend the invariant from returned values to the actions of agentic systems, and report a two-year production case study alongside two generative alternatives, a fine-tuned parser and a tool-retrieval agent. We close against enterprise and reliability benchmarks published since.
• Abstract（参考訳）: 大規模言語モデルは、データベース(NLIDB)に対する自然言語インターフェースを新たに信頼できるものにしたが、LLMのテキスト-SQLシステムは、デプロイにおいて重要な方法で失敗している。 コンシューマが生成したクエリを検査できない場合、例えばエンタープライズAIデプロイメントや運用ダッシュボードのように、コンシューマが人ではなくツールを使用するエージェントである場合、正確性だけでは不十分である。 これは精度の問題になる前に信頼性の問題である。 生成シェルを持つ信頼されたカーネルであるそのようなシステムのためのアーキテクチャパターンを提案する。 生成シェルは、不特定入力とフレーズの応答を解釈し、決定論的カーネルは、完全に指定された質問と解答可能な質問形状の有界集合とを一致させ、決定論的実行によりクエリにコンパイルする。 この2つは、ユーザが何らかの値が計算される前に読む確認で一致し、カーネルが表現できない要求は、近似されるよりも減少する。 我々は、この構造的棄権(structure abstention)と呼び、選択的予測とキャリブレーションされた信頼の統計的棄権とは区別する。 パターンの実装を独立に指定し,5段階のレシピを与えて3領域にわたって動作させ,返却された値からエージェントシステムの動作まで不変性を拡張し,2つの生成的代替品(微調整パーサとツール検索エージェント)とともに2年間の生産事例研究を報告する。 それ以来、エンタープライズと信頼性のベンチマークを締めくくっている。

関連論文リスト

• ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
  我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。 Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。 曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-08-25T23:21:57Z)
• AB-RAG: Adaptive Budgeted Retrieval-Augmented Generation for Reliable Question Answering [0.0]
  AB-RAGはトレーニングフリーでバックボーンに依存しないフレームワークで、答えを生成する。 信頼度を3つの信号の組み合わせから推定する。 そして、停止するか、より多くの証拠を回収するかを決定する。
  論文  参考訳（メタデータ） (2026-06-27T21:08:14Z)
• TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering [80.93487993878836]
  現実世界のクエリの一般的なクラスは暗黙的に予測され、単に検索するのではなく、歴史的パターンから観測されていない回答を推測する必要がある。 これらのクエリには、潜在意図を認識することと、大規模テーブル上での信頼性の高い予測推論という2つの課題がある。 単点予測から意思決定,処理効果分析,複雑な推論に至るまで,4つのサブタスクにわたる779のサンプルからなるベンチマークであるTopBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-30T16:22:51Z)
• Controllable Evidence Selection in Retrieval-Augmented Question Answering via Deterministic Utility Gating [0.0]
  本稿では,検索強化質問応答のための決定論的エビデンス選択フレームワークを提案する。 このアプローチでは,意味-ユーティリティ推定(MUE)と多様性-ユーティリティ推定(DUE)を導入している。 プロトタイプでは、タスクが必要とする事実、ルール、条件を明確に記述している場合にのみ、ユニットが受け入れられる。
  論文  参考訳（メタデータ） (2026-02-23T18:20:15Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Variability Need Not Imply Error: The Case of Adequate but Semantically Distinct Responses [7.581259361859477]
  不確実性定量化ツールは、モデルが不確実である場合の応答を拒否するために使用できます。 我々は、モデルがAdequate Responses (PROBAR)に割り当てる確率を推定する。 ProBARはアンビグニティ/オープンエンディエントネスの異なるプロンプトでセマンティックエントロピーを上回ります。
  論文  参考訳（メタデータ） (2024-12-20T09:02:26Z)
• Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
  ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。 本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T18:52:40Z)
• Contextualized Evaluations: Judging Language Model Responses to Underspecified Queries [85.81295563405433]
  本稿では,不特定クエリを取り巻くコンテキストを合成的に構築し,評価中にそれを提供するプロトコルを提案する。 その結果,1) 評価から得られた結論の変更,2) モデルペア間のベンチマークランキングの反転,2) スタイルのような表面レベルの基準に基づいて判断を下すナッジ評価,3) 多様なコンテキスト間でのモデル行動に関する新たな洞察の提供,などが確認できた。
  論文  参考訳（メタデータ） (2024-11-11T18:58:38Z)
• CONFLARE: CONFormal LArge language model REtrieval [0.0]
  Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。 RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。 本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-04T02:58:21Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• R-U-SURE? Uncertainty-Aware Code Suggestions By Maximizing Utility Across Random User Intents [14.455036827804541]
  大規模言語モデルは、コードのような構造化されたテキストを予測する上で印象的な結果を示すが、一般的にはエラーや幻覚を出力に導入する。 ランダム化ユーティリティ駆動型不確実領域合成(R-U-SURE)を提案する。 R-U-SUREは、ゴール条件付きユーティリティの意思決定理論モデルに基づく不確実性を考慮した提案を構築するためのアプローチである。
  論文  参考訳（メタデータ） (2023-03-01T18:46:40Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。