論文の概要: Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing

• arxiv url: http://arxiv.org/abs/2610.13823v1
• Date: Fri, 09 Oct 2026 16:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.687913
• Title: Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing
• Title（参考訳）: 問合せと解答の違い:セマンティックな問合せ処理における実行間分散
• Abstract要約: 温度0では、0.07%から10.2%の行が5回の実行で演算子出力を変更する。 計画は、答えが提示する行数で指数関数的にこれらの変化を増幅する。 ベンチマークのレポートルールとエンジンの設計ルールを導出します。
• 参考スコア（独自算出の注目度）: 13.479797240184553
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Semantic query engines ask a large language model (LLM) to judge individual rows, and benchmarks compare these engines on the quality of a few executions at temperature 0. We measure how much another execution changes. We re-execute the text and tabular workloads of SemBench, LRO-Bench, and UDA-Bench through their own harnesses, log every one of 1.2 million model calls, and reanalyze SemBench's published executions. At temperature 0, between 0.07% and 10.2% of rows change their operator output over five executions, depending on the model, and up to 24.0% on one task. Plans amplify these changes exponentially in the number of rows an answer exposes, as a possible-worlds model predicts: on UDA-Bench, a few percent of extracted values change, but about two thirds of the answers do. In SemBench's published results, 21% of text results change quality between executions, including on engines whose plans are deterministic. Several per-query system comparisons, and 16 of 28 tests of LRO-Bench's implementation recommendations, are not settled by the executions the benchmarks run. Changing rows are rows on which models disagree with each other; identical requests within one execution disagree as often as across executions; and one execution's decision margin or reasoning length predicts which rows change. Voting reduces the variance but does not remove it, and a calibrated cascade keeps its guarantee while the rows it returns change. We derive reporting rules for benchmarks and design rules for engines.
• Abstract（参考訳）: セマンティッククエリエンジンは、個々の行を判断するために大きな言語モデル(LLM)を要求する。 実行がどれくらい変わるかを測定します。 私たちは、SemBench、LRO-Bench、UDA-Benchのテキストと表のワークロードを、自身のハーネスを通じて再実行し、120万のモデルコールの1つをログし、SemBenchが公開した実行を再解析します。 温度0では、0.07%から10.2%の行が、モデルによって5回の実行で演算子出力が変更され、1つのタスクで最大24.0%となる。 UDA-Benchでは、抽出された値の数パーセントは変化しているが、回答の約3分の2は変化している。 SemBench氏の発表した結果では、テキスト結果の21%が、計画が決定論的であるエンジンを含む実行間の品質を変化させている。 クエリごとのシステム比較と、LRO-Benchの実装推奨の28テストのうち16テストは、ベンチマークの実行によって解決されない。 行の変更は、モデルが互いに一致しない行であり、1つの実行内で同じ要求が実行間で同じ頻度で一致し、1つの実行の決定マージンまたは推論長がどの行が変化するかを予測します。 投票はばらつきを減らすが、それを排除せず、キャリブレーションされたカスケードはその保証を維持し、返却される行は変更される。 ベンチマークのレポートルールとエンジンの設計ルールを導出します。

関連論文リスト

• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark [8.443238959374133]
  大規模言語モデル(LLM)は、コーディングタスクでますます使われているが、コード実行について推論する能力は、まだ不明である。 SWE-Fluxは、動的実行推論のためのレポジトリレベルのベンチマークで、12の実際のPythonレポジトリに対して480の実行地上インスタンスを含む。 オラクル・ハーヴェスティング・パイプラインは入力摂動を用いて新しいベンチマーク変種を生成することができることを示す。
  論文  参考訳（メタデータ） (2026-09-23T17:46:50Z)
• Asuka-Bench: Benchmarking Code Agents on Underspecified User Intent and Multi-Round Refinement [45.813104201414326]
  マルチラウンドリファインメントと不特定ユーザ意図を組み合わせたベンチマークであるAuka-Benchを提示する。 ベンチマークは、Webタスク50、評価基準784、予測結果2402からなる。 最強のモデルでさえ、3ラウンドの後にプロジェクトの52%しか完了していない。
  論文  参考訳（メタデータ） (2026-06-04T09:24:30Z)
• Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
  本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。 当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。 提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
  論文  参考訳（メタデータ） (2026-04-16T17:39:33Z)
• vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
  VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。 本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。 完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
  論文  参考訳（メタデータ） (2026-03-14T14:38:53Z)
• EVM-QuestBench: An Execution-Grounded Benchmark for Natural-Language Transaction Code Generation [9.472124187479915]
  オンチェーントランザクションのシナリオでは、小さなエラーでさえ、ユーザにとって不可逆的な損失を引き起こす可能性がある。 EVM-QuestBenchは自然言語トランザクションスクリプト生成のための実行基盤ベンチマークである。 単一動作精度と複数ステップのワークフロー完了の間に永続的な非対称性を示す分割スコアを用いて,20のモデルを評価し,大きな性能ギャップを求める。
  論文  参考訳（メタデータ） (2026-01-10T13:25:27Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• Improving DBMS Scheduling Decisions with Fine-grained Performance Prediction on Concurrent Queries -- Extended [15.354441937462271]
  IconqSchedは、クエリの実行順序とタイミングを最適化する、新しい、原則化された非侵入スケジューラである。 IconqSchedは、システムランタイムをブラックボックスとして扱う、新しいきめ細かい予測器であるIconqを備えている。 我々はIconqSchedを実際のワークロードトレースを使用したエンドツーエンドランタイムの観点から他のスケジューラと比較する。
  論文  参考訳（メタデータ） (2025-01-27T17:55:39Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。