論文の概要: Threshold Choice, Not Sample Size, Bounds Trustless Verification of Nondeterministic Compound AI Workflows

• arxiv url: http://arxiv.org/abs/2609.10601v1
• Date: Mon, 07 Sep 2026 22:10:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.074256
• Title: Threshold Choice, Not Sample Size, Bounds Trustless Verification of Nondeterministic Compound AI Workflows
• Title（参考訳）: 非決定論的複合AIワークフローの信頼できない検証を境界とする閾値選択
• Abstract要約: 複合AIパイプライン LLMコール、レトリバー、ツールは非決定論的である。 各ステージのインプット、アウトプット、コンテキストのダイジェストをコミットします。 合成HotpotQAパイプラインでは、校正された固定しきい値が45個の正直な複製のうち44個を受け入れ、105個の発散ペアのうち104個を拒絶する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compound AI pipelines chain LLM calls, retrievers, and tools and are nondeterministic: sampling, model updates, and volatile tool responses make one input yield different outputs across runs. Such pipelines increasingly run across edge, cloud, and orbital nodes owned by no single party, whose optimizations discard intermediate results before inspection. Verifying reproduction there means tolerating nondeterministic outputs, a node that may not report honestly, and intermittent access to any shared record; existing work addresses at most two at once. We give a protocol covering all three: it commits digests of each stage's inputs, outputs, and context under a policy digest pinning the metric and threshold, anchors them without trusting the executing node, defers under partition, and decides a challenge on the median of $k$ re-executions, with no quorum. Where that procedure breaks is the main result. On a synthetic HotpotQA pipeline a calibrated fixed threshold accepts 44 of 45 honest reproductions and rejects 104 of 105 divergent pairs, yet lets same-input fabrication through in 27 of 29 trials at k=5, more samples being no help since sampling sharpens an estimate without moving it. Holding that metric and this pipeline's re-execution spread fixed, the binding constraint is the threshold rather than the sample size: one derived per execution detects 19 of 29 where the best constant matched to the same zero honest rejections reaches 9, rejects no honest commitment at k=5 though 3 of 15 at k=3, and catches 11 of 15 of an attacker built against it, which has to aim at a target drawn only after its commitment exists. That rule is measured rather than deployed.
• Abstract（参考訳）: 複合AIパイプラインはLLMコール、レトリバー、ツールをチェーンし、サンプリング、モデル更新、揮発性ツール応答といった非決定論的である。 このようなパイプラインは、単一のパーティが所有するエッジ、クラウド、オービタルノードを越えてますます実行され、最適化は検査前に中間結果を破棄する。 再現性を検証することは、非決定的な出力を許容すること、正直に報告しないノード、共有レコードへの断続的なアクセス、そして既存のワークアドレスを1度に2つにまとめることである。 それぞれのステージのインプット、アウトプット、コンテキストのダイジェストをコミットし、メトリックとしきい値のピン留めをポリシーダイジェストし、実行ノードを信頼せずにアンカーをアンカーし、パーティションの下でフェールし、クォーラムのない中央値の$k$再実行でチャレンジを決定する。 その手順が壊れた場所が主な結果です。 合成HotpotQAパイプラインでは、校正された固定しきい値は45個の正直な再現のうち44個を受け取り、105個の発散したペアのうち104個を拒絶するが、k=5で29回の試行中27個を同じ入力で製造する。 このメトリックとパイプラインの再実行が固定され、結合制約はサンプルサイズよりもしきい値となる: 1回の実行で導かれる1つの導出は、同じゼロの正直な拒絶に一致した最良定数が9に達する29の19を検知し、k=5で3の15が3であるにもかかわらず、k=5で誠実なコミットメントを拒否し、それに対して構築された攻撃者の15の11をキャッチする。 そのルールはデプロイされるよりむしろ測定される。

関連論文リスト

• When Agent Metrics Measure Different Things: An Evidence-Grounded Audit of the Praxa AI Pipeline [0.0]
  本稿では,選択したPraxa AI実装ファイル,過去の評価アーティファクト,運用記録の振り返り評価を行う。 139ケースのオフラインルーティングレポートには、112回のパスと27回の障害が含まれている。 記録された99番目のパーセンタイルは2,147,483,647 msであり、サーバが保存したコールのうち38,118.31 msである。
  論文  参考訳（メタデータ） (2026-09-10T07:55:12Z)
• SWE-Test: Benchmarking LLM Vulnerability Discovery via Input Prediction [13.719725391379276]
  脆弱性発見は、大規模言語モデル(LLM)エージェントの重要な機能である。 我々は、その測定を、クローズドな決定論的基底真理を持つ入力予測タスクとして再放送する。 これにより、発見は15ドメインにまたがる22の現実世界のC/C++プログラムで3つのタスクモードに分解される。
  論文  参考訳（メタデータ） (2026-09-05T19:04:41Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows [2.435006380732194]
  ノイズの多いトレースをトラジェクトリにコンパイルする,スキルガイドシステムであるTraceCompilerを提案する。 あらゆるハードエッジは監査可能な証拠を持ち、あいまいな関係が疑われる。 コールの削減を計測するが、オフラインのコンパイルコストはかからない。
  論文  参考訳（メタデータ） (2026-08-03T01:05:06Z)
• A multiverse-consensus pipeline for reproducible feature selection in untargeted LC-MS metabolomics [1.452875650827562]
  LC-MSメタボロミクスは、多くの事前処理決定を必要とする。 目的のないメタボロミクスの特徴選択に多変量解析を適用する。
  論文  参考訳（メタデータ） (2026-07-19T17:14:17Z)
• SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation [39.25766957943906]
  SPANUQは、高価なマルチサンプル推論から不確かさの知識を、隠れた状態への単一の前方通過に蒸留する軽量プローブである。 SPANUQ-BENCHは20Kプロンプト、293Kアノテートスパン、連続ソフトラベルからなる最初のスパンレベル不確実性ベンチマークである。 実験により、SPANUQは、最強のプローブベースラインと全てのサンプリングベース手法よりも優れた、最高のスパンレベルの不確かさを一貫して達成していることが示された。
  論文  参考訳（メタデータ） (2026-07-07T01:09:46Z)
• Metric Aggregation Divergence: A Hidden Validity Threat in Agent-Based Policy Optimization and a Contractual Remedy [7.1976264551575895]
  メートル法アグリゲーション分散(英: Metric aggregate divergence、MAD)は、エージェントベースのモデルにおいて、異なるパイプラインステージで発生するサイレント不整合である。 私たちは、ディスパッチ時に実施される単一の呼び出し可能なランタイムであるメトリックコントラクトを、対策として紹介します。
  論文  参考訳（メタデータ） (2026-06-27T18:17:33Z)
• SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents [40.270213696031625]
  符号化エージェントは、シェル、ファイル、ネットワークアクションのシーケンスとして良質なタスクを実行する。 プロンプトは敵ではなく、実行は成功しますが、スコープ外ステップでは認証情報をリークしたり、ファイルを削除することができます。 既存のベンチマークでは、タスク補完スイートは、完了した実行を承認し、jailbreakスイートは、逆のプロンプトをプローブし、以前のオーバーイーガーベンチマークは、各エージェントモデルペアに単一の固定プロンプトを適用する。 再利用可能なスコープから良性シナリオを構成するパイプラインであるSNAREを提案する。
  論文  参考訳（メタデータ） (2026-05-27T08:14:07Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。