論文の概要: Who Verifies the Verifiers? Accountable Semantic Consensus for AI-Mediated Web Information Verification

• arxiv url: http://arxiv.org/abs/2610.33587v1
• Date: Sat, 24 Oct 2026 10:30:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.368026
• Title: Who Verifies the Verifiers? Accountable Semantic Consensus for AI-Mediated Web Information Verification
• Title（参考訳）: 検証者が誰であるか検証する : AIを用いたWeb情報検証のための意味的合意
• Abstract要約: 大規模言語モデル(LLM)は、Webエビデンスがオンラインクレームをサポートするかどうかをますます決定している。 Astralは、すべてのアセスメントをWeb証拠の1つのコミットスナップショットにピン留めする。
• 参考スコア（独自算出の注目度）: 5.3582601484859405
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) increasingly decide whether Web evidence supports online claims, often by voting over several assessors whose errors are presumed independent and benign. On the open Web, retrieved pages can steer the assessors that read them, and assessors from one model family fail together. We prove that even for independent assessors whose every output sequence is possible on both valid and invalid claims, any protocol that decides only from their outputs and always reaches an agreed verdict never rejects invalid claims or rejects valid ones with positive probability. We present Astral, which pins all assessors to one committed snapshot of the Web evidence. With up to f assessors faulty, Astral accepts a verdict only when 2f+1 assessors attest to it above a confidence threshold and no signed challenge stands. On five public benchmarks with two of seven assessors adversarial, Astral lowers pooled attack success to 21.5-53.1%, against 54.7-77.8% for majority voting. The cost is coverage, as without attack 16.0-61.7% of claims receive a binary verdict and the rest are disputed for audit. Our code runs at https://anonymous.4open.science/r/Astral-55F1.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、Webエビデンスがオンラインのクレームをサポートするかどうかを、独立性や良心性を前提とするいくつかのアセスメントに対して投票することで、ますます決定する。 オープンWebでは、検索されたページは、それらを読むアセスタを操り、あるモデルファミリーのアセスタは一緒に失敗する。 有効なクレームと無効なクレームの両方で、すべてのアウトプットシーケンスが可能である独立評価者であっても、そのアウトプットからのみ決定し、合意された判定に達するプロトコルは、無効クレームを拒絶したり、正の確率で有効なクレームを拒否することはないことを証明します。 Astralは、すべてのアセスメントをWeb証拠の1つのコミットスナップショットにピン留めする。 最大 f 個の評価器が故障した場合、アストラルは 2f+1 個の評価器が信頼しきい値を超えることを証明し、署名された挑戦が存在しない場合にのみ、判定を受理する。 7人の評価者のうち2人が反対する5つの公開ベンチマークでは、アストラルは21.5-53.1%で、多数決は54.7-77.8%だった。 攻撃がなければ16.0-61.7%のクレームが二審判決を受け、残りは監査のために争われている。 私たちのコードはhttps://anonymous.4open.science/r/Astral-55F1で実行されます。

関連論文リスト

• Not Self-Decidable: LLMs Cannot Draw the Boundary of What an Agent Verifier Can Check [0.0]
  エージェントの検証者は、固定チェックが解決できるものと、裁判官を必要とするものとの2種類のルールに直面します。 CoVerは全会一致を指名として扱い、そのために合成されたチェックが介入を生き残る場合にのみ述語を認める。 自己決定性はモデルから引き出す能力ではなく、検証者が構築しなければならない境界である。
  論文  参考訳（メタデータ） (2026-10-03T18:25:12Z)
• VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
  LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
  論文  参考訳（メタデータ） (2026-10-01T03:02:17Z)
• When Is a Multi-Agent Code Judge Actually Grounded? Two Label-Free Measurements, and a Judge That Declines to Guess [1.3063136334195182]
  ある言語モデルが、ある言語のコードが正しいかどうかを判断するとき、証拠がないことを報告しない。 これらの手法には2つの証拠が必要であると我々は主張する:それはレビュー中の回答とは独立していなければならないし、比較される2つの候補との違いである。 MARCHは80以上の条件・バイ・セル測定を無修正で公開したフレームワークであり,78～95%の比較において,両者の解が等しく良いことを宣言している。
  論文  参考訳（メタデータ） (2026-09-23T23:19:59Z)
• Forgeable Confirmation in Automated Computer Security Testing: Deterministic Rules versus AI Judges [0.0]
  4段階のAIアシストパイプラインのオフラインセキュリティテストでは、その15の確認メカニズムのうち9つが偽造可能である。 我々はこれを監査可能な攻撃面として定式化し、将来的なテストを行う。 発見はAIセキュリティエージェントや文字列マッチングによって成功するベンチマークに当てはまる。
  論文  参考訳（メタデータ） (2026-09-21T07:15:19Z)
• Who Verifies the Benchmark? Decentralizing Trust in Large Language Model Evaluation [0.4440305753099883]
  調査によると、裁判官はアイデンティティを意識した偏見を示し、その質よりもソースモデルに従って回答をスコアする可能性がある。 58の事実, 推論, 政治的, 嗜好に基づく質問に対して, 3つの主要なモデルから, 匿名および個人識別対応の回答を収集した。 フェーズ1では、各審査員はそのスコアの一方のハッシュと、候補者の身元が明らかになる前に秘密のソルトを記録する。 フェーズ2では、アイデンティティと生のスコアが開示され、オンチェーンで検証される。
  論文  参考訳（メタデータ） (2026-08-07T20:56:21Z)
• The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction [0.0]
  実際の変換テストに関する6週間の事前登録実験から,最も完全な回答を報告する。 330の実A/Bテストでは、ジェミニ3Flashの審査員がコーエンのカッパ=0.14に到達するが、信頼性の高い(統計的に重要な)ラベルの半分では証拠は決定的ではない。 主要なCRO機関のカタログにある「地中真実」ラベルの44%が、重要でないテストによるものであることを示す。
  論文  参考訳（メタデータ） (2026-07-02T18:51:16Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
  大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。 TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。 我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
  論文  参考訳（メタデータ） (2026-04-29T19:32:58Z)
• Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News [47.03825808787752]
  人間は、ニュース記事が人によって書かれたか、あるいは大きな言語モデル(LLM)によって書かれたかを知ることができますか? 本稿では,人間対機械(人間対機械)と正当性判定(正当性対偽判定)を連続的なスケールで測定する研究プラットフォームであるJiceGPTを用いて,この問題を考察する。 筆者らは,(1) 被験者が人文テキストから機械生成物を確実に識別できないこと,(2) 認知疲労による約30回の連続的な評価の後,その精度が低下すること,の5つを報告した。
  論文  参考訳（メタデータ） (2026-04-04T15:03:42Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding [40.78154629252038]
  曖昧なクレームにバイナリラベルを強制すると、評価の信頼性が低下する。 請求項のニュアンス評価を提供する方法として,LCM生成した要約の編集を紹介する。 我々は,ARMが主張の忠実性に関するアノテータ合意において,絶対的な21%の改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-04-01T19:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。