論文の概要: Pooled Leaderboards Hide System-Specific Winners: A Reporting-Protocol Audit of Offline Root-Cause Analysis Benchmarks
- arxiv url: http://arxiv.org/abs/2606.29159v1
- Date: Sun, 28 Jun 2026 02:47:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.816335
- Title: Pooled Leaderboards Hide System-Specific Winners: A Reporting-Protocol Audit of Offline Root-Cause Analysis Benchmarks
- Title（参考訳）: Pooled Leaderboards Hides: Reporting-Protocol Audit of Offline Root-Cause Analysis Benchmarks
- Abstract要約: ルート原因分析ベンチマークは、複数のサブシステムにまたがる単一のトップ1精度でメソッドをランク付けする。
私たちは、OpenRCA、RCAEval、PetShopの3つのパブリックRCAベンチマークファミリでその読みを監査します。
我々は320行の監査モジュールをリリースし、一致したRCAベンチマークスコアテーブルが与えられた場合、プールされたスコアと並行してサブシステムごとの安定性チェックを再計算する。
- 参考スコア（独自算出の注目度）: 15.818802254426883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Offline root-cause-analysis (RCA) benchmarks commonly rank methods by a single pooled top-1 accuracy across multiple subsystems, and engineers often read the pooled winner as a recommendation for their own subsystem. We audit that reading on three public RCA benchmark families -- OpenRCA, RCAEval, and PetShop -- covering 11 subsystems and 778 matched scoring units. To keep pairwise comparisons on identical cases, the main analysis retains four methods or comparators with complete coverage: BARO, a CD-1min adapter, max-$|Z|$, and per-service alert-count. All six pairwise comparisons show subsystem-level effects of both signs, every random-effects 95\% prediction interval crosses zero, and case-level interaction tests reject exchangeability in 5 of 6 pairs. Leave-one-system-out selection picks the lower-scoring method on up to 5 of 11 held-out subsystems, with regret reaching 24.8 pp on RCAEval / Sock-Shop. We release a 320-line audit module; given a matched RCA benchmark score table, it recomputes the same per-subsystem stability checks alongside pooled scores.
- Abstract（参考訳）: オフラインのルート原因分析(RCA)ベンチマークでは、複数のサブシステムにまたがる単一のトップ1の精度でメソッドをランク付けすることが多い。
OpenRCA、RCAEval、PetShopの3つのパブリックRCAベンチマークファミリで、11のサブシステムと78のマッチしたスコアユニットをカバーしていることを確認します。
同じケースでペアワイズ比較を保持するために、メインアナリシスでは、BARO、CD-1minアダプタ、max-$|Z|$、サービスごとのアラートカウントの4つのメソッドまたはコンパレータが完全にカバーされている。
両符号のサブシステムレベル効果を示す6つのペアワイド比較では、各ランダム効果95%の予測区間はゼロとなり、ケースレベルの相互作用テストは6対の5つのペアの交換性を否定する。
レトリート・ワン・システム・アウト・セレクション(Leave-one-system-out selection)は11のホールト・アウト・サブシステムのうち、最大5つのロー・スコアリング・メソッドを選択し、RCAEval / Sock-Shopで24.8ppに達した。
我々は320行の監査モジュールをリリースし、一致したRCAベンチマークスコアテーブルが与えられた場合、プールされたスコアと並行してサブシステムごとの安定性チェックを再計算する。
関連論文リスト
- Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。
モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。
パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
論文 参考訳（メタデータ） (2026-09-15T16:29:12Z) - Recursive Agentic Reasoning [4.7490116928645065]
反復精製、分解、繰り返しサンプリングといったテスト時間推論手法は、しばしば分離して評価される。
エージェントの推論トレース上の再帰演算子として,これらの手法の統一ビューを導入する。
同一のプロンプト、トークン予算、グレーディングコードを持つ共有ハーネスの下で、3つの演算子全てをシングルパスチェーン・オブ・ソートベースラインに対して評価する。
論文 参考訳（メタデータ） (2026-08-25T01:34:08Z) - AdaRare: Telemetry-Guided Joint Profile Control for Greybox Fuzzing [1.3960594124957035]
グレイボックスファッジャは相互作用するキュー、突然変異、辞書、エネルギー、比較解決制御面を組み合わせる。
AdaRareは5つの内部アクティベーションメカニズムをコーディネートするAFL++拡張である。
論文 参考訳（メタデータ） (2026-08-18T09:33:33Z) - How Language Models Choose Sides: Internal Representations of Instruction Hierarchy [0.8594680187000567]
本研究では,命令調整型LLMがシステムとユーザ間の直接的衝突を調停する方法について検討する。
Llama-3.1-8Bは、衝突試験のわずか0.10のシステムに従って、我々のスイートで最強の反階層である。
論文 参考訳（メタデータ） (2026-08-16T21:29:06Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - A Multi-Probe Audit of Clinical-Interview Depression Detection Benchmarks [0.12891210250935145]
本稿では,4つの相補的プローブを用いた臨床・臨床・臨床・臨床のうつ病検出におけるベンチマーク評価を行った。
E-DAICを厳密な主観的分離型離脱1-サブジェクトアウト・クロスバリデーションの下で再評価する。
E-DAICのオフィシャルスプリットが96モデル構成を網羅することで、詳細なリーダーボードランキングをサポートするかどうかを検証する。
論文 参考訳（メタデータ） (2026-05-13T17:32:41Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳（メタデータ） (2026-05-07T06:31:34Z) - AuditRepairBench: A Paired-Execution Trace Corpus for Evaluator-Channel Ranking Instability in Agent Repair [21.974153439592317]
AuditBenchは576,000の登録細胞(96,000が実行)のペア実行トレースコーパスである
宣言された可観測性境界内で評価器-チャネル遮断ランキングの不安定を運用する。
80ケースのソースレベルのチャネルサージェリーサブセット上で、メカニズムアンカレートによる検証がサポートされている。
論文 参考訳（メタデータ） (2026-05-06T08:12:09Z) - GSAR: Typed Grounding for Hallucination Detection and Recovery in Multi-Agent LLMs [0.0]
クレームを4方向のタイポロジー(接地,非接地,矛盾,相補的)に分割する基盤性フレームワークを提案する。
GSARは、明示的な計算予算の下で、結合された回復を伴うエビデンス型スコアリングを結合した最初の基盤フレームワークである。
論文 参考訳（メタデータ） (2026-04-25T16:20:28Z) - Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation [0.0]
連鎖忠実性に関する最近の研究は、単一集合数について報告している。
本論文は、忠実性はモデルの客観的かつ測定可能な性質ではないことを示す。
論文 参考訳（メタデータ） (2026-03-20T17:48:43Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Better than Random: Reliable NLG Human Evaluation with Constrained Active Sampling [50.08315607506652]
信頼性の高い人的判断のための制約付きアクティブサンプリングフレームワーク(CASF)を提案する。
実験の結果、CASFは93.18%のシステム認識精度が得られた。
論文 参考訳（メタデータ） (2024-06-12T07:44:36Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳（メタデータ） (2023-05-01T02:37:59Z) - Two-pass Decoding and Cross-adaptation Based System Combination of
End-to-end Conformer and Hybrid TDNN ASR Systems [61.90743116707422]
本稿では,ハイブリッドTDNNとConformer E2E ASRシステムのためのマルチパス再構成とクロスアダプティブに基づくシステムの組み合わせについて検討する。
NIST Hub5'00、Rt03、Rt02の評価データに対して、マルチパス再構成を用いて得られた最良の組み合わせシステムにより、統計的に有意な単語誤り率(WER)が2.5%から3.9%の絶対値(22.5%から28.9%の相対値)に低下した。
論文 参考訳（メタデータ） (2022-06-23T10:17:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。