論文の概要: When Pair Count Is Not the Sample Size: What All-Pairs Agent Comparisons Estimate

• arxiv url: http://arxiv.org/abs/2609.33012v1
• Date: Sat, 26 Sep 2026 23:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:13:55.96238
• Title: When Pair Count Is Not the Sample Size: What All-Pairs Agent Comparisons Estimate
• Title（参考訳）: Pair Countがサンプルサイズではない場合:全Pairsエージェントの比較
• Abstract要約: オールペア分析では、何が固定され、何がサンプリングされ、どのように共有エントリとペアアグリゲーションを処理するかを記述する必要がある。 他の2つの固定されたリーダーボードの結果、正確なサマリーはどのペアが含まれているか、どのように重み付けされているかにも依存している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When an agent benchmark compares every pair of leaderboard entries, the number of comparisons can look much larger than the independent evidence behind them: A versus B and A versus C both reuse A. Whether this reuse affects inference depends on what the analysis is meant to describe. If the board and its outcomes are fixed, the all-pairs mean is an exact summary of those entries, and any interval must come from another declared source of randomness. If the entries are instead treated as iid draws from a population of future configurations and the pair rule is regular and nondegenerate, the same mean is an order-two U-statistic whose first-order uncertainty depends on the number of configurations, not the number of pairs. We use near ties as the running example, but the distinction extends to other symmetric pair summaries when their regularity conditions hold. We examine both interpretations using a fixed SWE-bench Verified snapshot and an exact binary model with known truth. On SWE-bench, intervals that accounted for shared configurations were more than twice as wide as a pair-iid reference that treated the pairs as independent. In the exact model, pair-iid coverage fell far below the nominal level when edges shared endpoints but remained near nominal for matched independent edges. Results on two other fixed leaderboards show that exact summaries also depend on which pairs are included and how they are weighted. An all-pairs analysis must therefore state what is fixed, what is sampled, and how it handles shared entries and pair aggregation.
• Abstract（参考訳）: エージェントベンチマークがすべてのリーダーボードエントリを比較すると、A対BとA対Cの両者の再利用 Aという独立した証拠よりも、比較の数ははるかに大きく見える。 ボードとその結果が固定された場合、全ペアの平均はそれらのエントリの正確な要約であり、任意の間隔は、別の宣言されたランダムなソースから来なければならない。 エントリーが、将来の構成の集団から引き出された iid として扱われ、ペアルールが正則で非退化的である場合、同じ平均は、一階の不確実性がペアの数ではなく構成の数に依存する順序2のU統計量である。 実行中の例としては近縁体を用いるが、その正則性条件が成立すると、その区別は他の対称対の和に拡張される。 固定されたSWEベンチ検証スナップショットと、既知の真理を持つ正確なバイナリモデルを用いて、両方の解釈を検証した。 SWEベンチでは、共有構成を考慮した間隔は、ペアを独立したものとして扱うペアイド参照の2倍以上であった。 正確なモデルでは、エッジがエンドポイントを共有するとき、ペアイドのカバレッジは名目レベルよりもはるかに低かったが、一致した独立したエッジに対して、名目に近いままであった。 他の2つの固定されたリーダーボードの結果、正確なサマリーはどのペアが含まれているか、どのように重み付けされているかにも依存している。 したがって、全ペア分析は、何が固定され、何がサンプリングされ、どのように共有エントリとペアアグリゲーションを処理するかを記述する必要がある。

関連論文リスト

• Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
  大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。 ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。 我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
  論文  参考訳（メタデータ） (2026-01-29T21:26:50Z)
• Recursive random binning to detect and display pairwise dependence [0.0]
  理論と実証的な研究はいくつかの近似を動機付けており、例えば、実価値はあるが直観的な自由度を持つ単純な$chi2$近似である。 異なる近似を持つ再帰的ランダムなビンニングは、様々な非ヌル依存パターンに関する最近のグリッドベースの手法と比較される。 これらの近似を持つ手法は、よく校正され、一般的なテスト代替品に対して比較的強力である。
  論文  参考訳（メタデータ） (2023-11-14T21:43:56Z)
• REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
  正の対を識別する学習尺度を新たに提案する。 検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。 本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T13:44:45Z)
• Streaming algorithms for evaluating noisy judges on unlabeled data -- binary classification [0.0]
  我々は、代数的故障モードを用いて、ほぼ誤りのないトリオスを探索し、評価アンサンブルを過度に相関するものとして否定する。 生き残ったアンサンブルが生み出す結果は、時には1%にも達することがある。 独立性が仮定されるときに生じる推定値のテイラー展開は、実際、分類器はわずかに相関しているので、独立評価器が代数的盲点を持つかを明らかにするのに役立つ」。
  論文  参考訳（メタデータ） (2023-06-02T17:52:59Z)
• CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
  本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-26T20:14:30Z)
• Pointwise Binary Classification with Pairwise Confidence Comparisons [97.79518780631457]
  ペアワイズ比較(Pcomp)分類を提案し、ラベルのないデータのペアしか持たない。 我々はPcomp分類をノイズラベル学習に結びつけて、進歩的UREを開発し、一貫性の正則化を課すことにより改善する。
  論文  参考訳（メタデータ） (2020-10-05T09:23:58Z)
• Two-Sample Testing on Ranked Preference Data and the Role of Modeling Assumptions [57.77347280992548]
  本稿では,ペアワイズ比較データとランキングデータのための2サンプル試験を設計する。 私たちのテストでは、基本的に分布に関する仮定は必要ありません。 実世界のペアワイズ比較データに2サンプルテストを適用することで、人によって提供される評価とランキングは、実際は異なる分散である、と結論付ける。
  論文  参考訳（メタデータ） (2020-06-21T20:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。