論文の概要: The Scored Population, the Operating Point, and the Pipeline: Three Objects That Decide What an Open-Web Event System Looks Like
- arxiv url: http://arxiv.org/abs/2610.17814v1
- Date: Tue, 13 Oct 2026 06:39:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:15.931684
- Title: The Scored Population, the Operating Point, and the Pipeline: Three Objects That Decide What an Open-Web Event System Looks Like
- Title（参考訳）: Scored Population、オペレーティングポイント、パイプライン:オープンWebイベントシステムがどのようなものかを決める3つのオブジェクト
- Abstract要約: オープンWebストリームは、組織に適したものにすることなく、現実世界のイベントを参照します。
パイプラインは入力のスコアだけでなく、どの入力がスコアを受け取るかも決定します。
- 参考スコア（独自算出の注目度）: 5.189969734952478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-Web streams can reference real-world events without making them suitable for organization: a correctly linked event may serve only as background, while an event absent from the knowledge base may be central to an item. This distinction reveals an evaluation blind spot in multistage Web systems: pipelines determine not only how inputs are scored, but also which inputs receive scores at all. Using open-Web event admission as a case study, we examine three connected objects (the scored population, the selected operating point, and behavior on the complete input stream) through shared-subset comparisons, admission-loss decomposition, and controlled extraction-recovery interventions. We find that reported ranking differences depend on the scored population, scoring gaps exhibit distinct backbone-dependent failure modes, and recovering missing scores can increase false acceptance under an unchanged threshold. On Original-302, Qwen candidate validity scores 255 of 302 items while direct admission scores all 302; evaluating both on the shared subset narrows their AUC gap. For Mistral, span-safe recovery raises false acceptance from 73.1% to 92.5% with the threshold fixed. Across 602 human-annotated evaluation items within a 3,290-record resource, these findings establish a reporting framework that considers score availability, threshold selection, and complete-stream decisions together.
- Abstract（参考訳）: 適切にリンクされたイベントはバックグラウンドとしてのみ機能し、知識ベースから欠落したイベントはアイテムの中心となる。
この区別は、多段階Webシステムにおける評価盲点を明らかにしている。パイプラインは、入力のスコアだけでなく、どの入力がスコアを受け取るかも決定する。
オープンWebイベントの入場を事例として,共有サブセット比較,入場空間の分解,抽出・回収操作の制御による3つの連結対象(採点数,選択操作点,入力ストリームの動作)について検討した。
報告されたランキングの差は、スコアの個体数によって異なり、スコアの差は、バックボーン依存の障害モードが異なることを示し、欠落したスコアの回復は、一定の閾値で偽の受け入れを増大させることが判明した。
原点302では、Qwen候補の妥当性が302項目中255点、直接受け入れスコアが302点、共有サブセットでの評価がAUCギャップを狭める。
ミストラルでは、スパンセーフリカバリによって73.1%から92.5%に誤認され、しきい値が固定される。
評価項目は3,290件中602件にのぼり,スコアの可利用性,しきい値の選択,完全ストリームの決定を共に検討するレポートフレームワークを構築した。
関連論文リスト
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Adversarial Cues in Decision Models Used as Judges: The Role of Request Presentation [1.7259824817932294]
候補に1つのコロニーを追加すると、構造化された判定要求の提示に応じて、この要件に違反する可能性があることを示す。
基本的な判断能力は、固定された候補編集に対して、著しく異なる脆弱性と共存できることを示す。
論文 参考訳（メタデータ） (2026-10-08T07:59:48Z) - Inquesto Score: A reliability Protocol For Voice Agents [53.4810159595586]
Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。
タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。
Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
論文 参考訳（メタデータ） (2026-09-24T20:07:53Z) - LeakScale: Estimating the Causal Effect of Benchmark Exposure [0.6768558752130311]
LeakScaleは、プライベートで家族固有の情報を必要とし、パブリックタスクから派生できない、新鮮な実行可能なタスクを生成する。
2,048のユニークなファミリー、2つのモデルファミリー、2つの実行可能ドメイン、262,144世代にわたる露出は、各モデルとドメインの組み合わせで精度を向上させる。
論文 参考訳（メタデータ） (2026-09-23T00:28:57Z) - Not All Agreement Counts as Corroboration: Provenance-Conserving Multi-View Fusion for Typed Action Admission in Human-Robot Collaboration [10.293646536158302]
PACTはエビデンスカウンタビリティを、前立腺保存核融合とタイプドアクションエントリーのためのリレーショナル変数として扱う。
48のシーンクラスタで31,200以上の評価を行い、PACTは0.0861の共通支持型正規化リスクカバーエリア(ncsAURC)を達成した。
完全なソースレコードでは、ネイティブスコアはPACTを好むが、共通の後点スコアはネストしたディリクレとの違いを狭め、製品融合を好む。
論文 参考訳（メタデータ） (2026-08-31T21:21:35Z) - Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。
人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
論文 参考訳（メタデータ） (2026-08-26T14:41:24Z) - Recovery Rates Are Not Comparable Across Transcription Factors: Chance Correction for Attribution Evaluation [4.110454468583892]
連続モチーフ重複の確率レベルは (L/(N-L+1)) であり、UniBindでは268の転写因子で0.0118から0.0427の範囲である。
我々は、任意の属性が計算される前に実行される2つの画面と、クローズドな形式のチャンスレベルを提供する。
論文 参考訳（メタデータ） (2026-07-31T05:39:55Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳（メタデータ） (2022-04-05T19:39:13Z) - Uncertainty-aware Score Distribution Learning for Action Quality
Assessment [91.05846506274881]
行動品質評価(AQA)のための不確実性認識スコア分布学習(USDL)手法を提案する。
具体的には、異なる評価スコアの確率を記述したスコア分布に関連する事例として、アクションを考察する。
微粒なスコアラベルが利用できる状況下では、多パス不確実性を考慮したスコア分布学習法(MUSDL)を考案し、スコアの不整合成分を探索する。
論文 参考訳（メタデータ） (2020-06-13T15:41:29Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳（メタデータ） (2020-06-08T07:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。