論文の概要: When Inputs Receive No Score: Evaluating Open-Web Event Admission on the Complete Stream

• arxiv url: http://arxiv.org/abs/2610.17814v3
• Date: Sat, 17 Oct 2026 15:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 21:22:33.483324
• Title: When Inputs Receive No Score: Evaluating Open-Web Event Admission on the Complete Stream
• Title（参考訳）: 入力がスコアを受け取らないとき: 完全なストリーム上でのオープンWebイベントの承認を評価する
• Abstract要約: 項目レベルの受入がランキング比較と運用上の決定の制約をどう変えるかを検討する。 6つのインストラクションモデルバックボーン、3つの戦略、602人のアノテート評価項目にまたがって、システムは異なるクラス構成で異なる集団をスコア付けする。 キャリブレーションの実現可能性を確認し,上流でのスコア損失と意思決定損失を分離する完全ストリーム評価プロトコルを用いて,これらの観測を接続する。
• 参考スコア（独自算出の注目度）: 5.189969734952478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Web item can link to the correct event without contributing information worth organizing. Evaluating item-level admission therefore begins with complete inputs, including those a processing pipeline fails to score. We study how this upstream selection changes ranking comparisons and constrains operational decisions. Across six instruction-model backbones, three strategies, and 602 human-annotated evaluation items, systems score different populations with different class compositions. Comparing rankings on shared inputs separates these population differences from discrimination. Score availability also limits attainable retention: four configurations score only ten of twelve positive development items, making a 90% full-stream target unreachable by threshold adjustment. Paired precision experiments show that this constraint depends on execution configuration as well as model choice. Qwen scores the same number of evaluation items under INT4 and INT8, yet exchanges four scored items for four others. Extraction-recovery diagnostics further show that obtaining more scores can increase false acceptance under an unchanged threshold. We connect these observations through a complete-stream evaluation protocol that checks calibration feasibility and separates upstream score loss from decision loss. The resulting account explains which inputs a system can score, what its operating point can achieve, and what it actually admits.
• Abstract（参考訳）: Webアイテムは、整理する価値のある情報を提供することなく、正しいイベントにリンクすることができる。 したがって、アイテムレベルのインプットの評価は、処理パイプラインが得点できないものを含む完全なインプットから始まります。 本研究では、上流選択がランキング比較をどのように変更し、運用上の決定を制約するかを検討する。 6つのインストラクションモデルバックボーン、3つの戦略、602人のアノテート評価項目にまたがって、システムは異なるクラス構成で異なる集団をスコア付けする。 シェアインプットのランキングを比較すると、これらの人口差は差別と区別される。 4つの構成では、12のポジティブな開発項目のうち10しかスコアを付けておらず、90%のフルストリームターゲットをしきい値調整で到達不能にしている。 ペア化された精度実験は、この制約が実行構成とモデル選択に依存することを示している。 Qwen はINT4 と INT8 で同じ数の評価項目を採点するが、4つの評価項目を他の4つと交換する。 抽出回収診断は、より多くのスコアを取得することで、一定の閾値で偽の受け入れを増大させることができることを示している。 キャリブレーションの実現可能性を確認し,上流でのスコア損失と意思決定損失を分離する完全ストリーム評価プロトコルを用いて,これらの観測を接続する。 得られたアカウントは、システムがどの入力を採点できるか、その操作ポイントが何を達成できるか、そして実際に何を認めたかを説明します。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Adversarial Cues in Decision Models Used as Judges: The Role of Request Presentation [1.7259824817932294]
  候補に1つのコロニーを追加すると、構造化された判定要求の提示に応じて、この要件に違反する可能性があることを示す。 基本的な判断能力は、固定された候補編集に対して、著しく異なる脆弱性と共存できることを示す。
  論文  参考訳（メタデータ） (2026-10-08T07:59:48Z)
• Inquesto Score: A reliability Protocol For Voice Agents [53.4810159595586]
  Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。 タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。 Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
  論文  参考訳（メタデータ） (2026-09-24T20:07:53Z)
• LeakScale: Estimating the Causal Effect of Benchmark Exposure [0.6768558752130311]
  LeakScaleは、プライベートで家族固有の情報を必要とし、パブリックタスクから派生できない、新鮮な実行可能なタスクを生成する。 2,048のユニークなファミリー、2つのモデルファミリー、2つの実行可能ドメイン、262,144世代にわたる露出は、各モデルとドメインの組み合わせで精度を向上させる。
  論文  参考訳（メタデータ） (2026-09-23T00:28:57Z)
• Not All Agreement Counts as Corroboration: Provenance-Conserving Multi-View Fusion for Typed Action Admission in Human-Robot Collaboration [10.293646536158302]
  PACTはエビデンスカウンタビリティを、前立腺保存核融合とタイプドアクションエントリーのためのリレーショナル変数として扱う。 48のシーンクラスタで31,200以上の評価を行い、PACTは0.0861の共通支持型正規化リスクカバーエリア(ncsAURC)を達成した。 完全なソースレコードでは、ネイティブスコアはPACTを好むが、共通の後点スコアはネストしたディリクレとの違いを狭め、製品融合を好む。
  論文  参考訳（メタデータ） (2026-08-31T21:21:35Z)
• Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
  先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。 人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
  論文  参考訳（メタデータ） (2026-08-26T14:41:24Z)
• Recovery Rates Are Not Comparable Across Transcription Factors: Chance Correction for Attribution Evaluation [4.110454468583892]
  連続モチーフ重複の確率レベルは (L/(N-L+1)) であり、UniBindでは268の転写因子で0.0118から0.0427の範囲である。 我々は、任意の属性が計算される前に実行される2つの画面と、クローズドな形式のチャンスレベルを提供する。
  論文  参考訳（メタデータ） (2026-07-31T05:39:55Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Uncertainty-aware Score Distribution Learning for Action Quality Assessment [91.05846506274881]
  行動品質評価(AQA)のための不確実性認識スコア分布学習(USDL)手法を提案する。 具体的には、異なる評価スコアの確率を記述したスコア分布に関連する事例として、アクションを考察する。 微粒なスコアラベルが利用できる状況下では、多パス不確実性を考慮したスコア分布学習法(MUSDL)を考案し、スコアの不整合成分を探索する。
  論文  参考訳（メタデータ） (2020-06-13T15:41:29Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。