論文の概要: How to Build a Benchmark That Actually Measures Taste
- arxiv url: http://arxiv.org/abs/2610.14707v1
- Date: Sat, 10 Oct 2026 08:26:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.093193
- Title: How to Build a Benchmark That Actually Measures Taste
- Title（参考訳）: 味を実際に測定するベンチマークを構築する方法
- Abstract要約: 専門家による"味"ベンチマークは、テストを実行する能力ではなく、クラフト判断に報いるべきだ。
TasteBenchは、ビジュアル、ブランド、書籍、およびテクノロジーアイテムを対象とした、ペアワイズで良質なvs-badベンチマークです。
- 参考スコア（独自算出の注目度）: 11.968624461932253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Expert-aligned "taste" benchmarks should reward craft judgment, not the ability to game the test. We introduce TasteBench, a pairwise good-vs-bad benchmark across visual, brand, book, and tech items under a frozen rubric with expert-only gold (panel n>=3; percent agreement >=0.60 primary gate; weak engagement labels train/analysis-only), together with a control protocol that separates craft judgment from test-gaming. Applying the protocol to a Round-1 pilot (primary_human_expert; three biological human experts; n=250 pairs) surfaces and quantifies three validity threats: two construction artifacts that inflate the trivial-baseline layer, and a difficulty ceiling that inflates every score. (1) Position: the preferred item is slot A with probability 0.956, so an always_item_a policy scores 0.956 (fair chance 0.5). (2) Lexical leakage: a filename token cue scores 0.912. (3) Difficulty ceiling: craft domains show near-ceiling human agreement (book/brand/tech 1.0), and even under A/B randomization (eval_assignment_seed7; gold_side_A ~0.47) all five VLM cards reach 1.0 on craft, with only visual separating (~0.84-0.91; a post-hoc hard subset, n=107, leaves craft at 1.0). The protocol (expert-only gold, a weak-label firewall, side randomization at construction, filename scrubbing, and hard filters) makes each artifact measurable and, for the two construction artifacts, correctable; we release a reference eval harness and a side-randomization tool, and show the tool removes the position skew (0.916 to 0.495/0.505). The result is a calibrated view of what the benchmark does and does not yet measure: position and leakage are fixable, whereas the craft-domain ceiling is a pair-difficulty limit that Round-2 must address. We do not evaluate engagement, era/circle conditioning, or calibration here, and we claim no general taste SOTA.
- Abstract（参考訳）: 専門家による"味"ベンチマークは、テストを実行する能力ではなく、クラフト判断に報いるべきだ。
TasteBenchは、ビジュアル、ブランド、書籍、技術アイテムのペアワイズな良いvs-badベンチマークで、専門家のみのゴールド(パネルn>=3;%の合意 >=0.60のプライマリゲート、弱いエンゲージメントラベルのトレーニング/分析専用)と、テストゲームからクラフト判断を分離するコントロールプロトコルを紹介します。
このプロトコルをRound-1パイロット(3つの生物の専門家、n=250ペア)に適用し、3つの妥当性の脅威を定量化する: 自明なベースライン層を膨らませる2つの建設人工物と、全てのスコアを膨らませる難易度天井である。
1) 位置: 好適な項目は確率0.956のスロットAであるため、 always_item_a ポリシーは0.956(フェアチャンス0.5)となる。
2) 語彙リーク: ファイル名トークンキューのスコア0.912。
(3) 難易度の高い天井: クラフトドメインは、ほぼシーリングする人間の合意(book/brand/tech 1.0)を示し、A/Bランダム化(eval_assignment_seed7; gold_side_A ~0.47)の下でも、5つのVLMカードはすべて、クラフト上で1.0に達する。
プロトコル(専門家専用金、弱いラベルファイアウォール、建設時のサイドランダム化、ファイル名スクレイビング、ハードフィルタ)は、それぞれのアーティファクトを計測可能とし、2つの構築アーティファクトに対して、参照エバルハーネスとサイドランダム化ツールをリリースし、ツールが位置スキュー(0.916〜0.495/0.505)を除去することを示す。
その結果は、ベンチマークが何をしているか、まだ測定されていないかの調整されたビューである: 位置とリークは固定可能であるが、クラフトドメインの天井はラウンド2が対処しなければならないペアディフルトな制限である。
ここではエンゲージメント,年代/周条件,キャリブレーションの評価は行わず,一般味のソータは認めない。
関連論文リスト
- DeBERTa-ConPara: Attack-Aware and Deployment-Realistic Detection of AI-Generated Text [42.255101883505056]
DeBERTa-ConParaは,HC3 Plus,M4,MAGE,RAIDで学習した文脈変換器エンコーダと,攻撃対応Unicode前処理を組み合わせたデプロイメント指向検出器である。
我々の中心的な発見は、前処理が適用された場所によって反対方向に作用することである。
2つの配置の因子的変化は、正規化推論による生のトレーニングを最高の設定として独立に識別する。
12種類の攻撃クラスのうち、ホモグリーフとゼロ幅空間の挿入は11.05%から1.12%から96.98%に増加した。
論文 参考訳（メタデータ） (2026-10-01T00:57:33Z) - Fusion Under Component Failure: Negative Results and Failure Modes in Ensemble AI-Generated Image Detection [1.3330055788395634]
我々は、AI生成画像検出のための通常の積み重ねアンサンブルを構築する。
3つのオープン・ディテクターが5つのスコアを発生させ、ディテクターの故障をデータ不足として扱います。
本稿は、これまでの結論を覆すものも含めて、どのようなコントロールが見つかったのかを報告する。
論文 参考訳（メタデータ） (2026-09-23T08:14:20Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - Replicating TRACE: A Practitioner's Guide to Its Threshold and Particle Budget [0.10923877073891443]
TRACEは、事前訓練された自己回帰シーケンスモデルから因果グラフを読み出す。
正確な介入真理に対する平均F1は、語彙サイズ1000で0.90-0.91に達する。
論文 参考訳（メタデータ） (2026-09-01T11:48:16Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection [0.0]
ベンチマーク汚染はn-gram重なり、可能性に基づくメンバーシップ推論、カナリア文字列と診断される。
これを行う自然な方法はうまくいかないことを示し、測定を生き残るものを特定し、それを動作させる補正が、テストされるnullよりも多くのばらつきをもたらすことを見つけます。
論文 参考訳（メタデータ） (2026-08-12T23:27:20Z) - Similarity Gates Approve Reversals: A Validity Audit of Embedding-Cosine Thresholds in Agent Systems [0.0]
エージェントフレームワークは、テキストブロックを埋め込みコサインの類似性によって比較し、固定されたカットオフを決定する品質ゲートを出荷する。
重複フィルタ、セマンティックキャッシュ、ドリフトガード、応答グレーダゲートは、質問に答えるために配置されます。
我々はこのゲートクラスを測定器として監査する。
論文 参考訳（メタデータ） (2026-08-10T20:36:40Z) - Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
私たちは検出器を構築し、その証拠として属性マップを添付します。
私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。
属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
論文 参考訳（メタデータ） (2026-07-31T16:07:05Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Impact of Labeling Inaccuracy and Image Noise on Tooth Segmentation in Panoramic Radiographs using Federated, Centralized and Local Learning [46.232038247686745]
フェデレートラーニング(FL)は、歯科診断AIにおけるプライバシー制約、不均一なデータ品質、一貫性のないラベル付けを緩和する。
複数のデータ破損シナリオを対象としたパノラマX線撮影において,FLと集中学習(CL)と局所学習(LL)を比較した。
論文 参考訳（メタデータ） (2025-09-08T11:07:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。