論文の概要: Presentation Sensitivity in Typed Decision Models for Subjective Text Evaluation
- arxiv url: http://arxiv.org/abs/2611.06384v1
- Date: Wed, 04 Nov 2026 11:48:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.098413
- Title: Presentation Sensitivity in Typed Decision Models for Subjective Text Evaluation
- Title（参考訳）: 主観的テキスト評価のためのタイプ決定モデルの提示感度
- Abstract要約: 本稿では,Jev,Clef Flash,Perplexity Deciderなどの決定モデルにおける提示感度の制御監査を行う。
我々は、ポジション、識別子、著者の主張、支持、意思決定の枠組み、格付けの粗悪さを変える介入の下で702,000の判断を収集する。
- 参考スコア（独自算出の注目度）: 2.8115115690134753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Typed decision models offer structured choices, scores, and probabilities for low-cost automated evaluation. We present a controlled audit of presentation sensitivity in Jev, Clef Flash, and Perplexity Decider across native choice and score interfaces. Across six datasets with 9,000 multiply annotated humor, helpfulness, and summarization items, we collect 702,000 judgments under interventions that vary positions, identifiers, authorship claims, endorsements, decision framing, and rating rubrics while preserving the evaluated texts. Jev's second-position probability advantage reaches 6.11 percentage points on summaries; reversing reader endorsements changes Perplexity's selected humor text on 40.40% of pairs; and rejection framing reduces Clef's summary agreement with human preferences by 23.36 points. Rating formats also shift score levels while often preserving rankings. Across these findings, repeatability, presentation robustness, and human alignment emerge as distinct properties of an evaluator. Reliable use therefore requires validating the decisions and score interpretations on which an evaluation pipeline depends.
- Abstract（参考訳）: 型付き決定モデルは、低コストの自動評価のための構造化された選択、スコア、確率を提供する。
本稿では,Jev,Clef Flash,Perplexity Deciderのプレゼンテーション感度を,ネイティブ選択およびスコアインターフェースで制御した監査を行う。
9000の注釈付きユーモア, 有用性, 要約項目を含む6つのデータセットにまたがって, 評価されたテキストを保存しながら, 位置, 識別子, 著者の主張, 支持, 決定フレーミング, 評価の粗悪さの異なる介入の下で702,000の判断を収集する。
Jevの2位確率の優位性は要約で6.11ポイントに達し、読者の支持が逆転し、40.40%のペアでパープレキシティが選んだユーモアテキストが変わる。
レーティングフォーマットはスコアレベルもシフトするが、ランキングは維持されることが多い。
これらの結果、再現性、提示の堅牢性、人間のアライメントは評価器の異なる特性として現れる。
そのため、信頼性の高い利用には、評価パイプラインが依存する決定の検証と解釈のスコアが必要である。
関連論文リスト
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。
ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。
10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
論文 参考訳（メタデータ） (2026-10-02T14:36:46Z) - Judging a Review by its Cover: A Reliability Analysis of LLM-based Peer Review Evaluation Metrics [13.687981034782517]
ピアレビュー評価指標が,表層言語以外の実体的レビュー品質をキャプチャするかどうかを検証するためのフレームワークを提案する。
我々は,文章やプレゼンテーションを変えながら,同じ評価内容を保持する忠実なLLMリライトと,オリジナルの人間レビューを比較した。
これらの結果から,多くのピアレビュー評価指標がレビュー品質と言語的プレゼンテーションを部分的に説明していることが明らかとなった。
論文 参考訳（メタデータ） (2026-09-20T00:49:57Z) - Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation [3.079997053226693]
本報告では,4つの主要なツールコール・ベンチマーク・ファミリーの体系的妥当性と評価について述べる。
496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。
ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する指標について議論する。
論文 参考訳（メタデータ） (2026-06-30T21:10:42Z) - Hierarchical Online Prompt Mutation with Dual-Loop Feedback for Guardrailed Evidence Document Generation: A Production-Evaluation Case Study [0.0]
HOPMは階層的なオンラインプロンプト突然変異フレームワークである。
本論文は、制御設定、サンプルサイズ、信頼区間、ペアテスト、プロンプトトークンカテゴリ、擬似コード、スキーマ、ルーリック、ガードレール分類、構築された例を含む。
論文 参考訳（メタデータ） (2026-05-31T22:17:44Z) - Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale [1.6058099298620423]
データセットは、1000のドキュメント-300のジャーナリスト記事と700のランダムに選択されたWebテキストで構成されている。
このデータセットは、アノテーション自動化の実験としてGPT-5によって生成されるスコアを含む。
論文 参考訳（メタデータ） (2025-12-10T13:22:16Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。