論文の概要: Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring

• arxiv url: http://arxiv.org/abs/2610.22187v1
• Date: Thu, 15 Oct 2026 16:42:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.19601
• Title: Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring
• Title（参考訳）: LLMテキストスコーリングにおける評価尺度感度の評価
• Abstract要約: 評価尺度設計によるLLM生成ルーリックスコアの尺度感度, 変動について検討した。 1つのデザイン要素を変更することで、正規化されたスコアを平均で約0.10にシフトし、テキストの約20%のカテゴリを変更する。 より信頼性の高いLCMベースのテキストスコアリングを設計するための実用的なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 7.0457395457165894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used in computational social science to assign scalar scores to social and psychological constructs. However, studies use different rating scales, and whether their scores remain comparable across scale designs is understudied. To address this gap, we define and systematically investigate scale sensitivity, the variation in LLM-generated scores caused by rating scale design. We distinguish numerical sensitivity, changes in normalized scores, from semantic sensitivity, changes in score interpretation. To assess both, our experimental design crosses 2 formats (continuous vs. ordinal), 4 ranges (3, 5, 11, and 21 points), and 2 signs (signed vs. unsigned) across 3 tasks (political leaning, sentiment, and toxicity), 2 prompting strategies (zero-shot and rubric-based), and 5 LLMs. We find that changing one design element shifts normalized scores by about 0.10 on average and changes the category of roughly 20% of texts. Sensitivity is greatest for toxicity, the only unipolar construct examined. Also, rubric-based prompting does not reduce sensitivity compared with zero-shot prompting. We provide practical guidance for designing more reliable LLM-based text scoring and highlight the need for robustness checks across alternative scales.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、スカラースコアを社会的・心理的構成物に割り当てるために、計算社会科学でますます使われている。 しかし、研究は異なる評価尺度を使用しており、それらのスコアがスケール設計に匹敵するかどうかが検討されている。 このギャップに対処するために、評価尺度設計によるLLM生成スコアの変動である尺度感度を定義し、体系的に検討する。 我々は,数値感度,正規化スコアの変化,意味感度,得点解釈の変化を区別する。 どちらも評価するために,実験的な設計は,2つの形式(連続対順序),4つの範囲(3,5,11,21点),3つのタスク(政治的傾倒,感情,毒性)にまたがる2つのサイン(符号対符号なし),2つのプロンプト戦略(ゼロショットとルーリックベース)と5つのLLMを横断する。 1つのデザイン要素の変更は、平均で正規化スコアを約0.10シフトし、テキストの約20%のカテゴリを変更する。 感度は毒性にとって最大であり、唯一の一極性構造である。 また、ルーリックベースのプロンプトはゼロショットプロンプトに比べて感度を低下させない。 我々は、より信頼性の高いLCMベースのテキストスコアリングを設計するための実践的なガイダンスを提供し、代替スケールにおけるロバストネスチェックの必要性を強調する。

関連論文リスト

• How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review [34.868311584135775]
  報告された科学的内容が保存されている場合、修辞的選択がAIレビューの判断をどのように形成するかを検討する。 我々は120の匿名ICLR 2026からの4,200のフルペーパー原稿の制御コーパスを構築した。
  論文  参考訳（メタデータ） (2026-08-10T00:42:51Z)
• Do Image-Text Metrics Respect Semantic Invariances? [32.397351493793416]
  3軸の摂動を意味論的に保存する5つの人気評価器に不変なプローブを提案する。 連続した非意味的感性を見いだし, 空間的編集や簡単なフレーズ変化を平均で$approx$6--9%シフトする。 小さな人間の研究もこの発見を支持し、アノテータがペアを概して同じくらい正しいと判断していることを確認し、これらの変化は意味的変化よりもメートル法的な振る舞いを反映している。
  論文  参考訳（メタデータ） (2026-05-23T18:53:51Z)
• SMAB: MAB based word Sensitivity Estimation Framework and its Applications in Adversarial Text Generation [10.111657705438654]
  単語レベルの局所(文レベル)とグローバル(集約)の感性を計算するために,感性に基づく多言語帯域幅フレームワーク(SMAB)を導入する。 このアルゴリズムは直感的に高感度かつ低感度な単語をキャプチャする。 また,ゴールドデータがない場合,感度が精度の指標となることを示す。
  論文  参考訳（メタデータ） (2025-02-10T22:46:57Z)
• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
  本稿では,関数の感度に基づく包括的即時解析を提案する。 出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。 本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
  論文  参考訳（メタデータ） (2023-11-13T10:52:01Z)
• Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction [86.15787587540132]
  語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。 本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
  論文  参考訳（メタデータ） (2022-11-13T23:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。