論文の概要: What Is Actually Being Annotated? Inter-Prompt Reliability as a Measurement Problem in LLM-Based Social Science Labeling

• arxiv url: http://arxiv.org/abs/2604.16413v1
• Date: Thu, 02 Apr 2026 02:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.976457
• Title: What Is Actually Being Annotated? Inter-Prompt Reliability as a Measurement Problem in LLM-Based Social Science Labeling
• Title（参考訳）: 実際に注釈付けされているものは何か? LLMを用いた社会科学実験における測定問題としてのプロンプト間信頼性
• Authors: Jingyuan Liu,
• Abstract要約: 本稿では,言語的に異なるプロンプト間での大規模言語モデル(LLM)の安定性を評価するためのフレームワークであるInter-Prompt Reliability(IPR)を紹介する。 TREC(解釈的)とポリティファクト(知識的)の2つの特性を持つタスクでこの枠組みを評価する。
• 参考スコア（独自算出の注目度）: 8.119041322912375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used for annotation in computational social science, yet their methodological reliability under prompt variation remains unclear. This paper introduces Inter-Prompt Reliability (IPR), a framework for evaluating the stability of LLM outputs across semantically equivalent but linguistically varied prompts. Drawing on Inter-Rater Reliability, IPR is measured by Pairwise Agreement Rate (PAR) and its distribution to capture both consistency and stochasticity in model behavior. We evaluate this framework on two tasks with distinct properties: TREC (interpretative) and Politifact (knowledge-anchored). Results show that LLM annotation exhibits substantial stochastic variation in interpretative tasks, while appearing more stable in knowledge-based tasks. We further show that majority voting across prompts significantly improves reproducibility and reduces variance. These findings suggest that LLM prompt acts as an instrumental measurement while its wording exhibits methodological uncertainty. For future LLM-based CSS studies, we suggest that researchers move beyond single-prompt evaluation toward distributional stability and prompt aggregation within our IPR framework.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 計算社会科学におけるアノテーションとしてますます利用されているが, その方法論的信頼性は未だ不明である。 本稿では,LLM出力の安定性を,意味論的に等価だが言語学的に異なるプロンプトで評価するフレームワークであるIPR(Inter-Prompt Reliability)を紹介する。 IPRは、相互信頼度に基づいて、Pairwise Agreement Rate(PAR)とその分布を測定し、モデル行動の一貫性と確率性の両方を捉える。 本稿では,TREC(解釈的)とPolitfact(知識的)の2つの特性を持つ2つのタスクにおいて,この枠組みを評価する。 その結果,LLMアノテーションは解釈的タスクにおいてかなり確率的変化を示し,知識に基づくタスクではより安定であることがわかった。 さらに, 多数決投票は再現性を大幅に向上させ, ばらつきを低減させることを示す。 これらの結果から, LLMは測定器として機能し, その言葉遣いは方法論的不確実性を示すことが示唆された。 今後のLCMベースのCSS研究において、研究者は単一プロンプト評価を超えて、分布安定性とIPRフレームワーク内での迅速なアグリゲーションへと移行することを示唆している。

関連論文リスト

• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective [24.54292750583169]
  大規模言語モデル(LLM)は、しばしば固有のバイアスを伴う応答を生成し、現実のアプリケーションにおける信頼性を損なう。 LLMにおけるグループレベルの公平性を評価するための新しい統計フレームワークであるFiSCo(Fine-fine Semantic Comparison)を提案する。 モデル出力を意味的に異なるクレームに分解し、グループ間およびグループ間の類似性を比較するために統計的仮説テストを適用する。
  論文  参考訳（メタデータ） (2025-06-23T18:31:22Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Semantic Consistency for Assuring Reliability of Large Language Models [9.040736633675136]
  大規模言語モデル(LLM)は、様々な自然言語タスクに対して顕著な流布と能力を示す。 セマンティック一貫性の一般的な尺度を導入し、様々なLLMの性能を評価するために、この指標の複数バージョンを定式化する。 本稿では,Ask-to-Choose (A2C) と呼ばれる新しいプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2023-08-17T18:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。