論文の概要: Reproducibility is not construct validity: LLM measurement of institutionally situated communication
- arxiv url: http://arxiv.org/abs/2609.19866v1
- Date: Thu, 17 Sep 2026 08:19:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.161976
- Title: Reproducibility is not construct validity: LLM measurement of institutionally situated communication
- Title（参考訳）: 再現性は構成的妥当性ではない:LLMによる施設間通信の計測
- Abstract要約: 本研究は、構造化された調査回答と、同一利害関係者からのフリーテキスト・コンサルテーションの提出を関連づけるものである。
ビジネスアソシエーションは、調査回答よりもテキストベースのコンサルティングにおけるAIリスクに対する懸念を強く表している。
調査報告された懸念は、すべてのばらつきレベルにおける説明可能性のサポートと強く関連している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High annotation reproducibility does not necessarily imply that an LLM-inferred measure captures the construct it is intended to measure. We test this distinction using a dataset from the European Commission's AI Act consultation, linking structured survey responses to free-text consultation submissions from the same stakeholders. LLM annotations of consultation submissions are highly reproducible (intraclass correlations > 0.99), yet show limited convergence with survey-reported measures of the nominal construct they were intended to approximate. Divergence between survey-and LLM-inferred text-based measures varies systematically across stakeholder groups: business associations express greater concern about AI risks in text-based consultations than in survey responses ({g} = +1.0), whereas public authorities and several nonbusiness groups show smaller or negative divergences. Divergences between scores suggest positive spatial autocorrelation across European countries (Moran's I = 0.347, p = 0.036), indicating that stakeholders from neighboring countries tend toward more similar text-based stances towards AI safety concerns. Despite divergence, survey-reported concerns remain strongly associated with support for explainability across all divergence levels. These results demonstrate that LLM annotation reproducibility can coexist with poor construct correspondence and motivate validation procedures that distinguish reproducibility, construct validity, and communication context variation when LLMs are used as measurement instruments.
- Abstract（参考訳）: 高いアノテーションの再現性は、必ずしもLLMが推論した測度が測定対象の構成をキャプチャすることを意味するわけではない。
我々は、欧州委員会AI法コンサルティングのデータセットを使用して、構造化された調査回答と、同じ利害関係者からのフリーテキストコンサルティング提案をリンクして、この区別をテストする。
コンサルテーション提案のLCMアノテーションは非常に再現性が高い(クラス内相関 > 0.99)が、それらが近似することを意図した名目構成に関する調査報告された尺度との限定的な収束を示す。
ビジネス・アソシエーションは、調査回答({g} = +1.0)よりも、テキストベースのコンサルティングにおけるAIリスクに対する懸念を強く表している。
スコアの相違は、ヨーロッパ諸国(モランのI = 0.347, p = 0.036)における肯定的な空間的自己相関を示し、近隣諸国の利害関係者は、AIの安全性に関するより類似したテキストベースのスタンスに向かっていることを示している。
ばらつきにもかかわらず、調査報告された懸念は、すべてのばらつきレベルにおける説明可能性のサポートと強く関連している。
これらの結果から,LCMアノテーションの再現性は,再現性や構成妥当性,通信状況の変化を計測機器として使用する場合の通信状況の差異を識別する,構成対応の貧弱さやモチベーションの検証手順と共存可能であることが示唆された。
関連論文リスト
- Persuasive and Compliant Tendencies Predict Group Decision-Making in Humans and Language Models [65.21691850622413]
大規模言語モデル(LLM)は、人間との集団意思決定にますます関与している。
本稿では,各モデルの説得性およびコンプライアンス傾向を測定するための質問紙ベースのフレームワークであるDecisionQEを紹介する。
より強い説得傾向はグループの結果を著しく改善しないが、コンプライアンス指向モデルは協調においてより安定した優位性を示す。
論文 参考訳（メタデータ） (2026-08-08T15:50:56Z) - Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳（メタデータ） (2026-07-21T16:15:05Z) - RPAM: A Principled Metric for Evaluating Associations in Language Models with High Predictive Validity in Downstream Outputs [8.688578727646405]
言語モデル(LM)はステレオタイプのような問題バイアスを示す。
このようなバイアスを効果的に分析し緩和するには、正確で一般化可能な評価方法が必要である。
生成型LMの相関評価指標であるRPAM(Relative Probability Association Metric)を紹介する。
論文 参考訳（メタデータ） (2026-07-06T22:48:13Z) - What Is Actually Being Annotated? Inter-Prompt Reliability as a Measurement Problem in LLM-Based Social Science Labeling [8.119041322912375]
本稿では,言語的に異なるプロンプト間での大規模言語モデル(LLM)の安定性を評価するためのフレームワークであるInter-Prompt Reliability(IPR)を紹介する。
TREC(解釈的)とポリティファクト(知識的)の2つの特性を持つタスクでこの枠組みを評価する。
論文 参考訳（メタデータ） (2026-04-02T02:35:25Z) - On the Credibility of Evaluating LLMs using Survey Questions [0.42061757959666934]
近年,大規模言語モデル(LLM)の価値指向を適応型社会調査を用いて評価している。
本稿では, 正確な設定に依存して, 値配向の類似性を過小評価し, 過度に見積もることの限界を明らかにする。
5か国3ヶ国における世界価値調査(World Value Survey)を用いて、直接対思考の連鎖(direct vs. chain-of-thinkt)と復号戦略(greedy vs. sample)が結果に有意な影響を及ぼすことを示した。
論文 参考訳（メタデータ） (2026-02-03T21:45:43Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z) - Emphasising Structured Information: Integrating Abstract Meaning Representation into LLMs for Enhanced Open-Domain Dialogue Evaluation [31.633351104278194]
本フレームワークは,意味表現学習の強化を目的としたゲーティング機構を通じて,AMRグラフ情報を統合する。
本フレームワークは,複数のデータセットにまたがる人間の判断と強い相関関係を達成し,対話評価のための新たなベンチマークを確立する。
論文 参考訳（メタデータ） (2024-04-01T14:11:45Z) - Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳（メタデータ） (2024-02-15T18:46:24Z) - "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。
NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。
本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
論文 参考訳（メタデータ） (2023-12-18T17:18:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。