論文の概要: Validating LLMs in social science: Epistemic threats and emerging norms

• arxiv url: http://arxiv.org/abs/2607.07915v1
• Date: Wed, 08 Jul 2026 20:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.341492
• Title: Validating LLMs in social science: Epistemic threats and emerging norms
• Title（参考訳）: 社会科学におけるLCMの検証--疫学的な脅威と新たな規範
• Abstract要約: 大規模言語モデル(LLM)は社会科学の方法論を変えつつある。 LLMは、バイアス、幻覚、コンテキスト間の脆さなど、方法論的な課題を提起する。 我々は8つの主要な社会科学雑誌の総合的な論文コーパスにおける検証の実践を分析した。
• 参考スコア（独自算出の注目度）: 10.804142977201941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are reshaping social science methodology. Researchers increasingly prompt language models to generate quantitative measurements of social concepts, for example labeling data or simulating survey responses. Yet LLMs pose methodological challenges including bias, hallucination, and brittleness across contexts, with unclear threats to validity. Standard practices and norms for addressing these challenges are still emerging. We collect and systematically analyze validation practices in a comprehensive corpus of papers from eight flagship social science journals that use LLMs as measurement instruments. We find that LLM-generated measurements frequently play a central role in empirical analyses, yet validation practices are inconsistent and limited. We outline complementary strategies for more robust validation, pointing toward better norms and standards around the use of LLMs in social science.
• Abstract（参考訳）: 大規模言語モデル(LLM)は社会科学の方法論を変えつつある。 研究者は言語モデルに、例えばデータのラベル付けや調査応答のシミュレートなど、社会概念の定量的な測定を生成するように促している。 しかし、LCMは、バイアス、幻覚、コンテキスト間の脆さといった方法論上の課題を提起し、有効性に対する明確な脅威がある。 これらの課題に対処するための標準のプラクティスと規範は、まだ現れています。 LLMを計測機器として利用する8つの主要な社会科学雑誌から、総合的な論文コーパスで検証の実践を収集し、体系的に分析する。 LLMによる測定は経験的分析において中心的な役割を果たすことが多いが、検証の実践は矛盾し、限定的である。 社会科学におけるLLMの使用に関する規範や基準の改善をめざして、より堅牢な検証のための補完的戦略を概説する。

関連論文リスト

• A Survey of Large Language Models for Perception and Measurement of Human Psychology [55.608047817598965]
  中心的な問題は、大規模言語モデルが複雑で潜伏した人間の心理的構造を正確に知覚し、測定する能力を持っているかどうかである。 本稿では,人間の心理測定機器としてのLSMの使用に着目した系統的なレビューを行う。
  論文  参考訳（メタデータ） (2026-05-20T14:54:09Z)
• Meta-Judging with Large Language Models: Concepts, Methods, and Challenges [0.5095655848679577]
  大規模言語モデル(LLM)は急速に進化しており、現在では評価者として頻繁に使われている。 メタアジャッジの最近の進歩を振り返り,文献を整理する。 LLM-as-a-Meta-Judgeはより安定的で信頼性の高い自動評価に有望な方向を提供すると我々は主張する。
  論文  参考訳（メタデータ） (2026-01-24T05:41:50Z)
• Knowing Your Uncertainty -- On the application of LLM in social sciences [37.703249716862054]
  大規模言語モデル(LLM)は、計算社会科学研究に急速に統合されている。 本稿では, LLMを社会科学的タスクに適用するには, 不確実性を明確に評価する必要があると論じる。
  論文  参考訳（メタデータ） (2025-12-05T06:36:15Z)
• A word association network methodology for evaluating implicit biases in LLMs compared to humans [0.0]
  大規模言語モデル(LLM)における暗黙バイアス評価のための新しい単語関連ネットワーク手法を提案する。 提案手法では,LLMに符号化された暗黙的関係構造を解析し,バイアスの定量的および定性的評価を行う。 提案手法の有用性を実証するために, 性別, 宗教, 民族性, 性的指向, 政党に関連する社会的偏見を調べるために, 人間と多用されたLLMの両方に適用した。
  論文  参考訳（メタデータ） (2025-10-28T15:03:18Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Social Debiasing for Fair Multi-modal LLMs [59.61512883471714]
  MLLM(Multi-modal Large Language Models)は、研究分野を劇的に進歩させ、強力な視覚言語理解機能を提供する。 これらのモデルは、しばしば訓練データから根深い社会的偏見を継承し、人種や性別などの属性に対する不快な反応をもたらす。 本稿では,MLLMにおける社会的バイアスの問題を,複数の社会的概念を持つ包括的対実的データセットを導入することで解決する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence [5.147767778946168]
  我々は、23の最先端のLarge Language Models (LLMs)ベンチマークを批判的に評価する。 私たちの研究は、バイアス、真の推論、適応性、実装の不整合、エンジニアリングの複雑さ、多様性、文化的およびイデオロギー規範の見落としなど、重大な制限を明らかにしました。
  論文  参考訳（メタデータ） (2024-02-15T11:08:10Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• Post Turing: Mapping the landscape of LLM Evaluation [22.517544562890663]
  本稿では,アラン・チューリングによる基礎的疑問からAI研究の現代まで,大規模言語モデル (LLM) 評価の歴史的軌跡を追究する。 これらのモデルのより広範な社会的意味を考慮し、統一的な評価システムの必要性を強調した。 この作業は、AIコミュニティがLLM評価の課題に協力して対処し、信頼性、公正性、社会的な利益を保証するために役立ちます。
  論文  参考訳（メタデータ） (2023-11-03T17:24:50Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。