論文の概要: Measuring Scalar Constructs in Social Science with LLMs

• arxiv url: http://arxiv.org/abs/2509.03116v1
• Date: Wed, 03 Sep 2025 08:19:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.457769
• Title: Measuring Scalar Constructs in Social Science with LLMs
• Title（参考訳）: LLMを用いた社会科学におけるスカラー構成の測定
• Authors: Hauke Licht, Rupak Sarkar, Patrick Y. Wu, Pranav Goel, Niklas Stoehr, Elliott Ash, Alexander Miserlis Hoyle,
• Abstract要約: 大規模言語モデル(LLM)はスカラー構造を測定するための魅力的なツールである。 社会科学におけるスカラー構造測定への4つのアプローチを評価する。 訓練ペアを1,000個も持たない小型モデルは、誘導LDMの性能にマッチまたは超えることができる。
• 参考スコア（独自算出の注目度）: 48.92998035333579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many constructs that characterize language, like its complexity or emotionality, have a naturally continuous semantic structure; a public speech is not just "simple" or "complex," but exists on a continuum between extremes. Although large language models (LLMs) are an attractive tool for measuring scalar constructs, their idiosyncratic treatment of numerical outputs raises questions of how to best apply them. We address these questions with a comprehensive evaluation of LLM-based approaches to scalar construct measurement in social science. Using multiple datasets sourced from the political science literature, we evaluate four approaches: unweighted direct pointwise scoring, aggregation of pairwise comparisons, token-probability-weighted pointwise scoring, and finetuning. Our study yields actionable findings for applied researchers. First, LLMs prompted to generate pointwise scores directly from texts produce discontinuous distributions with bunching at arbitrary numbers. The quality of the measurements improves with pairwise comparisons made by LLMs, but it improves even more by taking pointwise scores and weighting them by token probability. Finally, finetuning smaller models with as few as 1,000 training pairs can match or exceed the performance of prompted LLMs.
• Abstract（参考訳）: 言語を特徴付ける多くの構造体は、その複雑さや感情など、自然に連続する意味構造を持ち、公言は単に「単純」あるいは「複雑」であるだけでなく、極端な間の連続体に存在する。 大規模言語モデル (LLMs) はスカラー構造を測定するための魅力的なツールであるが, 数値出力の慣用的処理は, どのように最適に適用するかという疑問を提起する。 社会科学におけるスカラー構造測定へのLCMに基づくアプローチを包括的に評価することで,これらの課題に対処する。 政治学文献から得られた複数のデータセットを用いて,非重み付き直接点検定,ペアワイズ比較の集計,トークン確率重み付け点検定,微調整の4つのアプローチを評価する。 本研究は応用研究者に有効な知見を与える。 まず、LLMはテキストから直接ポイントワイズスコアを生成するように促され、任意の数に群がった不連続な分布を生成する。 測定の質はLLMによるペアワイズ比較により向上するが、ポイントワイズスコアを採り、トークン確率で重み付けすることでさらに向上する。 最後に、1000組のトレーニングペアで小型モデルを微調整することで、誘導LDMの性能にマッチまたは超えることができる。

関連論文リスト

• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms [0.0]
  フィールドテストによるアイテムの難易度の推定は、しばしばリソース集約的で時間を要する。 本研究は,大言語モデル(LLM)を用いて,K-5数学および読解評価項目の項目難易度を予測することの実現可能性について検討する。
  論文  参考訳（メタデータ） (2025-04-09T00:04:07Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Unveiling Scoring Processes: Dissecting the Differences between LLMs and Human Graders in Automatic Scoring [21.7782670140939]
  大規模言語モデル(LLM)は、構築された応答評価のための自動スコアリングを行う上で、強力な可能性を示している。 人間によってランク付けされた構築された応答は、通常、与えられた格付けされたルーリックに基づいているが、LSMがスコアを割り当てる方法はほとんど不明である。 本稿では,理科の課題に対する学生の書面回答と人間のスコアとの整合性を評価するために,LLMが用いたグレーディングルーブリックを明らかにする。
  論文  参考訳（メタデータ） (2024-07-04T22:26:20Z)
• CSS: Contrastive Semantic Similarity for Uncertainty Quantification of LLMs [1.515687944002438]
  テキストペアの不確実性を測定するための類似性特徴を求めるモジュールであるContrastive Semantic similarityを提案する。 我々は,3つの大規模言語モデル (LLM) を用いて,複数のベンチマーク質問応答データセットについて広範な実験を行った。 提案手法は,LLMの信頼性の高い応答を,同等のベースラインよりも高い精度で推定できることを示す。
  論文  参考訳（メタデータ） (2024-06-05T11:35:44Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
  MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。 本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。 我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
  論文  参考訳（メタデータ） (2023-11-20T07:06:31Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。