論文の概要: What is a protest anyway? Codebook conceptualization is still a first-order concern in LLM-era classification

• arxiv url: http://arxiv.org/abs/2510.03541v1
• Date: Fri, 03 Oct 2025 22:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.101383
• Title: What is a protest anyway? Codebook conceptualization is still a first-order concern in LLM-era classification
• Title（参考訳）: いずれにせよ抗議とは何か? コードブックの概念化は、LLM時代の分類において、いまだ第一級の懸念事項である
• Authors: Andrew Halterman, Katherine A. Keith,
• Abstract要約: 生成的大規模言語モデル(LLM)は現在、計算社会科学におけるテキスト分類に広く使われている。 我々は、概念化はLLM時代における一階の関心事であると主張している。
• 参考スコア（独自算出の注目度）: 4.318555434063273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative large language models (LLMs) are now used extensively for text classification in computational social science (CSS). In this work, focus on the steps before and after LLM prompting -- conceptualization of concepts to be classified and using LLM predictions in downstream statistical inference -- which we argue have been overlooked in much of LLM-era CSS. We claim LLMs can tempt analysts to skip the conceptualization step, creating conceptualization errors that bias downstream estimates. Using simulations, we show that this conceptualization-induced bias cannot be corrected for solely by increasing LLM accuracy or post-hoc bias correction methods. We conclude by reminding CSS analysts that conceptualization is still a first-order concern in the LLM-era and provide concrete advice on how to pursue low-cost, unbiased, low-variance downstream estimates.
• Abstract（参考訳）: 生成型大規模言語モデル(LLM)は、現在、計算社会科学(CSS)のテキスト分類に広く使われている。 本研究は, LLM導入前後のステップに着目し, LLM時代のCSSの多くでは見過ごされがちな概念概念の概念化と, 下流の統計的推論におけるLSM予測の利用について考察する。 我々は、LLMがアナリストに概念化のステップをスキップさせ、下流の推定をバイアスする概念化エラーを発生させることができると主張している。 シミュレーションを用いて, この概念化によるバイアスは, LLMの精度向上やポストホックバイアス補正法によってのみ修正できないことを示す。 我々は、CSSアナリストに対して、概念化はLLM時代における一階の関心事であり、低コストでバイアスのない低分散ダウンストリーム推定を追求する方法に関する具体的なアドバイスを提供する、と結論付けている。

関連論文リスト

• Enhancing Rating Prediction with Off-the-Shelf LLMs Using In-Context User Reviews [16.394933051332657]
  等級評価予測は、言語と数学的推論の両方を効果的に解く必要がある回帰タスクである。 本研究では,市販LCMの性能を評価予測に用い,異なるコンテキスト情報を提供する。 ユーザによるレビューでは,LCMのレーティング予測性能が大幅に向上していることがわかった。
  論文  参考訳（メタデータ） (2025-10-01T03:04:20Z)
• Alignment Revisited: Are Large Language Models Consistent in Stated and Revealed Preferences? [5.542420010310746]
  批判的だが、未調査の問題は、LLMが明記した嗜好と明らかにした嗜好との潜在的な相違である。 この研究は正式に定義され、この選好偏差を測定する方法を提案する。 我々の研究は、LDMをサービス、特に人間と直接対話するサービスに統合するために不可欠です。
  論文  参考訳（メタデータ） (2025-05-31T23:38:48Z)
• DIF: A Framework for Benchmarking and Verifying Implicit Bias in LLMs [1.89915151018241]
  我々は、Large Language Models(LLMs)における暗黙のバイアスは倫理的な問題であるだけでなく、技術的な問題でもあると主張している。 我々は、容易に解釈可能なベンチマークDIF(Demographic Implicit Fairness)の計算方法を開発した。
  論文  参考訳（メタデータ） (2025-05-15T06:53:37Z)
• Prejudge-Before-Think: Enhancing Large Language Models at Test-Time by Process Prejudge Reasoning [13.865037985388575]
  我々は LLM 推論に新しい Emphprocess prejudge 戦略を導入する。 我々は、推論ステップを表す理性において、事前判断ノードを定義する。 動的木探索戦略を用いた自動推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-18T06:42:30Z)
• Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models [50.16340812031201]
  我々は,大規模言語モデル (LLM) がベイジアンフレームワークから期待されているように,その信念を更新しないことを示す。 我々は、最適ベイズモデルの予測を模倣するように訓練することで、ベイズ的な推論をLLMに教える。
  論文  参考訳（メタデータ） (2025-03-21T20:13:04Z)
• Enough Coin Flips Can Make LLMs Act Bayesian [71.79085204454039]
  大規模言語モデル(LLMs)は、入力プロンプトで与えられた少数ショットの例を一般化する能力を示しており、これはICL(In-context Learning)として知られる創発的能力である。 LLM が ICL を用いて,ベイズフレームワークと整合性のある構造的推論を行うか,パターンマッチングに依存するかを検討する。
  論文  参考訳（メタデータ） (2025-03-06T18:59:23Z)
• Prompting Fairness: Integrating Causality to Debias Large Language Models [19.76215433424235]
  大規模言語モデル(LLM)は偏見や差別的な反応を生じさせる可能性がある。 社会的偏見に対処するための因果性誘導型脱バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-13T17:46:28Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。