論文の概要: JEV versus LLMs: Accuracy, Cost and Calibration on Seven Political Science Replications

• arxiv url: http://arxiv.org/abs/2610.06625v1
• Date: Mon, 05 Oct 2026 16:22:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.434589
• Title: JEV versus LLMs: Accuracy, Cost and Calibration on Seven Political Science Replications
• Title（参考訳）: JEV vs LLMs:7つの政治科学的重複の正確性、コスト、校正
• Abstract要約: 大規模言語モデル(LLM)は、テキストトークンを生成することによって、政治文書や構成物を注釈し、拡張する。 TypeSafeが"System One"モデルとして販売する新しいモデルのクラスは、代わりに、ユーザが提供する固定された回答セットを通じて、決定と確率分布を返却する。 商用モデルであるJEVは、従来のLCMよりも劇的なコストと速度の優位性があり、キャリブレーションの精度が向上していると宣伝されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) annotate and scale political text or constructs by generating text tokens. A new class of models, which TypeSafe markets as "System One" models, instead returns decisions and probability distributions across a user-supplied fixed answer set. A commercial model, JEV, is advertised as having a dramatic cost and speed advantage over traditional LLMs along with better calibrated decisions. As such, it might be useful for social scientists looking to quickly and cost-effectively annotate or scale large corpora of text and have a reliable indicator of a classifier's uncertainty. Yet, the accuracy of these claims and the broader model accuracy in social science text-based tasks are not yet established. In this paper, we do just that and hope to establish the suitability of JEV for social science tasks. We compare JEV with LLMs and human coders from published research, and with a current mid-tier commercial LLM (GPT-6 Luna) and an open-weight alternative (Qwen3.8-27B). We find that JEV matches, or comes close to, the capabilities of both LLMs in a variety of tasks. However, we find no cost advantage over GPT-6 Luna at OpenAI's batch prices. Further, we find that, when each question is asked once, JEV's probabilities are better calibrated than GPT-6 Luna's token probabilities, but not consistently better than Qwen3.8-27B's. We conclude that unless researchers have a need for speed, JEV's only obvious advantage is ease of parsing the underlying choice probabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストトークンを生成することによって、政治文書や構成物を注釈し、拡張する。 TypeSafeが"System One"モデルとして販売する新しいモデルのクラスは、代わりに、ユーザが提供する固定された回答セットを通じて、決定と確率分布を返却する。 商用モデルであるJEVは、従来のLCMよりも劇的なコストと速度の優位性があり、キャリブレーションの精度が向上していると宣伝されている。 そのため、社会科学者は、大量のテキストのコーパスを迅速かつ効果的に注釈付けしたり、拡大したりすることを模索し、分類者の不確実性を示す信頼性の高い指標を持つのに役立つかもしれない。 しかし、これらの主張の正確さと、社会科学テキストベースのタスクにおけるより広範なモデル精度は、まだ確立されていない。 本稿では,JEVの社会科学課題への適合性を確立することを願っている。 我々は、JEVとLLMと人間コーダを比較し、現在の中級商業LLM(GPT-6 Luna)とオープンウェイト代替(Qwen3.8-27B)を比較した。 JEVは、様々なタスクにおいて両方のLLMの能力と一致しているか、あるいは近いかに近づきます。 しかし、OpenAIのバッチ価格では、GPT-6 Lunaよりもコスト上の利点は見つからない。 さらに、各質問が一度尋ねられると、JEVの確率はGPT-6のLunaのトークン確率よりも適しているが、Qwen3.8-27Bの確率より一貫しては良くない。 我々は、研究者が速度を必要としない限り、JEVの唯一の明らかな利点は、基礎となる選択確率を解析することの容易さである、と結論付けている。

関連論文リスト

• Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
  NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。 教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。 我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
  論文  参考訳（メタデータ） (2026-08-30T16:35:22Z)
• Improving Code Generation via Small Language Model-as-a-judge [14.067404766521607]
  我々は、コード正当性判断として最先端のSLMをいくつか訓練し、正しい実装と間違った実装を区別する能力を評価する。 現代のSLMは,実行ベース情報を活用することなく,RanEFよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-12T13:07:36Z)
• Estimating problem difficulty without ground truth using Large Language Model comparisons [4.599673637363014]
  そこで本研究では,LLMとLLMを比較し,問題の難易度を推定する手法を提案する。 LLMはペアの難易度比較を行い、Bradley-Terryスコアは結果に基づいて計算される。 我々の研究は、時間を要する人間のアノテーションと合成データ生成を置き換えるための重要なステップである。
  論文  参考訳（メタデータ） (2025-12-16T09:13:56Z)
• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• Large Language Models: An Applied Econometric Framework [1.348318541691744]
  我々はこの問題に答えるための計量的枠組みを開発する。 LLMのトレーニングデータセットと研究者のサンプルの間に「漏れがない」という条件下では、予測問題にLLMを使用することは有効である。 これらの要件は厳密であり、それらが破られると、LLMの制限は信頼できない経験的推定をもたらす。
  論文  参考訳（メタデータ） (2024-12-09T22:37:48Z)
• Large Language Models' Detection of Political Orientation in Newspapers [0.0]
  新聞の立場をよりよく理解するための様々な方法が開発されている。 LLM(Large Language Models)の出現は、研究者や市民を補助する破壊的な可能性を秘めている。 我々は,広く採用されている4つのLCMが新聞の位置づけを評価する方法を比較し,その回答が相互に一致しているかどうかを比較する。 膨大なデータセットを通じて、新聞の記事は単一のLCMによって著しく異なる位置に配置され、アルゴリズムの一貫性のないトレーニングや過度なランダム性を示唆している。
  論文  参考訳（メタデータ） (2024-05-23T06:18:03Z)
• Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time [90.96447932006822]
  数十億のパラメータを持つ大規模言語モデル(LLM)が、エキサイティングなAIアプリケーションに新たな波を巻き起こした。 既存の方法は、コストのかかる再訓練が必要か、LLMのコンテキスト内学習能力を捨てるか、ウォールクロックのスピードアップを達成できないかのいずれかである。 DejaVuは,各層に与えられた入力をリアルタイムで予測するために,低コストなアルゴリズムを用いたシステムである。
  論文  参考訳（メタデータ） (2023-10-26T05:01:09Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models [37.63939774027709]
  自然言語生成(NLG)に特化した大規模言語モデル(LLM)が,最近,有望な機能を示すようになった。 我々は、信頼できない結果が無視されるか、さらなる評価のために得られるような、選択的なNLG*に適用し、いくつかの信頼/不確実性対策を提案し、比較する。 その結果, セマンティックな分散の簡易な測定は, LLM応答の質の信頼性を予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-30T16:31:26Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。