論文の概要: Same Text, Different Numbers: The Divergence of LLM-Based Measures

• arxiv url: http://arxiv.org/abs/2609.31013v1
• Date: Fri, 25 Sep 2026 09:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.320126
• Title: Same Text, Different Numbers: The Divergence of LLM-Based Measures
• Title（参考訳）: 同じテキスト, 異なる数: LLM に基づく尺度の多様性
• Abstract要約: 生成型大規模言語モデル (LLM) がモデル選択に不変である範囲について検討する。 我々は、感情、管理の明確さ、不確実性、答えの特異性、気候と政治的リスクを含む13の手段を使用します。 クロスモデルランキングの相関は平均0.52しかなく、提供者間で共通する転写レベル差は総得点変動の34%に過ぎなかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Researchers increasingly use generative large language models (LLMs) to convert corporate text into empirical variables. We examine the extent to which LLM-based textual measures are invariant to model choice using thirteen measures, including sentiment, management clarity, uncertainty, answer specificity, and climate and political risk. Seven LLMs from different providers score earnings call transcripts of S&P 500 companies on these constructs. Cross-model rank correlations average only 0.52, and transcript-level differences common across providers account for only 34% of total score variation. Cross-model disagreement does not predict subsequent analyst or market disagreement, consistent with a substantial model-specific component rather than common ambiguity in the underlying disclosure. Model choice significantly affects downstream inference, with coefficient magnitudes, signs, and statistical significance varying substantially across models. Averaging across providers makes transcript rankings more stable for most constructs, but score levels remain sensitive to the models included in the ensemble. LLM-generated variables should therefore be treated as model-contingent measurements and validated across providers.
• Abstract（参考訳）: 研究者たちは、コーポレートテキストを経験変数に変換するために、ジェネレーティブな大規模言語モデル(LLM)をますます利用している。 我々は、感情、管理の明確さ、不確実性、答えの特異性、気候と政治的リスクを含む13の尺度を用いて、LLMベースのテキスト測度が選択をモデル化するために不変である範囲について検討する。 異なるプロバイダの7社のLCMが、S&P 500企業の決算報告を採点している。 クロスモデルのランク相関は平均0.52しかなく、プロバイダ間で共通する書き起こしレベルの差は総得点変動の34%に過ぎなかった。 クロスモデル不一致は、その後のアナリストや市場の不一致を予測せず、基礎となる開示における共通の曖昧さではなく、実質的なモデル固有のコンポーネントと一致している。 モデル選択は下流の推論に大きく影響し、係数の等級、符号、統計的意義はモデルによって大きく異なる。 プロバイダ間の平均的なランキングは、ほとんどの構成でより安定しているが、スコアレベルはアンサンブルに含まれるモデルに敏感である。 したがって、LCM生成変数はモデル一致測定として扱われ、プロバイダ間で検証されるべきである。

関連論文リスト

• LANTERN: Language Model Assessment on Noisy and Transformed Tasks for Understanding Error and Robustness Nuances [1.6594875418267307]
  複数の次元にわたる大規模言語モデル(LLM)を体系的に評価する。 これには、単語の誤り率、文字の繰り返しと重複、選択の修正、次の命令における可変性が含まれる。
  論文  参考訳（メタデータ） (2026-09-07T10:26:09Z)
• Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation [40.210132040677]
  本稿では,23の現代大言語モデル(LLM)の絶対的性能と相対的ランク付けが,制御的,真に等価な語彙的および構文的摂動に与える影響について検討する。 その結果、語彙的摂動は、ほぼすべてのモデルやタスクに対して、実質的、統計的に有意な性能劣化を誘導する一方、構文的摂動はより異質な効果を持ち、時には結果を改善することが示されている。
  論文  参考訳（メタデータ） (2026-02-19T12:24:42Z)
• Variance-Aware LLM Annotation for Strategy Research: Sources, Diagnostics, and a Protocol for Reliable Measurement [0.3228822469249803]
  大規模言語モデル(LLM)は、戦略研究者が大規模にテキストを注釈付けするための強力なツールを提供する。 しかし、LCM生成ラベルを決定論的見落としとして扱うことは、かなり不安定である。 我々は,構成仕様,インターフェース効果,モデル嗜好,出力抽出,システムレベルの集約という,5つのばらつき源を診断する。
  論文  参考訳（メタデータ） (2025-12-02T18:02:20Z)
• Reliable Decision Support with LLMs: A Framework for Evaluating Consistency in Binary Text Classification Applications [0.7124971549479361]
  本研究では,大言語モデル(LLM)のバイナリテキスト分類における一貫性を評価するフレームワークを提案する。 我々は,サンプルサイズ要件を定め,不適切な応答の指標を開発し,レータ内およびレータ間信頼性を評価する。
  論文  参考訳（メタデータ） (2025-05-20T21:12:58Z)
• No LLM is Free From Bias: A Comprehensive Study of Bias Evaluation in Large Language Models [0.9620910657090186]
  大規模言語モデル(LLM)は、異なる自然言語理解と生成タスクの性能を高めている。 我々は,中小LLMの集合を用いてベンチマークを統一的に評価する。 バイアス検出タスクをバイアスの異なる側面で行うための5つのプロンプト手法を提案する。 その結果, 選択したLLMは, Phi-3.5Bモデルが最も偏りが少ないため, いずれか一方あるいは他方の偏りに悩まされることが示唆された。
  論文  参考訳（メタデータ） (2025-03-15T03:58:14Z)
• Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
  ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。 これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-12-09T13:05:43Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。