論文の概要: Same Day, Same Story; One Day Ahead, a Different Signal: The Dual Validity of Financial Sentiment

• arxiv url: http://arxiv.org/abs/2609.11144v1
• Date: Thu, 10 Sep 2026 06:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.234554
• Title: Same Day, Same Story; One Day Ahead, a Different Signal: The Dual Validity of Financial Sentiment
• Title（参考訳）: 同じ日、同じ日、ある日は前もって、異なるシグナル:金融センチメントの二重正当性
• Abstract要約: 構成的妥当性と予測的妥当性の関係は,サンプリング規則とスコア表現に依存することがわかった。 スパムが17.6%の会話では、メッセージボリュームは市場損害も決済サイズも予測しない。
• 参考スコア（独自算出の注目度）: 5.121117558582558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Financial NLP has a standard workflow: validate a sentiment tool against human labels, then trust it to extract market signal. This assumes the two evaluations measure the same thing. We test that assumption in a setting where both can be measured at once: a corpus of securities class actions (2002-2025) linking 70,500 X messages to abnormal stock returns, with a single-annotator human labelled gold sample. Running five instruments (VADER, Loughran-McDonald, FinBERT, Twitter-RoBERTa, and an LLM annotator) through one identical pipeline, we find that the relationship between construct and predictive validity depends on the sampling convention and score representation. Under conventional method-specific sampling, human agreement aligns more closely with graded same-day associations than with one-day leads. On a fixed-n panel, however, agreement has similar graded rank correlations at both horizons, while the coarse ordering remains weak. Benchmark agreement therefore establishes semantic validity but does not by itself determine predictive rankings. In a conversation that is 17.6% spam, message volume predicts neither market damage nor settlement size.
• Abstract（参考訳）: 金融NLPには標準的なワークフローがあり、人間のラベルに対する感情評価ツールを検証し、それを信頼して市場シグナルを抽出する。 2つの評価が同じことを仮定する。 証券クラスアクションのコーパス(2002-2025)は,70,500件のXメッセージを異常なストックリターンにリンクし,一人のアノテータによるゴールドサンプルをラベル付けした。 5つの楽器(VADER, Loughran-McDonald, FinBERT, Twitter-RoBERTa, LLMアノテータ)を同一のパイプラインで実行した結果, 構成と予測妥当性の関係はサンプリング規則とスコア表現に依存することがわかった。 従来の方法でのサンプリングでは、ヒトの合意は1日のリードよりも、段階的な同日関係と密接に一致している。 しかし、固定nパネル上では、合意は両方の地平線で同様の等級相関を持つが、粗い順序付けは依然として弱い。 したがって、ベンチマーク合意は意味論的妥当性を確立するが、それ自体が予測的ランキングを決定するわけではない。 スパムが17.6%の会話では、メッセージボリュームは市場損害も決済サイズも予測しない。

関連論文リスト

• Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit [15.81584544074437]
  LLM審査員の聴取は、一致した条件を対比することでバイアスを認定する。 このエンドポイントは、報告するスケールでは特定されない。 我々は,そのメカニズムをクローズドな形で導き,その貢献が監査の自己評価から測定可能であることを示す。
  論文  参考訳（メタデータ） (2026-08-27T16:10:16Z)
• One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
  一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。 我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
  論文  参考訳（メタデータ） (2026-07-30T14:52:36Z)
• AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
  AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。 これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。 NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
  論文  参考訳（メタデータ） (2026-06-15T13:50:26Z)
• StakeBench: Evaluating Language Understanding Grounded in Market Commitment [5.902169076249955]
  StakeBenchは、市場のコミットメントに根ざした言語理解のための評価フレームワークである。 StakeBenchは2,261の市場から560,876件のコメントを入手した。 4つの診断タスクは、モデルが市場のコミットメントを検出し、明らかにされた側面を特定し、将来のアクションを予測し、集合的なオッズ予測を実行するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-05-25T17:38:30Z)
• Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why [34.429649156970015]
  最近のLLM-as-judge論文24件の調査では、判定尺度、ネクタイハンドリング、不正出力、禁断ハンドリングに絡み合ったメトリックの選択が見つかった。 Pearson's $r$、Spearman's $、Kendall's $_b$、phi係数$$、Matthews correlation Coefficientはすべて1つの数に還元される。
  論文  参考訳（メタデータ） (2026-05-25T07:31:44Z)
• Measurement Risk in Supervised Financial NLP: Rubric and Metric Sensitivity on JF-ICR [1.7107991816118835]
  我が国の金融インシシデント・コミット認識における測定リスクについて検討する。 ルーブリックな単語は、モデル指定ラベルを根本的に変えることが判明した。 すべての計量は、JF-ICRクラス分布の下では情報的ではない。
  論文  参考訳（メタデータ） (2026-04-30T03:39:14Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Consistency Checks for Language Model Forecasters [54.62507816753479]
  予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。 我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
  論文  参考訳（メタデータ） (2024-12-24T16:51:35Z)
• Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge [51.93909886542317]
  一つの集計相関スコアを*参照することで、人名と自動評価の基本的な違いが曖昧になることを示す。 本研究では,評価性能のより堅牢な解析を行うために,ラベルの不確実性による階層化データを提案する。
  論文  参考訳（メタデータ） (2024-10-03T03:08:29Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。