論文の概要: Measurement Risk in Supervised Financial NLP: Rubric and Metric Sensitivity on JF-ICR

• arxiv url: http://arxiv.org/abs/2604.27374v1
• Date: Thu, 30 Apr 2026 03:39:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.907738
• Title: Measurement Risk in Supervised Financial NLP: Rubric and Metric Sensitivity on JF-ICR
• Title（参考訳）: 監督型金融NLPにおける測定リスク:JF-ICRの潤滑性および計量感度
• Abstract要約: 我が国の金融インシシデント・コミット認識における測定リスクについて検討する。 ルーブリックな単語は、モデル指定ラベルを根本的に変えることが判明した。 すべての計量は、JF-ICRクラス分布の下では情報的ではない。
• 参考スコア（独自算出の注目度）: 1.7107991816118835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As LLMs become credible readers of earnings calls, investor-relations Q\&A, guidance, and disclosure language, supervised financial NLP benchmarks increasingly function as decision evidence for model selection and deployment. A hidden assumption is that gold labels make such evidence objective. This assumption breaks down when the benchmark ruler itself is sensitive to rubric wording, metric choice, or aggregation policy. We study this measurement risk on Japanese Financial Implicit-Commitment Recognition (JF-ICR; a pinned 253-item test split x 4 frontier LLMs x 5 rubrics x 3 temperatures x 5 ordinal metrics). Three findings follow. First, rubric wording materially changes model-assigned labels: R2--R3 agreement ranges from 70.0% to 83.4%, with the dominant movement near the +1 / 0 implicit-commitment boundary. This pattern is consistent with a pragmatic-boundary interpretation, but is not a validated linguistic-causality claim because the present rubric variants confound semantics, examples, and verbosity. Second, not every metric remains informative under the JF-ICR class distribution. Within-one accuracy is too easy because near misses receive credit and the majority class dominates; worst-class accuracy is too noisy because the rarest class has only two examples. Exact accuracy, macro-F1, and weighted \k{appa} are therefore the identifiable metrics under our operational rule. Third, ranking claims become more defensible only after this metric-identifiability audit: Bradley--Terry, Borda, and Ranked Pairs agree on the identifiable metric subset, while the full five-metric sweep produces disagreement on the closest pair. The contribution is not a new leaderboard, but a reporting discipline for supervised financial benchmarks whose gold labels exist and whose evaluation ruler still requires governance.
• Abstract（参考訳）: LLMが決算報告、投資家関係Q&A、ガイダンス、開示言語などの信頼できる読者になるにつれ、金融NLPベンチマークはモデル選択と展開の決定的証拠としてますます機能している。 隠された仮定は、金のラベルがそのような証拠を客観的にしているということである。 この仮定は、ベンチマーク定規自体が粗末な言い回し、メートル法選択、あるいは集約ポリシーに敏感であるときに破滅する。 本測定のリスクは,日本金融インシシット・コミット認識(JF-ICR,ピン付253-item test split x 4 frontier LLMs x 5 rubrics x 3 temperature x 5 Ordinal metrics)に当てはまる。 以下の3つの発見がある。 R2-R3合意は70.0%から83.4%の範囲で、+1 / 0 の暗黙のコミット境界付近で支配的な動きがある。 このパターンはプラグマティック・バウンダリの解釈と一致しているが、現在のルーリックな変種は意味論、例、および冗長性を混同しているため、検証された言語・因果関係の主張ではない。 第二に、JF-ICRクラス分布の下では、すべての計量が情報的であるとは限らない。 一番低いクラスは2つの例しか持たないため、最悪のクラスの精度はうるさい。 したがって、正確な精度、マクロF1、重み付けされた \k{appa} は、我々の運用ルールの下で識別可能な指標である。 ブラッドリー=テリー、ボルダ、ランク付きペアは、識別可能なメートル法部分集合について合意する一方、フル5メートルスイープは、最も近いペアについて不一致をもたらす。 このコントリビューションは、新しいリーダーボードではなく、ゴールドラベルが存在し、評価の支配者がまだガバナンスを必要としている監督された金融ベンチマークに関する報告書の規律である。

関連論文リスト

• PRIMUS: Identity, Governance, and Verification for Multi-Agent Federations [0.0]
  マルチエージェント・フェデレーションは、敵対的な条件下での3つの質問に答えるガバナンスを必要とする。 本稿では,BLSアグリゲートシグネチャと主パワーIDを結合したPRIMUSについて述べる。 PRIMAのバイナリアーティファクト-忠実性判定は、グレード付きフィットネス信号に変換できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-07T19:21:49Z)
• TTPO: Test-Time Policy Optimization [53.81524570216593]
  テストタイムポリシー最適化(TTPO)は、OPSDを介してロールアウトに同意し、Grouped RLと不一致なロールアウトを罰する非対称な目的である。 TTPOは5つの競合レベルのベンチマークでラベル管理されたOPSDと一致し、Qwen3-1.7Bは38.0%から45.2%まで上昇し、思考せずに+25.2%から+36.4%に上昇し、クロスタスクの一般化を示す。
  論文  参考訳（メタデータ） (2026-08-27T17:58:10Z)
• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation [0.0]
  原則-ベンチ(Principle-Bench)は、イギリスのFCAの2つの原則にマッピングされた168の暗号通貨の金融宣伝シナリオである。 校正された監査可能な評価器は、実例ごとの正確な反事実属性を出力する。 キーワードカウント、3つの文変換器埋め込み器、オープンウェイト LLM-judge とキャリブレーションされたカスケードは、どの方法も4つの軸全てを支配していない。
  論文  参考訳（メタデータ） (2026-08-14T14:20:38Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
  グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。 MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。 この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
  論文  参考訳（メタデータ） (2026-05-21T07:42:47Z)
• TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
  大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。 TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。 我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
  論文  参考訳（メタデータ） (2026-04-29T19:32:58Z)
• ValueBlindBench: Agreement-Gated Stress Testing of LLM-Judged Investment Rationales Before Returns Are Observable [1.8689252029357564]
  本稿では,事前登録された合意付きストレステストプロトコルであるValueBlindBenchを紹介する。 ValueBlindBench は LLM-judged Investment-rationale のクレームがパブリッシュ可能、資格あり、無効かを決定する。
  論文  参考訳（メタデータ） (2026-04-28T05:04:20Z)
• Criterion-referenceability determines LLM-as-a-judge validity across physics assessment formats [0.01116979912801043]
  我々は、GPT-5.2、Grok 4.1、Claude Opus 4.5、DeepSeek-V3.2、Gemini Pro 3、および盲目、解答、偽解、そして模範的な条件下でのヒトマーカーに対する委員会集計を比較した。 n=771ドルのブラインド大学試験の質問に対して、モデルは差別的妥当性の強い分数平均絶対誤差(fMAE)$approx 0.22$を達成する。 $n=55$スクリプト全体において、盲目のAIマーキングは人間のマーキングよりも厳格で可変的であり、差別的妥当性はすでに貧弱である。
  論文  参考訳（メタデータ） (2026-03-16T02:09:06Z)
• The Judge Who Never Admits: Hidden Shortcuts in LLM-based Evaluation [17.386684382460242]
  大規模言語モデル(LLM)は、推論、質問応答、創造的記述といったタスクにおけるシステムの出力を評価するために、ますます使われてきている。 6つの判定モデルに対する評価プロンプトに挿入された制御キュー摂動合成メタデータラベルを用いて,この理想を検証した。 情報源,時間,年齢,性別,民族,教育的地位の6つのキュー族を調査する。
  論文  参考訳（メタデータ） (2026-02-08T14:45:23Z)
• Do LLMs Know They Are Being Tested? Evaluation Awareness and Incentive-Sensitive Failures in GPT-OSS-20B [1.948261185683419]
  本研究では,「評価香り」がコンメンシュレート能力を得ることなく測定性能を膨らませるかどうかを考察する。 6つのペアのA/Bシナリオを実行し、タスク内容を保持し、フレーミングの異なる状態でデコードします。 再現可能なA/Bフレームワーク(バンキング、バリデータ、ラン毎のスコア、スクリプト)と実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-10-08T09:49:05Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。