論文の概要: Looking Complete Is Not Being Grounded: Evaluating LLM Sitreps Against Human-Authored Situation Reports

• arxiv url: http://arxiv.org/abs/2610.18762v1
• Date: Tue, 13 Oct 2026 17:23:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:53:06.90217
• Title: Looking Complete Is Not Being Grounded: Evaluating LLM Sitreps Against Human-Authored Situation Reports
• Title（参考訳）: 人間の許可を受けた状況に対するLCMのシトレープの評価
• Abstract要約: 質的内容分析を用いて,職業的人道的状況報告から15スロットの情報スキーマを導出する。 ヒト121例, LLM261例について, 災害5例, 危険3例について検討した。
• 参考スコア（独自算出の注目度）: 5.218766876318545
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evaluation for automatic crisis reporting should measure what practitioners need, not what is convenient to compare. Through LLM-assisted, author-approved content analysis, we derive a 15-slot information schema from professional humanitarian situation reports using qualitative content analysis, then evaluate 121 human and 261 LLM-generated reports across five disasters and three hazard types. Under google/gemini-3.7-flash on Cyclone Idai, the best machine arm is nominally above the empirical human ceiling (0.827 vs. 0.821), but the difference is statistically indistinguishable from zero (95\% bootstrap CI $[-.049,.059]$; permutation $p=.852$), and the ordering does not replicate under openai/gpt-5.6-luna. On a blind 100-item Idai sample, the author agrees with the Gemini judge at 0.910 accuracy and unweighted Cohen's $κ=.799$. All four judges clear the plan's raw-agreement criterion of .7; only Gemini reaches .7 on chance-corrected $κ$. Across the three primary events, machine reports reproduce 5.4-11.0% of same-day official figures. Across those same events, raw exact-number matching links 14.3-19.6% of official figures and 85.4-90.1% of machine figures to the social stream; manual audit confirms 45/50 declared absences, 4/25 official matches, and 24/25 machine matches semantically. The issuing-provenance gap is positive in all 12 observed event-judge cells: report date, organisation, series, and authority were not supplied at professional-report coverage in any cell. On the three primary events, ROUGE-L is uninformative, BERTScore is negatively associated with completeness after multiplicity correction, and a generic LLM judge changes sign.
• Abstract（参考訳）: 自動危機報告の評価は、実践者が必要とするものを測定するもので、比較に便利なものではない。 LLMを用いた著者承認コンテンツ分析を通じて、質的コンテンツ分析を用いて、専門家の人道的状況報告から15スロット情報スキーマを導き、その後、5つの災害と3つの危険タイプにわたる121人と261人のLSM生成レポートを評価した。 google/gemini-3.7-flash on Cyclone Idaiでは、ベストマシンアームは実証的な人間の天井(0.827 vs. 0.821)よりも高く、統計的に区別できない(95\% bootstrap CI $[-.049,.059]$; permutation $p=.852$)。 盲目の100石のイダイのサンプルでは、著者はジェミニ判事に0.910の精度で同意し、コーエンのκ=.799$を未加重した。 4人の裁判官はいずれも計画の生検基準を.7と定め、ゲミニだけが確率補正でκ$で.7に到達した。 3つの主要な出来事の中で、マシンレポートは同日の公式数字の5.4-11.0%を再現している。 同じイベント全体で、公式な数字の14.3-19.6%と、ソーシャルストリームへのマシンフィギュアの85.4-90.1%、マニュアル監査では45/50の欠席、4/25のオフィシャルマッチ、24/25のマシンマッチがセマンティックに確認されている。 報告日、組織、シリーズ、権限は、あらゆるセルで専門家が報告した範囲では提供されなかった。 3つの一次事象において、ROUGE-Lは非形式的であり、BERTScoreは多重度補正後の完全性に負の相関を持ち、ジェネリックLLM判定器は符号を変更する。

関連論文リスト

• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• K-Bench: measuring model performance on real scientific agent requests [0.0]
  K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
  論文  参考訳（メタデータ） (2026-08-21T20:06:08Z)
• How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring [7.789295015218435]
  LLMジェイルブレイクとプロンプトインジェクションに関するほぼすべての論文は、アタック・サクセス・レート(ASR)を報告している。 我々は2人の裁判官の家族と人間の多数決を比較して攻撃する。 審査員の精度とリコールを報告し、審査員の精度を補正したASRを報告し、審査員の逆チェックを含めることを推奨する。
  論文  参考訳（メタデータ） (2026-06-24T07:14:17Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior: Evidence Across 25 Models [0.0]
  大規模言語モデル(LLM)は人格に関する安定した自己レポートを生成するが、これらの自己レポートは観察された振る舞いを予測しない。 探索因子分析(EFA)によるLCM行動量からボトムアップを導出した最初の心理測定器を構築した。 EFAは5要素構造 – 応答性,参照性,ボルト性,ガード性,Verbosity – を,優れたスプリット・半分のレプリカ性と内部整合性で実現した。
  論文  参考訳（メタデータ） (2026-04-24T04:42:09Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。