論文の概要: High Scores, Hidden Failures: Evaluating Codebook-Based LLM Content Analysis

• arxiv url: http://arxiv.org/abs/2610.35179v1
• Date: Mon, 26 Oct 2026 10:40:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.830632
• Title: High Scores, Hidden Failures: Evaluating Codebook-Based LLM Content Analysis
• Title（参考訳）: ハイスコアと隠れた失敗 - コードブックに基づくLLMコンテンツ分析の評価
• Abstract要約: 大規模言語モデル(LLM)は、計算社会科学におけるコードブックベースのコンテンツ分析にますます使われてきている。 以前の研究では強い予測性能が報告されていたが、これらのシステムが信頼性と堅牢なテキストアノテーションを生成するかどうかは不明だ。 4つのデータセットと5つのモデルにまたがるLLMベースのコーディングパイプラインの大規模なフェールモード解析を行う。
• 参考スコア（独自算出の注目度）: 41.886337761732456
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) are increasingly used for codebook-based content analysis in computational social science, where codebooks translate theoretical concepts into labeling schemes. While prior work reports strong predictive performance, it remains unclear whether these systems produce reliable and robust text annotations. We conduct a large-scale empirical failure-mode analysis of LLM-based coding pipelines across four datasets and five models by systematically evaluating their stability, robustness, and conceptual validity under controlled perturbations, domain shifts, and optimization procedures. We uncover multiple failure modes that are largely invisible under standard metrics, showing that high aggregate scores frequently coexist with severe label-level disparities, instability across runs, domain sensitivity, and shifts in label interpretation. Importantly, these failure modes persist under widely used optimization strategies and remain largely invisible under standard metrics such as accuracy and micro-F1. Our results demonstrate that current LLM-based coding pipelines cannot be treated as stable measurement tools without targeted validation beyond aggregate performance.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、コンピュータ社会科学におけるコードブックベースのコンテンツ分析にますます使われており、コードブックは理論概念をラベリングスキームに変換する。 以前の研究では強い予測性能が報告されていたが、これらのシステムが信頼性と堅牢なテキストアノテーションを生成するかどうかは不明だ。 制御された摂動、ドメインシフト、最適化手順下での安定性、堅牢性、概念的妥当性を体系的に評価することにより、4つのデータセットと5つのモデルにわたるLLMベースの符号化パイプラインの大規模なフェールモード解析を行う。 標準メトリクスではほとんど見えない複数の障害モードを発見し、高いアグリゲーションスコアが重度なラベルレベルの相違、実行時の不安定性、ドメインの感度、ラベル解釈のシフトと頻繁に共存していることを示した。 重要なことは、これらの障害モードは広く使われている最適化戦略の下で継続し、精度やマイクロF1のような標準メトリクスではほとんど見えません。 以上の結果から,現在のLCMベースの符号化パイプラインは,アグリゲーション性能以上の目標検証を行なわずに,安定した測定ツールとして扱えないことが示唆された。

関連論文リスト

• Noisy Test-Time Reinforcement Learning for Code LLMs [49.18760234865557]
  大規模言語モデル(LLM)は、様々なコード関連タスクで顕著なパフォーマンスを示している。 LLMは曖昧でエラーを起こしやすいため、コードLLMの堅牢性には重大な課題がある。 本稿では,NTRL-Code(Noisy Test-time Reinforcement Learning framework)を提案する。
  論文  参考訳（メタデータ） (2026-09-26T02:50:47Z)
• An Interpretable and Scalable Framework for Evaluating Large Language Models [13.322241501687715]
  大規模言語モデル(LLM)の評価はますます重要になっているが、標準的なベンチマーク手法は平均精度に依存している。 アイテム応答理論(IRT)は、潜在モデル能力とアイテム特性をモデリングするための原則化されたフレームワークを提供する。 本稿では,LLM評価のための大規模化最小化原理に基づく解釈可能かつスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-07T23:52:12Z)
• Beyond Translation Accuracy: Addressing False Failures in LLM-Based Code Translation [2.3411689215528346]
  大規模言語モデル(LLM)は、自動コード翻訳において大きな成功を収めた。 本稿では,コード翻訳における誤りの報告は,誤った論理によるものではなく,むしろ評価による誤りによるものであることを実証する。
  論文  参考訳（メタデータ） (2026-05-04T03:49:58Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks [42.92210265283373]
  解釈可能性ツールは、大規模言語モデル(LLM)の失敗を分析するために、ますます使われています。 現実的な環境下でのLLM故障を解析するための実用的なツールとして,LRPに基づく帰属性について検討した。 以上の結果から,このトークンレベルのコントラスト属性は,いくつかの障害事例において情報信号が得られるが,一般には適用できないことがわかった。
  論文  参考訳（メタデータ） (2026-04-20T03:24:11Z)
• On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability [25.692340232648366]
  我々は、最先端のオープンソースLLMベースの高密度レトリバーの堅牢性に関する最初の体系的研究について述べる。 一般化のために,30のデータセットにまたがる4つのベンチマークの検索効率を評価する。 安定のために、意図しないクエリのバリエーションと悪意のある攻撃に対するモデルレジリエンスを評価する。
  論文  参考訳（メタデータ） (2026-04-17T13:02:29Z)
• When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs [55.20230501807337]
  本報告では, 統一実験フレームワーク内での迅速なロバスト性向上のための5つの手法の体系的評価を行う。 Llama、Qwen、Gemmaファミリーの8つのモデルに対して、Natural Instructionsデータセットから52のタスクをベンチマークする。
  論文  参考訳（メタデータ） (2025-08-15T10:32:50Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。