論文の概要: Can Large Language Models Reliably Code Qualitative Humanitarian Data? A Benchmark Study Against Human Expert Adjudication

• arxiv url: http://arxiv.org/abs/2606.26541v1
• Date: Thu, 25 Jun 2026 02:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.1466
• Title: Can Large Language Models Reliably Code Qualitative Humanitarian Data? A Benchmark Study Against Human Expert Adjudication
• Title（参考訳）: 大規模言語モデルは質的人道的データを信頼できるか? : 専門家の判断に対するベンチマーク研究
• Abstract要約: 大規模言語モデル(LLM)は人道的分析能力を拡大する可能性があるが、定性的人道データの符号化に対する信頼性は直接確立されていない。 このベンチマークでは、46個のLDMを150個の高忠実な人工人道書体を用いてヒトのゴールドスタンダードと比較した。 著者らは、複数のLLMが、経験豊富な人間のコーダに匹敵する信頼性レベルで演能的なコーディングを実行可能であることを発見した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data from affected populations are crucial for informing humanitarian response, but their value depends on timely and consistent interpretation of nuanced accounts of need. Humanitarian organizations often lack the staff, time, and specialist expertise required to analyze this information at scale. Large language models (LLMs) may expand this capacity, but their reliability for coding qualitative humanitarian data has not been directly established. This benchmark study compares 46 LLMs to a human Gold Standard using 150 high-fidelity synthetic humanitarian transcripts. Evaluation combined inter-rater reliability testing with Krippendorff's alpha, discrepancy analysis distinguishing correct, near-correct, and incorrect codes, and qualitative assessment across humanitarian-specific criteria including discrimination, complex needs hierarchies, and non-standard communication styles. The authors find that multiple LLMs can perform deductive coding at reliability levels comparable to experienced human coders, especially when structured prompts and reasoning-enabled configurations are used. At the same time, aggregate reliability metrics alone are insufficient for deployment decisions. Models varied in recognizing needs expressed indirectly, needs outside predefined categories, and protection-relevant concerns such as physical safety and discrimination. These findings suggest that LLMs can materially expand humanitarian analytical capacity, but not as substitutes for human judgment. Appropriate use requires structured codebooks, reasoning-enabled models, attention to theme-specific performance, and tiered oversight focused on categories where miscoding would have the greatest programmatic consequences. For sensitive humanitarian data, open-weights models deployed on self-hosted infrastructure may offer a viable path for combining analytical scalability with stronger data governance.
• Abstract（参考訳）: 影響を受けた人口のデータは人道的反応を知らせるのに不可欠であるが、その価値は、要求される不必要な説明のタイムリーで一貫した解釈に依存している。 人道的な組織は、この情報を大規模に分析するために必要なスタッフ、時間、専門知識を欠いていることが多い。 大規模言語モデル(LLM)はこの容量を拡大するかもしれないが、定性的人道データの符号化の信頼性は直接確立されていない。 このベンチマークでは、46個のLDMを150個の高忠実な人工人道書体を用いてヒトのゴールドスタンダードと比較した。 評価は、クリッペンドルフのアルファによるレータ間信頼性試験、正当性、ほぼ正当性、誤符号の識別、そして、識別、複雑な要求階層、非標準通信スタイルを含む人道的特質の質的評価を併用した。 著者らは、複数のLLMが、特に構造化プロンプトと推論可能な構成を使用する場合、経験豊富な人間のコーダに匹敵する信頼性レベルで演能的なコーディングを行うことができることを見出した。 同時に、信頼性メトリクスの集約だけでは、デプロイメントの決定には不十分です。 モデルは、間接的に表現されたニーズの認識、予め定義されたカテゴリー外のニーズ、物理的安全性や差別などの保護関連関心事において異なる。 これらの結果は、LLMは人道的分析能力を大幅に拡張できるが、人間の判断の代わりにはならないことを示唆している。 適切な使用には、構造化されたコードブック、推論可能なモデル、テーマ固有のパフォーマンスへの注意、そして、ミスコーディングが最大のプログラム的結果をもたらすカテゴリに焦点を合わせることが必要である。 機密性の高い人道的データにとって、自己ホストされたインフラストラクチャにデプロイされるオープンウェイトモデルは、分析的スケーラビリティと強力なデータガバナンスを組み合わせるための実行可能なパスを提供するかもしれない。

関連論文リスト

• From Automation to Collaboration: Human-in-the-Loop Methods for Safe and Trustworthy NLP [0.28675177318965045]
  大規模言語モデルは、ハイテイクなNLPタスクに広くデプロイされているが、バイアス、幻覚、敵対的脆弱性、信頼できない一般化といったリスクが残っている。 本研究では,NLPを自動化から安全性とロバスト性のためのコラボレーションへ移行する最近のヒューマン・イン・ザ・ループ手法について検討する。
  論文  参考訳（メタデータ） (2026-05-24T19:27:20Z)
• Human Supervision as an Information Bottleneck: A Unified Theory of Error Floors in Human-Guided Learning [51.56484100374058]
  制約は、モデルスケールや最適化よりも、監督チャネルの構造的特性を反映している、と我々は主張する。 我々は、人間の監督チャネルが潜在評価対象に十分でない場合、情報伝達チャネルとして機能することを示す統一理論を開発する。
  論文  参考訳（メタデータ） (2026-02-26T19:11:32Z)
• Computational Turing Test Reveals Systematic Differences Between Human and AI Language [0.0]
  大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするために社会科学でますます使われている。 既存の検証努力は人的判断に基づく評価に大きく依存している。 本稿では,LLMが人間の言語にどの程度近いかを評価するために,計算チューリングテストを提案する。
  論文  参考訳（メタデータ） (2025-11-06T08:56:37Z)
• Development and Benchmarking of a Blended Human-AI Qualitative Research Assistant [1.170789976854236]
  MuseはAIを使ったインタラクティブな質的研究システムだ。 十分に特定されたコードに対して、MuseとCohenの$0.71の人間の間には、ラッター間の信頼性がある。 また、障害モードを特定し、将来の改善をガイドし、人間のバイアスを修正する能力を示すために、堅牢なエラー解析も行います。
  論文  参考訳（メタデータ） (2025-10-14T21:17:34Z)
• Towards Safer AI Moderation: Evaluating LLM Moderators Through a Unified Benchmark Dataset and Advocating a Human-First Approach [0.9147875523270338]
  大規模言語モデル(LLM)は、複雑さとパフォーマンスにおいて、以前のモデルを上回る優れた機能を示している。 彼らは、これらの問題の主観的で文脈に依存した性質のために、暗黙の憎しみ、攻撃的な言葉、性別の偏見を検出するのに苦労している。 我々は、人間の感情や攻撃行動を評価するために、最先端(SOTA)モデルに基づく実験フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-08-09T18:00:27Z)
• Re:Form -- Reducing Human Priors in Scalable Formal Software Verification with RL in LLMs: A Preliminary Study on Dafny [78.1575956773948]
  強化学習(RL)で訓練された大規模言語モデル(LLM)は、信頼性も拡張性もない、という大きな課題に直面している。 有望だが、ほとんど報われていない代替手段は、フォーマルな言語ベースの推論である。 生成モデルが形式言語空間(例えばダフニー)で機能する厳密な形式体系におけるLLMの接地は、それらの推論プロセスと結果の自動的かつ数学的に証明可能な検証を可能にする。
  論文  参考訳（メタデータ） (2025-07-22T08:13:01Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  データ構築とモデルチューニングを改善するためのフレームワークPersLLMを提案する。 データ利用が不十分な場合には、Chain-of-Thoughtプロンプトやアンチインダクションといった戦略を取り入れます。 厳密な振舞いパターンを設計し,モデルの性格の特異性とダイナミズムを高めるために自動DPOを導入する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Leveraging Domain Knowledge for Inclusive and Bias-aware Humanitarian Response Entry Classification [3.824858358548714]
  我々は人道的データ分析のための効果的かつ倫理的なシステムの提供を目指している。 人道分析フレームワークに適応した新しいアーキテクチャを導入する。 我々はまた、測定とバイアスの体系的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T09:15:05Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。