論文の概要: Wisdom of the AI Crowd (AI-CROWD) for Ground Truth Approximation in Content Analysis: A Research Protocol & Validation Using Eleven Large Language Models

• arxiv url: http://arxiv.org/abs/2603.06197v1
• Date: Fri, 06 Mar 2026 12:10:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.592763
• Title: Wisdom of the AI Crowd (AI-CROWD) for Ground Truth Approximation in Content Analysis: A Research Protocol & Validation Using Eleven Large Language Models
• Title（参考訳）: コンテンツ分析における真理近似のためのAI群(AI-CROWD)の知恵:11大言語モデルを用いた研究プロトコルと検証
• Abstract要約: 我々は,大規模言語モデル(LLM)の集合出力を活用することで,基礎的真理を近似するAI-CROWDプロトコルを導入する。 結果として得られたラベルが真実であると主張するのではなく、このプロトコルは複数のモデルにまたがる収束的および発散的推論から導かれるコンセンサスに基づく近似を生成する。
• 参考スコア（独自算出の注目度）: 0.12234742322758417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale content analysis is increasingly limited by the absence of observable ground truth or gold-standard labels, as creating such benchmarks through extensive human coding becomes impractical for massive datasets due to high time, cost, and consistency challenges. To overcome this barrier, we introduce the AI-CROWD protocol, which approximates ground truth by leveraging the collective outputs of an ensemble of large language models (LLMs). Rather than asserting that the resulting labels are true ground truth, the protocol generates a consensus-based approximation derived from convergent and divergent inferences across multiple models. By aggregating outputs via majority voting and interrogating agreement/disagreement patterns with diagnostic metrics, AI-CROWD identifies high-confidence classifications while flagging potential ambiguity or model-specific biases.
• Abstract（参考訳）: 大規模なコンテンツ分析は、観測可能な真実やゴールドスタンダードのラベルがないことによって、ますます制限されている。 この障壁を克服するために,大規模言語モデル(LLM)の集合出力を活用することにより,基礎的真理を近似するAI-CROWDプロトコルを導入する。 結果として得られたラベルが真実であると主張するのではなく、このプロトコルは複数のモデルにまたがる収束的および発散的推論から導かれるコンセンサスに基づく近似を生成する。 多数決によるアウトプットの集約と、診断基準による合意/否認パターンの問合せによって、AI-CROWDは、潜在的な曖昧さやモデル固有のバイアスを警告しながら、高い信頼度分類を識別する。

関連論文リスト

• Multi-Level Contextual Token Relation Modeling for Machine-Generated Text Detection [105.1403233464793]
  機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調する。 MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、複雑なモデルベース法よりも実用的であることが多い。 MGT検出のための多レベルコンテキストトークン関係モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-15T15:55:58Z)
• Reproducibility study on how to find Spurious Correlations, Shortcut Learning, Clever Hans or Group-Distributional non-robustness and how to fix them [0.8594140167290097]
  我々は、一般的な非XAIベースラインと並行して、説明可能な人工知能(XAI)技術に基づく補正手法の評価を行った。 XAIに基づく手法は一般に非XAI手法よりも優れていた。 実験では、多くのメソッドの実践的応用がグループラベルへの依存によって妨げられていることも明らかにした。
  論文  参考訳（メタデータ） (2026-04-06T08:29:33Z)
• From Static Benchmarks to Dynamic Protocol: Agent-Centric Text Anomaly Detection for Evaluating LLM Reasoning [12.024430772980502]
  本稿では,大規模言語モデル評価のためのエージェント中心ベンチマークパラダイムを提案する。 教師エージェントは、候補問題を生成し、オーケストレータエージェントは、その妥当性を厳格に検証し、敵攻撃に対するガードを行う。 生徒がその問題を正しく解いた場合、オーケストレータは教師にもっと難しい変奏曲を生成するよう促す。
  論文  参考訳（メタデータ） (2026-02-27T06:54:32Z)
• Agentic Adversarial QA for Improving Domain-Specific LLMs [53.00642389531106]
  大規模言語モデル(LLM)は、しばしば専門分野に効果的に対応するのに苦労する。 本稿では,意味論的課題の集合をコンパクトに生成する逆問題生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-20T10:53:09Z)
• TokaMark: A Comprehensive Benchmark for MAST Tokamak Plasma Models [56.94569090844015]
  TokaMarkは、Mega Ampere Spherical Tokamak (MAST)から収集された実実験データに基づいてAIモデルを評価するための構造化ベンチマークである。 TokaMarkは、データ駆動型AIベースのプラズマモデリングの進歩を加速することを目的としている。
  論文  参考訳（メタデータ） (2026-02-05T16:49:44Z)
• Scaling Up AI-Generated Image Detection via Generator-Aware Prototypes [15.99138549265524]
  GAPL(Generator-Aware Prototype Learning)は、構造化学習パラダイムで表現を制約するフレームワークである。 GAPLは最先端の性能を達成し、多様なGANおよび拡散型ジェネレータにおいて優れた検出精度を示す。
  論文  参考訳（メタデータ） (2025-12-15T04:58:08Z)
• Preference Learning for AI Alignment: a Causal Perspective [55.2480439325792]
  私たちはこの問題を因果パラダイムに枠組み化し、永続的な課題を特定するための因果関係の豊富なツールボックスを提供します。 因果推論の文献を継承し、信頼性の高い一般化に必要な重要な仮定を特定する。 そこで本研究では, 因果関係に基づくアプローチがモデルロバスト性をいかに改善するかを, ナイーブ報酬モデルの障害モードを例示する。
  論文  参考訳（メタデータ） (2025-06-06T10:45:42Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Learning Disentangled Latent Factors from Paired Data in Cross-Modal Retrieval: An Implicit Identifiable VAE Approach [33.61751393224223]
  両モーダルデータ間で相互に共有される不整合潜在因子を相互に検索する際の問題に対処する。 本稿では,潜在変数モデルから周辺データデコードモジュールを完全に除去する暗黙デコーダの新たなアイデアを提案する。 本モデルでは,従来のエンコーダ・デコーダの潜在変数モデルよりも精度が高く,精度も優れていた。
  論文  参考訳（メタデータ） (2020-12-01T17:47:50Z)
• A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution [55.39835612617972]
  PCR(Pronoun Coreference Resolution)は、プロノミナルな表現を、それらが参照するすべての言及に対して解決するタスクである。 1つの重要な自然言語理解(NLU)コンポーネントとして、代名詞分解は多くの下流タスクにおいて不可欠であり、既存のモデルでは依然として困難である。 我々は、現在のモデルが標準評価セットで優れたパフォーマンスを達成しているにもかかわらず、実際のアプリケーションで使用する準備ができていないことを示すために、広範な実験を行っている。
  論文  参考訳（メタデータ） (2020-09-27T01:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。