論文の概要: Data Annotation Quality Problems in AI-Enabled Perception System Development

• arxiv url: http://arxiv.org/abs/2511.16410v1
• Date: Thu, 20 Nov 2025 14:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.671026
• Title: Data Annotation Quality Problems in AI-Enabled Perception System Development
• Title（参考訳）: AIによる知覚システム開発におけるデータアノテーションの品質問題
• Authors: Hina Saeeda, Tommy Johansson, Mazen Mohamad, Eric Knauss,
• Abstract要約: データアノテーションは、AI対応の知覚システムの開発において必須であるが、非常にエラーを起こしやすい。 我々は3つのデータ品質次元にまたがる18の繰り返しアノテーションエラーの分類法を開発した。 この研究は、信頼できるAI対応認識システムを構築するための共有語彙、診断ツールセット、行動可能なガイダンスを提供することで、SE4AIに貢献する。
• 参考スコア（独自算出の注目度）: 3.716862357836751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data annotation is essential but highly error-prone in the development of AI-enabled perception systems (AIePS) for automated driving, and its quality directly influences model performance, safety, and reliability. However, the industry lacks empirical insights into how annotation errors emerge and spread across the multi-organisational automotive supply chain. This study addresses this gap through a multi-organisation case study involving six companies and four research institutes across Europe and the UK. Based on 19 semi-structured interviews with 20 experts (50 hours of transcripts) and a six-phase thematic analysis, we develop a taxonomy of 18 recurring annotation error types across three data-quality dimensions: completeness (e.g., attribute omission, missing feedback loops, edge-case omissions, selection bias), accuracy (e.g., mislabelling, bounding-box inaccuracies, granularity mismatches, bias-driven errors), and consistency (e.g., inter-annotator disagreement, ambiguous instructions, misaligned hand-offs, cross-modality inconsistencies). The taxonomy was validated with industry practitioners, who reported its usefulness for root-cause analysis, supplier quality reviews, onboarding, and improving annotation guidelines. They described it as a failure-mode catalogue similar to FMEA. By conceptualising annotation quality as a lifecycle and supply-chain issue, this study contributes to SE4AI by offering a shared vocabulary, diagnostic toolset, and actionable guidance for building trustworthy AI-enabled perception systems.
• Abstract（参考訳）: データアノテーションは、自動運転のためのAI対応認識システム(AIePS)の開発において必須であるが、その品質はモデルの性能、安全性、信頼性に直接影響を及ぼす。 しかし、業界は、マルチ組織自動車サプライチェーンにアノテーションエラーが出現し拡散する経験的な洞察を欠いている。 本研究は、ヨーロッパとイギリスにまたがる6つの企業と4つの研究機関によるマルチ組織ケーススタディを通じて、このギャップに対処する。 半構造化された20人の専門家(書き起こし50時間)と6段階のセマンティック分析による19のインタビューに基づいて、完全性(例:属性省略、フィードバックループの欠如、エッジケース省略、選択バイアス)、正確性(例:ミスラベリング、境界ボックス不正確性、粒度ミスマッチ、バイアス駆動エラー)、一貫性(例:アノテーション間の不一致、曖昧な指示、不一致ハンドオフ、相互モダリティ不一致)の3つのデータ品質次元にわたる18の繰り返しアノテーションエラータイプを分類する。 この分類は、根本原因分析、サプライヤーの品質レビュー、乗船、ガイドラインの改善に有用であることを報告した業界専門家らによって検証された。 彼らはこれをFMEAに似た失敗モードカタログと表現した。 本研究は、ライフサイクルとサプライチェーンの問題としてアノテーション品質を概念化することにより、信頼に値するAI対応認識システムを構築するための共通語彙、診断ツールセット、行動可能なガイダンスを提供することにより、SE4AIに寄与する。

関連論文リスト

• RE for AI in Practice: Managing Data Annotation Requirements for AI Autonomous Driving Systems [3.9255502531644204]
  高品質なデータアノテーション要件は、安全で信頼性の高いAI対応システムの開発に不可欠である。 本研究は,アノテーションの要件が定義され,実際にどのように使用されるかを検討する。 主な課題は、曖昧さ、エッジケースの複雑さ、要求の進化、矛盾、リソースの制約である。
  論文  参考訳（メタデータ） (2025-11-19T20:27:30Z)
• AutoMalDesc: Large-Scale Script Analysis for Cyber Threat Research [81.04845910798387]
  脅威検出のための自然言語の説明を生成することは、サイバーセキュリティ研究において未解決の問題である。 本稿では,大規模に独立して動作する自動静的解析要約フレームワークAutoMalDescを紹介する。 アノテーション付きシード(0.9K)データセットや方法論,評価フレームワークなど,100万以上のスクリプトサンプルの完全なデータセットを公開しています。
  論文  参考訳（メタデータ） (2025-11-17T13:05:25Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• A Defect Classification Framework for AI-Based Software Systems (AI-ODC) [0.0]
  本稿では,Orthogonal Defect Classification(ODC)パラダイムにヒントを得たフレームワークを提案する。 このフレームワークは、AIシステムのデータ、学習、思考の側面に対応するように適応された。
  論文  参考訳（メタデータ） (2025-08-25T11:15:31Z)
• Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
  本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。 DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-27T08:21:21Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• A Comprehensive Study of Bug-Fix Patterns in Autonomous Driving Systems [16.72158049599736]
  自律運転システム(ADSe)におけるバグフィックスパターンの実証的研究について述べる。 我々は、ApolloとAutowareという2つの主要な自動運転プロジェクトのコミット履歴とバグレポートを、1,331のバグ修正から分析した。 本研究は,経路計画やデータフロー,構成管理など,いくつかの主要なバグフィックスパターンを明らかにする。
  論文  参考訳（メタデータ） (2025-02-04T02:13:05Z)
• Adaptive Distraction: Probing LLM Contextual Robustness with Automated Tree Search [76.54475437069395]
  大きな言語モデル(LLM)は、意味的に一貫性があるがタスクに依存しないコンテキスト情報に直面している場合、元のパフォーマンスを維持するのに苦労することが多い。 本稿では,木探索に基づく動的散逸生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• Bridging the Communication Gap: Evaluating AI Labeling Practices for Trustworthy AI Development [41.64451715899638]
  EUエネルギラベルのようなフレームワークにインスパイアされたハイレベルなAIラベルは、AIモデルの特性をより透明にするために提案されている。 本研究は,4つの重要な研究課題に沿った質的なインタビューを通じて,AIラベリングを評価する。
  論文  参考訳（メタデータ） (2025-01-21T06:00:14Z)
• Guidance in Radiology Report Summarization: An Empirical Evaluation and Error Analysis [3.0204520109309847]
  本稿では,放射線診断レポートの要約のためのドメインに依存しない誘導信号を提案する。 我々は,11のきめ細かい誤りの分類に従って,4つのシステムについて専門的な評価を行う。 その結果, 自動要約と放射線科医の違いは, 内容選択に関係していることが判明した。
  論文  参考訳（メタデータ） (2023-07-24T13:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。