論文の概要: The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints

• arxiv url: http://arxiv.org/abs/2605.19066v1
• Date: Mon, 18 May 2026 19:48:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.965657
• Title: The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints
• Title（参考訳）: 低リソースNLP評価におけるアノテーション・スカーシティ・パラドックス:加速と新興制約の10年
• Authors: Vukosi Marivate,
• Abstract要約: 低リソース自然言語処理(NLP)は、過去10年間に爆発的な成長を遂げてきた。 しかし、より複雑な生成システムを評価するのに必要な深い社会言語学の専門知識は、ひどく緊張している。 我々はこのパラドックスが報告された進捗の妥当性を脅かすと論じている。
• 参考スコア（独自算出の注目度）: 3.322533845946475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past decade, low-resource natural language processing (NLP) has experienced explosive growth, propelled by cross-lingual transfer, massively multilingual models, and the rapid proliferation of benchmarks. Yet this apparent progress masks a critical, insufficiently examined tension: the deep sociolinguistic expertise required to evaluate increasingly complex generative systems is severely strained, inequitably distributed, and structurally marginalised. We present a critical narrative survey of low-resource NLP evaluation (2014--present), tracing its evolution across three phases: early heuristic optimism, the illusions of top-down benchmark scaling, and the current era of generative bottlenecks. We conceptualise the \emph{Annotation Scarcity Paradox}, the structural friction arising when the technical capacity to scale models vastly outpaces the sovereign human infrastructure required to authentically evaluate them. By examining extractive data pipelines, undercompensated ``ghost work'', and language data flaring, we argue that this paradox threatens the epistemic validity of reported progress. We survey emerging responses -- including data augmentation, model-based evaluation, participatory curation, and annotation-efficient approaches via item response theory and active learning -- and assess their equity and validity trade-offs. We close with a practitioner call to action, arguing that overcoming this bottleneck requires a paradigm shift from transactional data extraction to relational, community-embedded evaluation rooted in epistemic governance, data sovereignty, and shared ownership.
• Abstract（参考訳）: 過去10年間で、低リソースの自然言語処理(NLP)は、多言語間移動、大規模多言語モデル、ベンチマークの急速な増加によって、爆発的な成長を遂げてきた。 複雑な生成システムを評価するのに必要な深い社会言語学の専門知識は、ひどく緊張し、無意識に分散し、構造的に疎外されている。 本報告では, 初期のヒューリスティックな楽観主義, トップダウンベンチマークスケーリングの錯覚, 生成的ボトルネックの時代という3つの段階にまたがる低リソースNLP評価(2014年現在)について, 批判的な考察を行った。 我々は,モデルをスケールする技術的能力が,それらを評価するために必要な主権的な人的インフラを大きく上回っている場合に生じる構造的摩擦である「emph{Annotation Scarcity Paradox}」を概念化する。 抽出データパイプライン, ‘ghost work' の不足,および言語データフラグリングを調べることで,このパラドックスは報告された進行の疫学的妥当性を脅かすと論じる。 我々は、データ強化、モデルに基づく評価、参加型キュレーション、アイテム応答理論とアクティブラーニングによるアノテーション効率の高いアプローチなど、新興の反応を調査し、彼らの株式と妥当性のトレードオフを評価します。 このボトルネックを克服するには、トランザクションデータ抽出からリレーショナルへのパラダイムシフト、コミュニティが組み込んだ評価は、疫学的なガバナンス、データ主権、共有所有権に根ざしています。

関連論文リスト

• The Expense of Seeing: Attaining Trustworthy Multimodal Reasoning Within the Monolithic Paradigm [1.0742675209112622]
  我々は、現在のビジョン・ランゲージ・モデルがマルチモーダルデータを忠実に合成するわけではないと論じる。 モーダリティ変換プロトコル(Modality Translation Protocol)を提案する。
  論文  参考訳（メタデータ） (2026-04-22T15:15:32Z)
• Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models [54.16797570104461]
  拡散ベースの言語モデル (dLLMs) は自己回帰型言語モデルに代わる有望な代替品として登場した。 時間軸に沿った推論ダイナミクスを系統的に解析し, dLLMの非自己回帰復号化について検討した。
  論文  参考訳（メタデータ） (2026-04-12T10:26:41Z)
• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• Human Supervision as an Information Bottleneck: A Unified Theory of Error Floors in Human-Guided Learning [51.56484100374058]
  制約は、モデルスケールや最適化よりも、監督チャネルの構造的特性を反映している、と我々は主張する。 我々は、人間の監督チャネルが潜在評価対象に十分でない場合、情報伝達チャネルとして機能することを示す統一理論を開発する。
  論文  参考訳（メタデータ） (2026-02-26T19:11:32Z)
• From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models [77.04403907729738]
  このサーベイは、受動的診断基準からリアルタイムモデル動作を導くアクティブ制御信号への不確実性の進化をグラフ化する。 3つのフロンティアにまたがるアクティブ制御信号として不確実性がいかに活用されているかを示す。 この調査は、次世代のスケーラブルで信頼性があり、信頼できるAIを構築するためには、新しい不確実性のトレンドを習得することが不可欠である、と論じている。
  論文  参考訳（メタデータ） (2026-01-22T06:21:31Z)
• Hallucination Detection and Mitigation in Large Language Models [0.0]
  LLM(Large Language Models)とLRM(Large Reasoning Models)は、金融や法律のような高額な領域に変革をもたらす。 幻覚を起こそうとする傾向は、事実的に不正確な、または、サポートされていないコンテンツを発生させ、重大な信頼性のリスクを生じさせる。 本稿では,根本原因認識による継続的改善サイクル上に構築された幻覚管理のための包括的枠組みを紹介する。
  論文  参考訳（メタデータ） (2026-01-14T23:19:37Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。