論文の概要: The Achilles Heel of AI: Fundamentals of Risk-Aware Training Data for High-Consequence Models

• arxiv url: http://arxiv.org/abs/2505.14964v1
• Date: Tue, 20 May 2025 22:57:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.783895
• Title: The Achilles Heel of AI: Fundamentals of Risk-Aware Training Data for High-Consequence Models
• Title（参考訳）: AIのアキレス腱:高頻度モデルのためのリスク認識トレーニングデータの基礎
• Authors: Dave Cook, Tim Klawa,
• Abstract要約: 高頻度ドメインのAIシステムは、厳密なリソース制約の下で運用しながら、稀で高インパクトなイベントを検出する必要がある。 ラベルのボリュームを情報的価値よりも優先する従来のアノテーション戦略は冗長性とノイズをもたらす。 本稿では、ラベルの多様性、モデル誘導選択、限界ユーティリティベースの停止を強調するトレーニングデータ戦略であるスマートサイズについて紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI systems in high-consequence domains such as defense, intelligence, and disaster response must detect rare, high-impact events while operating under tight resource constraints. Traditional annotation strategies that prioritize label volume over informational value introduce redundancy and noise, limiting model generalization. This paper introduces smart-sizing, a training data strategy that emphasizes label diversity, model-guided selection, and marginal utility-based stopping. We implement this through Adaptive Label Optimization (ALO), combining pre-labeling triage, annotator disagreement analysis, and iterative feedback to prioritize labels that meaningfully improve model performance. Experiments show that models trained on 20 to 40 percent of curated data can match or exceed full-data baselines, particularly in rare-class recall and edge-case generalization. We also demonstrate how latent labeling errors embedded in training and validation sets can distort evaluation, underscoring the need for embedded audit tools and performance-aware governance. Smart-sizing reframes annotation as a feedback-driven process aligned with mission outcomes, enabling more robust models with fewer labels and supporting efficient AI development pipelines for frontier models and operational systems.
• Abstract（参考訳）: 防衛、インテリジェンス、災害対応といった高効率なドメインのAIシステムは、厳しいリソース制約の下で運用している間に、稀で高影響のイベントを検出する必要がある。 情報量よりもラベルボリュームを優先する従来のアノテーション戦略は、冗長性とノイズを導入し、モデルの一般化を制限する。 本稿では、ラベルの多様性、モデル誘導選択、限界ユーティリティベースの停止を強調するトレーニングデータ戦略であるスマートサイズについて紹介する。 我々は、アダプティブラベル最適化(ALO)により、事前ラベル付けトリアージ、アノテータの不一致分析、反復フィードバックを組み合わせることで、モデル性能を有意義に向上するラベルの優先順位付けを行う。 実験によると、キュレートされたデータの20～40%でトレーニングされたモデルは、特にレアクラスのリコールやエッジケースの一般化において、完全なデータベースラインに適合または超える可能性がある。 また、トレーニングや検証セットに埋め込まれた遅延ラベルのエラーが評価を歪め、組み込み監査ツールやパフォーマンスに配慮したガバナンスの必要性を強調できることを示す。 スマートサイズリフレームアノテーションは、ミッション結果に沿ったフィードバック駆動のプロセスとして、ラベルの少ないより堅牢なモデルを可能にし、フロンティアモデルと運用システムのための効率的なAI開発パイプラインをサポートする。

関連論文リスト

• Feedback-Driven Pseudo-Label Reliability Assessment: Redefining Thresholding for Semi-Supervised Semantic Segmentation [5.7977777220041204]
  擬似スーパービジョンの一般的な実践は、事前に定義された信頼しきい値やエントロピーに基づいて擬似ラベルをフィルタリングすることである。 疑似ラベル選択のための動的フィードバック駆動しきい値決定手法であるEnsemble-of-Confidence Reinforcement (ENCORE)を提案する。 提案手法は,既存の擬似スーパービジョンフレームワークにシームレスに統合され,セグメンテーション性能が大幅に向上する。
  論文  参考訳（メタデータ） (2025-05-12T15:58:08Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
  GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2024-02-26T18:55:15Z)
• A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams [0.0]
  本稿では,制限付きラベル付きデータを用いたストリーミング環境の最適戦略を提案し,教師なし回帰のための適応手法を提案する。 提案手法は,初期ラベルのスパースセットを活用し,革新的なドリフト検出機構を導入する。 適応性を高めるために,Adaptive WINdowingアルゴリズムとRoot Mean Square Error (RMSE)に基づく誤り一般化アルゴリズムを統合する。
  論文  参考訳（メタデータ） (2023-12-12T19:23:54Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• TRIAGE: Characterizing and auditing training data for improved regression [80.11415390605215]
  TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。 TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。 TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T10:31:59Z)
• Robust Feature Learning Against Noisy Labels [0.2082426271304908]
  ミスラベルされたサンプルはモデルの一般化を著しく低下させることができる。 ノイズラベルによる監督の負の影響を最小限に抑えるために、プログレッシブな自己ブートストラッピングが導入される。 実験結果から,本手法は強騒音ラベル下でモデルロバスト性を効果的かつ効果的に向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-10T02:55:35Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。