論文の概要: The Problem with Metrics is a Fundamental Problem for AI
- arxiv url: http://arxiv.org/abs/2002.08512v1
- Date: Thu, 20 Feb 2020 00:56:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 08:01:42.969672
- Title: The Problem with Metrics is a Fundamental Problem for AI
- Title(参考訳): メトリクスの問題はaiの基本的な問題である
- Authors: Rachel Thomas and David Uminsky
- Abstract要約: メトリクスの過剰な強調は、操作、ゲーム、短期的な目標に焦点を合わせることにつながる。
本稿では,AIにおけるメトリクスの過度の強調による害を軽減するための枠組みを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimizing a given metric is a central aspect of most current AI approaches,
yet overemphasizing metrics leads to manipulation, gaming, a myopic focus on
short-term goals, and other unexpected negative consequences. This poses a
fundamental contradiction for AI development. Through a series of real-world
case studies, we look at various aspects of where metrics go wrong in practice
and aspects of how our online environment and current business practices are
exacerbating these failures. Finally, we propose a framework towards mitigating
the harms caused by overemphasis of metrics within AI by: (1) using a slate of
metrics to get a fuller and more nuanced picture, (2) combining metrics with
qualitative accounts, and (3) involving a range of stakeholders, including
those who will be most impacted.
- Abstract(参考訳): メトリクスの最適化は、現在のほとんどのAIアプローチの中心的な側面であるが、メトリクスの過剰な強調は、操作、ゲーム、短期的な目標に対するミオニックな焦点、その他の予期せぬネガティブな結果につながる。
これはAI開発に根本的な矛盾をもたらす。
一連の実世界のケーススタディを通じて、メトリクスの実践における悪さのさまざまな側面と、オンライン環境と現在のビジネスプラクティスがこれらの失敗を悪化させる方法のさまざまな側面に注目します。
最後に、AIにおけるメトリクスの過度の強調による害を軽減するためのフレームワークを提案する。(1) メトリクスのスレートを使用して、より精細な画像を得る、(2) メトリクスを質的なアカウントと組み合わせる、(3) 利害関係者を含む様々な利害関係者を含む。
関連論文リスト
- Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳(メタデータ) (2024-01-29T17:17:42Z) - Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for
AI Accountability [28.67753149592534]
本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。
我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
論文 参考訳(メタデータ) (2023-11-22T04:43:16Z) - Beyond Sharing: Conflict-Aware Multivariate Time Series Anomaly
Detection [18.796225184893874]
本稿では,衝突を意識した異常検出アルゴリズムCADを紹介する。
その結果,バニラMMoEの粗悪な性能は,MTS定式化の入力出力ミスアライメント設定に起因していることが判明した。
CADは3つの公開データセットの平均F1スコアが0.943であることを示す。
論文 参考訳(メタデータ) (2023-08-17T11:00:01Z) - BLEURT Has Universal Translations: An Analysis of Automatic Metrics by
Minimum Risk Training [64.37683359609308]
本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。
BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。
詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
論文 参考訳(メタデータ) (2023-07-06T16:59:30Z) - Joint Metrics Matter: A Better Standard for Trajectory Forecasting [67.1375677218281]
マルチモーダル・トラジェクトリ・予測法 : シングルエージェント・メトリクス(マージナル・メトリクス)を用いた評価
余分な指標にのみ注目することは、グループとして明確に一緒に歩いている人々のために、軌跡の衝突や軌跡のばらつきといった、不自然な予測につながる可能性がある。
本稿では,JADE,JFDE,衝突速度といったマルチエージェントメトリクス(ジョイントメトリクス)に関して,最先端トラジェクトリ予測手法の総合評価を行った。
論文 参考訳(メタデータ) (2023-05-10T16:27:55Z) - Rethinking the Metric in Few-shot Learning: From an Adaptive
Multi-Distance Perspective [30.30691830639013]
距離の異なる指標の寄与について検討し,適応型融合方式を提案する。
アダプティブ・メトリックス・モジュール(AMM)に基づいて、AMMやグローバル・アダプティブ・ロス(GAL)を含む数発の分類フレームワークであるAMTNetを設計する。
実験では,提案したAMMは実測値の融合モジュールよりも2%高い性能を達成し,AMTNetは複数のベンチマークデータセットで最先端の性能を向上する。
論文 参考訳(メタデータ) (2022-11-02T05:30:03Z) - Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。
これは私たちの最良の知識の一般的な評価の最初の定義です。
論文 参考訳(メタデータ) (2022-08-23T09:37:31Z) - Metrics reloaded: Recommendations for image analysis validation [59.60445111432934]
メトリクスのリロード(Metrics Reloaded)は、メトリクスの問題を意識した選択において研究者を導く包括的なフレームワークである。
このフレームワークは多段階のDelphiプロセスで開発され、問題指紋という新しい概念に基づいている。
問題指紋に基づいて、ユーザは適切なバリデーションメトリクスを選択して適用するプロセスを通じてガイドされる。
論文 参考訳(メタデータ) (2022-06-03T15:56:51Z) - Measuring Disparate Outcomes of Content Recommendation Algorithms with
Distributional Inequality Metrics [5.74271110290378]
我々は,経済学,分布不平等指標,およびTwitterのアルゴリズム・タイムラインにおけるコンテンツ露出の差異を測定する能力から,一連の指標を評価した。
これらのメトリクスを用いて、ユーザ間の歪んだ結果に強く寄与するコンテンツ提案アルゴリズムを特定できることを示す。
論文 参考訳(メタデータ) (2022-02-03T14:41:39Z) - Contingency-Aware Influence Maximization: A Reinforcement Learning
Approach [52.109536198330126]
インフルエンス(IM)問題は、インフルエンスの普及を最大化する、ソーシャルネットワーク内のシードノードのサブセットを見つけることを目的としている。
本研究では、招待されたノードがシードであるかどうかが不確実なIM問題(contingency-aware IM)に焦点をあてる。
最初の成功にもかかわらず、より多くのコミュニティへのソリューションの推進における大きな実践上の障害は、欲張りのアルゴリズムの巨大な実行時である。
論文 参考訳(メタデータ) (2021-06-13T16:42:22Z) - Project and Forget: Solving Large-Scale Metric Constrained Problems [7.381113319198104]
データポイント間で異なる測定値のセットが与えられた場合、入力された測定値と最も「一致」したメトリック表現を決定することは、多くの機械学習アルゴリズムにおいて重要なステップである。
既存の手法は、そのような問題に大量のメートル法制約があるため、特定の種類のメトリクスや小さな問題のサイズに制限される。
本稿では,多くの(指数関数的に)不等式制約を持つ計量制約問題の解法として,ブレグマン射影を用いたプロジェクト・アンド・フォーゲット(Project and Forget)を提案する。
論文 参考訳(メタデータ) (2020-05-08T04:50:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。