論文の概要: Measuring Error Alignment for Decision-Making Systems

• arxiv url: http://arxiv.org/abs/2409.13919v1
• Date: Fri, 20 Sep 2024 21:59:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 04:39:44.084988
• Title: Measuring Error Alignment for Decision-Making Systems
• Title（参考訳）: 意思決定システムにおける誤差アライメントの測定
• Authors: Binxia Xu, Antonis Bikakis, Daniel Onah, Andreas Vlachidis, Luke Dickens,
• Abstract要約: 本稿では,2つの行動アライメント指標の誤分類契約を提案する。 私たちのメトリクスはRAメトリクスとよく相関しており、補完的な情報を他のBAメトリクスに提供しています。
• 参考スコア（独自算出の注目度）: 1.128465319539888
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Given that AI systems are set to play a pivotal role in future decision-making processes, their trustworthiness and reliability are of critical concern. Due to their scale and complexity, modern AI systems resist direct interpretation, and alternative ways are needed to establish trust in those systems, and determine how well they align with human values. We argue that good measures of the information processing similarities between AI and humans, may be able to achieve these same ends. While Representational alignment (RA) approaches measure similarity between the internal states of two systems, the associated data can be expensive and difficult to collect for human systems. In contrast, Behavioural alignment (BA) comparisons are cheaper and easier, but questions remain as to their sensitivity and reliability. We propose two new behavioural alignment metrics misclassification agreement which measures the similarity between the errors of two systems on the same instances, and class-level error similarity which measures the similarity between the error distributions of two systems. We show that our metrics correlate well with RA metrics, and provide complementary information to another BA metric, within a range of domains, and set the scene for a new approach to value alignment.
• Abstract（参考訳）: AIシステムは、将来の意思決定プロセスにおいて重要な役割を果たすように設定されているため、信頼性と信頼性は重要な懸念事項である。 その規模と複雑さのため、現代のAIシステムは直接解釈に抵抗し、それらのシステムに対する信頼を確立するための代替手段が必要であり、それらがいかに人間の価値観と整合するかを判断する。 我々は、AIと人間の情報処理の類似性に関する優れた測定が、これらの同じ目的を達成することができるかもしれないと論じる。 表象アライメント(RA)アプローチは、2つのシステムの内部状態間の類似度を測定するが、関連するデータは高価であり、人間のシステムにとって収集が困難である。 対照的に、行動アライメント(BA)の比較は安価で容易であるが、その感度と信頼性については疑問が残る。 本稿では,同一インスタンス上の2つのシステムのエラーの類似度を計測する行動アライメント指標の誤分類契約と,2つのシステムのエラー分布の類似度を計測するクラスレベルのエラー類似度を新たに提案する。 我々のメトリクスはRAメトリクスとよく相関し、他のBAメトリックに補完的な情報を提供し、領域の範囲内で、新しい価値アライメントのアプローチのシーンを設定します。

関連論文リスト

• Spot Check Equivalence: an Interpretable Metric for Information Elicitation Mechanisms [15.542532119818794]
  スポットチェックとピア予測という2つの主要なパラダイムは、人間のラベルから高品質なデータを評価し、インセンティブを与えるメカニズムの設計を可能にする。 これらのメトリクスのうち2つは、実際には特定のコンテキスト内で同じであり、3つ目の違いを説明します。 本稿では,各文脈におけるスポットチェック等価性を計算するための2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T06:57:07Z)
• Measuring Value Alignment [12.696227679697493]
  本稿では,AIシステムと人的価値の整合性を定量化する新しいフォーマリズムを提案する。 このフォーマリズムを利用することで、AI開発者と倫理学者は、人間の価値と調和して動作するように、AIシステムを設計し、評価することができる。
  論文  参考訳（メタデータ） (2023-12-23T12:30:06Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Interactive System-wise Anomaly Detection [66.3766756452743]
  異常検出は様々なアプリケーションにおいて基本的な役割を果たす。 既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。 システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
  論文  参考訳（メタデータ） (2023-04-21T02:20:24Z)
• Quality-Based Conditional Processing in Multi-Biometrics: Application to Sensor Interoperability [63.05238390013457]
  2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。 我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。 その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T12:11:22Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics [64.81682222169113]
  システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。 システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
  論文  参考訳（メタデータ） (2022-04-21T15:52:14Z)
• Fairness Score and Process Standardization: Framework for Fairness Certification in Artificial Intelligence Systems [0.4297070083645048]
  本稿では,データ駆動型AIシステムの公平性を測定するための新しいフェアネススコアを提案する。 また、公正性の概念を運用し、そのようなシステムの商用展開を容易にするためのフレームワークも提供する。
  論文  参考訳（メタデータ） (2022-01-10T15:45:12Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。