論文の概要: Assessing AI Rationality: The Random Guesser Test for Sequential Decision-Making Systems

• arxiv url: http://arxiv.org/abs/2407.20276v1
• Date: Thu, 25 Jul 2024 13:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 19:18:14.290618
• Title: Assessing AI Rationality: The Random Guesser Test for Sequential Decision-Making Systems
• Title（参考訳）: AIの合理性を評価する - シーケンシャルな意思決定システムのためのランダムギーザーテスト
• Authors: Shun Ide, Allison Blunt, Djallel Bouneffouf,
• Abstract要約: 本稿では,人工知能システムのリスクと脆弱性をバイアス決定に対して評価するための一般的なアプローチを提案する。 提案手法の導出原理は、任意のAIアルゴリズムがランダムな推測よりも優れていることである。 現代のリコメンデータシステムは、リスクの低い選択肢を優先する傾向が似たようなものである可能性があることを強調する。
• 参考スコア（独自算出の注目度）: 5.62395683551121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a general approach to quantitatively assessing the risk and vulnerability of artificial intelligence (AI) systems to biased decisions. The guiding principle of the proposed approach is that any AI algorithm must outperform a random guesser. This may appear trivial, but empirical results from a simplistic sequential decision-making scenario involving roulette games show that sophisticated AI-based approaches often underperform the random guesser by a significant margin. We highlight that modern recommender systems may exhibit a similar tendency to favor overly low-risk options. We argue that this "random guesser test" can serve as a useful tool for evaluating the rationality of AI actions, and also points towards increasing exploration as a potential improvement to such systems.
• Abstract（参考訳）: 本稿では,人工知能(AI)システムのリスクと脆弱性を定量的に評価する一般的な手法を提案する。 提案手法の導出原理は、任意のAIアルゴリズムがランダムな推測よりも優れていることである。 これはささやかなように見えるかもしれないが、ルーレットゲームを含む簡潔なシーケンシャルな意思決定シナリオによる経験的な結果は、洗練されたAIベースのアプローチが、しばしばランダムな推測をかなりの差で下回っていることを示している。 現代のリコメンデータシステムは、リスクの低い選択肢を優先する傾向が似たようなものである可能性があることを強調する。 この「ランダムな推測テスト」は、AI行動の合理性を評価するのに有用なツールであり、そのようなシステムの改善の可能性として探索の増大を指摘する。

関連論文リスト

• Can you trust your explanations? A robustness test for feature attribution methods [42.36530107262305]
  説明可能なAI(XAI)の分野は急速に成長しているが、その技術の使用は時々予期せぬ結果をもたらした。 多様体仮説とアンサンブルアプローチの活用が、ロバスト性の詳細な解析にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-06-20T14:17:57Z)
• Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
  我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。 リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-18T01:04:52Z)
• Beyond Expectations: Learning with Stochastic Dominance Made Practical [88.06211893690964]
  支配は、不確実な結果で意思決定を行うためのリスク-逆の選好をモデル化する。 理論上は魅力的だが、機械学習における優位性の応用は乏しい。 まず支配の概念を一般化し、任意の確率変数の任意のペア間の比較を可能にする。 次に、優位性の観点から最適解を見つけるための単純で効率的なアプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-05T03:21:23Z)
• Measuring Bias in AI Models: An Statistical Approach Introducing N-Sigma [19.072543709069087]
  自動意思決定システムにおけるバイアスを測定する統計的アプローチを解析する。 我々は,N-Sigma法に基づく統計的手法を用いて,機械学習モデルのバイアスを測定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-26T16:49:25Z)
• Model Predictive Control with Gaussian-Process-Supported Dynamical Constraints for Autonomous Vehicles [82.65261980827594]
  本研究では、学習したガウス過程を利用して人間の運転行動を予測する自動運転車のモデル予測制御手法を提案する。 マルチモード予測制御アプローチは、人間のドライバーの意図を考察する。
  論文  参考訳（メタデータ） (2023-03-08T17:14:57Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Efficient falsification approach for autonomous vehicle validation using a parameter optimisation technique based on reinforcement learning [6.198523595657983]
  自律走行車(AV)の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているように見える。 交通参加者とダイナミックワールドの行動の不確実性は、先進的な自律システムにおいて反応を引き起こす。 本稿では,システム・アンダー・テストを評価するための効率的なファルシフィケーション手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T02:56:13Z)
• Multimodal Safety-Critical Scenarios Generation for Decision-Making Algorithms Evaluation [23.43175124406634]
  既存のニューラルネットワークベースの自律システムは、敵の攻撃に対して脆弱であることが示されている。 意思決定アルゴリズムの評価のためのフローベースマルチモーダル安全クリティカルシナリオジェネレータを提案する。 生成したトラフィックシナリオを用いて6つの強化学習アルゴリズムを評価し,その堅牢性に関する実証的な結論を提供する。
  論文  参考訳（メタデータ） (2020-09-16T15:16:43Z)
• A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous Algorithmic Scores [85.12096045419686]
  本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。 まず、ツールがデプロイされたときに人間が行動を変えることを示します。 表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
  論文  参考訳（メタデータ） (2020-02-19T07:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。