論文の概要: Benchmarking the rationality of AI decision making using the transitivity axiom

• arxiv url: http://arxiv.org/abs/2502.10554v1
• Date: Fri, 14 Feb 2025 20:56:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:05.179632
• Title: Benchmarking the rationality of AI decision making using the transitivity axiom
• Title（参考訳）: 推移公理を用いたAI意思決定の合理性ベンチマーク
• Authors: Kiwon Song, James M. Jennings III, Clintin P. Davis-Stober,
• Abstract要約: 我々は、人間の嗜好の推移性を評価するために設計された一連の選択実験を通して、AI応答の合理性を評価する。 Llama 2 と 3 モデルは一般的に遷移度を満足するが、違反が発生した場合、LLM の Chat/Instruct バージョンでのみ発生する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Fundamental choice axioms, such as transitivity of preference, provide testable conditions for determining whether human decision making is rational, i.e., consistent with a utility representation. Recent work has demonstrated that AI systems trained on human data can exhibit similar reasoning biases as humans and that AI can, in turn, bias human judgments through AI recommendation systems. We evaluate the rationality of AI responses via a series of choice experiments designed to evaluate transitivity of preference in humans. We considered ten versions of Meta's Llama 2 and 3 LLM models. We applied Bayesian model selection to evaluate whether these AI-generated choices violated two prominent models of transitivity. We found that the Llama 2 and 3 models generally satisfied transitivity, but when violations did occur, occurred only in the Chat/Instruct versions of the LLMs. We argue that rationality axioms, such as transitivity of preference, can be useful for evaluating and benchmarking the quality of AI-generated responses and provide a foundation for understanding computational rationality in AI systems more generally.
• Abstract（参考訳）: 選好の推移性のような基本的な選択公理は、人間の意思決定が合理的かどうか、すなわち実用的表現と整合性を決定するための検証可能な条件を提供する。 最近の研究は、人間のデータに基づいてトレーニングされたAIシステムが、人間と同じような推論バイアスを示し、AIがAIレコメンデーションシステムを通じて人間の判断をバイアスすることができることを示した。 我々は、人間の嗜好の推移性を評価するために設計された一連の選択実験を通して、AI応答の合理性を評価する。 メタのLlama 2と3 LLMモデルの10バージョンを検討した。 我々はベイズモデル選択を適用し、これらのAI生成した選択が2つの顕著な推移性モデルに反するかどうかを評価する。 Llama 2 および 3 モデルは一般的に遷移度を満足するが,違反が発生した場合,LLM の Chat/Instruct バージョンでのみ発生することがわかった。 我々は、選好の推移性のような合理性公理は、AI生成された応答の質を評価し、ベンチマークするのに有用であり、より一般的にAIシステムにおける計算合理性を理解する基盤となることを論じる。

関連論文リスト

• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
  我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。 リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-18T01:04:52Z)
• A Decision Theoretic Framework for Measuring AI Reliance [23.353778024330165]
  人間はしばしば人工知能(AI)システムの助けを借りて意思決定をする。 研究者は、補完的なパフォーマンスを達成する上で重要な要素として、人間がAIに適切に依存していることを確認する。 本稿では, 統計的決定理論に基づく信頼の形式的定義を提案し, 意思決定者がAIの推奨に従う確率として信頼の概念を分離する。
  論文  参考訳（メタデータ） (2024-01-27T09:13:09Z)
• Towards Understanding Sycophancy in Language Models [49.99654432561934]
  人間のフィードバックを利用した微調整を施したモデルにおける梅毒の有病率について検討した。 5つの最先端のAIアシスタントが、4つの異なる自由形式のテキスト生成タスクで常に梅毒を発現していることを示す。 以上の結果から、サイコファンシーは最先端のAIアシスタントの一般的な行動である可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-20T14:46:48Z)
• On Explainability in AI-Solutions: A Cross-Domain Survey [4.394025678691688]
  システムモデルを自動的に導出する際、AIアルゴリズムは人間には検出できないデータで関係を学習する。 モデルが複雑になればなるほど、人間が意思決定の理由を理解するのが難しくなる。 この研究は、この話題に関する広範な文献調査を提供し、その大部分は、他の調査から成っている。
  論文  参考訳（メタデータ） (2022-10-11T06:21:47Z)
• A Human-Centric Assessment Framework for AI [11.065260433086024]
  説明可能なAIシステムをどのように評価すべきかに関して合意された基準はない。 チューリングテストに触発されて,人間中心のアセスメントフレームワークを導入する。 このセットアップは、広範囲の人間中心のAIシステムアセスメントのためのフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-05-25T12:59:13Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Indecision Modeling [50.00689136829134]
  AIシステムは人間の価値観に合わせて行動することが重要である。 人々はしばしば決定的ではなく、特に彼らの決定が道徳的な意味を持つときです。
  論文  参考訳（メタデータ） (2020-12-15T18:32:37Z)
• Challenging common interpretability assumptions in feature attribution explanations [0.0]
  大規模な人・物体実験により,3つの共通解釈可能性仮定の妥当性を実証的に評価した。 特徴帰属の説明は、人間の意思決定者にとって、我々のタスクに限界効用をもたらす。
  論文  参考訳（メタデータ） (2020-12-04T17:57:26Z)
• Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
  AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。 我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。 実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
  論文  参考訳（メタデータ） (2020-04-27T19:06:28Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。