論文の概要: XChoice: Explainable Evaluation of AI-Human Alignment in LLM-based Constrained Choice Decision Making

• arxiv url: http://arxiv.org/abs/2601.11286v1
• Date: Fri, 16 Jan 2026 13:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.506213
• Title: XChoice: Explainable Evaluation of AI-Human Alignment in LLM-based Constrained Choice Decision Making
• Title（参考訳）: XChoice: LLMに基づく制約付き選択決定におけるAI-Humanアライメントの説明可能な評価
• Authors: Weihong Qi, Fan Huang, Rasika Muralidharan, Jisun An, Haewoon Kwak,
• Abstract要約: XChoiceは、制約のある意思決定においてAIと人間のアライメントを評価するための説明可能なフレームワークである。 我々は、アメリカン・タイム・ユース・サーベイ(ATUS)を人間的根拠として、アメリカ人の日々の時間割当についてXChoiceを実証する。 全体として、XChoiceは、ミスアライメントを診断し、表面結果整合以上の情報改善をサポートするメカニズムベースのメトリクスを提供する。
• 参考スコア（独自算出の注目度）: 7.250052258137294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present XChoice, an explainable framework for evaluating AI-human alignment in constrained decision making. Moving beyond outcome agreement such as accuracy and F1 score, XChoice fits a mechanism-based decision model to human data and LLM-generated decisions, recovering interpretable parameters that capture the relative importance of decision factors, constraint sensitivity, and implied trade-offs. Alignment is assessed by comparing these parameter vectors across models, options, and subgroups. We demonstrate XChoice on Americans' daily time allocation using the American Time Use Survey (ATUS) as human ground truth, revealing heterogeneous alignment across models and activities and salient misalignment concentrated in Black and married groups. We further validate robustness of XChoice via an invariance analysis and evaluate targeted mitigation with a retrieval augmented generation (RAG) intervention. Overall, XChoice provides mechanism-based metrics that diagnose misalignment and support informed improvements beyond surface outcome matching.
• Abstract（参考訳）: 我々は、制約された意思決定におけるAI-ヒューマンアライメントを評価するための説明可能なフレームワークであるXChoiceを紹介する。 正確性やF1スコアといった結果の合意を超えて、XChoiceは、人間データとLLM生成決定にメカニズムベースの決定モデルを適用し、決定要因の相対的重要性、制約感度、インプリートトレードオフをキャプチャする解釈可能なパラメータを復元する。 アライメントはこれらのパラメータベクトルをモデル、オプション、サブグループ間で比較することによって評価される。 我々は、アメリカン・タイム・ユース・サーベイ(ATUS)を人間的根拠として、アメリカ人の日々の時間割当に関するXChoiceを実証し、モデルと活動にまたがる不均一なアライメントと、ブラックグループと既婚グループに集中した健康的不整合を明らかにした。 さらに,XChoiceの非分散解析によるロバスト性を検証し,検索拡張生成(RAG)介入による目標緩和を評価する。 全体として、XChoiceは、ミスアライメントを診断し、表面結果整合以上の情報改善をサポートするメカニズムベースのメトリクスを提供する。

関連論文リスト

• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Decision Making in Changing Environments: Robustness, Query-Based Learning, and Differential Privacy [59.64384863882473]
  本研究では,環境が時間とともに変化する対話的意思決定の課題について考察する。 意思決定の複雑さと敵意的な設定の複雑さを提供するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-24T21:31:50Z)
• One Model Many Scores: Using Multiverse Analysis to Prevent Fairness Hacking and Evaluate the Influence of Model Design Decisions [4.362723406385396]
  設計と評価の決定の公平さをよりよく理解するために,多変量解析をどのように利用できるかを示す。 結果から,システム評価に関する決定が,同じモデルに対して,極めて異なる公平度指標を導出する可能性を強調した。
  論文  参考訳（メタデータ） (2023-08-31T12:32:43Z)
• Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding [6.925076885159747]
  本稿では,予測アルゴリズムの堅牢な設計と評価のためのフレームワークを提案する。 様々な不確定な仮定が、所得グループ間での信用リスク予測と公平性評価に大きく影響していることが示される。
  論文  参考訳（メタデータ） (2022-12-19T20:41:44Z)
• Explainability's Gain is Optimality's Loss? -- How Explanations Bias Decision-making [0.0]
  説明は、アルゴリズムと人間の意思決定者とのコミュニケーションを促進するのに役立つ。 因果モデルに関する特徴に基づく説明のセマンティクスは、意思決定者の以前の信念から漏れを引き起こす。 このような違いは、準最適かつ偏った決定結果をもたらす可能性がある。
  論文  参考訳（メタデータ） (2022-06-17T11:43:42Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。