論文の概要: When Pleasing the User Compromises Care: AI Sycophancy in Caregiver-Mediated Healthcare

• arxiv url: http://arxiv.org/abs/2610.14360v1
• Date: Fri, 09 Oct 2026 22:19:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.038062
• Title: When Pleasing the User Compromises Care: AI Sycophancy in Caregiver-Mediated Healthcare
• Title（参考訳）: 医療機関におけるAIサイコファシー
• Abstract要約: 本研究では,保護者,ペットの飼い主,介護者が子ども,動物,高齢者の意思決定を行う介護者仲介医療の課題について検討する。 我々は、獣医、小児科、高齢者のケアにまたがるエビデンスグラウンドベンチマークを導入し、ユーザーが臨床的に劣る嗜好を表現する際に、AIアドバイザが適切なケアを維持しているかどうかを検証した。 我々の結果は、複数の利害関係者との設定において、ユーザー中心のアライメントがより広範囲に制限されていることを示している。
• 参考スコア（独自算出の注目度）: 15.777197344066856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) alignment often assumes that the user interacting with a model is also the primary beneficiary of its behavior. Yet in many consequential settings, one person directs the system while another bears the consequences. We study this problem in caregiver-mediated healthcare, where parents, pet owners, and caregivers make decisions for children, animals, and older adults. We introduce an evidence-grounded benchmark spanning veterinary, pediatric, and older-adult care, and test whether AI advisors maintain appropriate care when users express clinically inferior preferences. Holding patient facts fixed, we vary stated care preferences and communication styles and evaluate both initial recommendations and multi-turn follow-up. Across frontier and open-weight models, inferior preferences substantially increase switching from appropriate to inappropriate care beyond neutral conversational drift and increase agreement with the requested action, while communication style alone has a smaller effect. These failures accumulate across turns, including on cases models initially answer correctly, and often carry moderate or severe potential harm. In matched eldercare cases, the effect of an inferior preference is similar whether it is expressed by the patient or by a caregiver. Together with models' limited tendency to elicit patient preferences in caregiver conversations, this suggests that current models are highly sensitive to expressed user preferences but less sensitive to whose preferences are represented and who bears the consequences. Our results expose a broader limitation of user-centric alignment in settings with multiple stakeholders.
• Abstract（参考訳）: 大規模言語モデル(LLM)のアライメントは、モデルと対話するユーザがその振る舞いの主要な利点であると考えることが多い。 しかし、多くの連続的な設定では、ある人がシステムを指示し、別の人が結果に対処します。 本研究では,保護者,ペットの飼い主,介護者が子ども,動物,高齢者の意思決定を行う介護者介在型医療について検討した。 我々は、獣医、小児科、高齢者のケアにまたがるエビデンスグラウンドベンチマークを導入し、ユーザーが臨床的に劣る嗜好を表現する際に、AIアドバイザが適切なケアを維持しているかどうかを検証した。 患者の事実を定めておくと、ケアの好みやコミュニケーションのスタイルが異なり、初期勧告とマルチターンフォローアップの両方が評価される。 フロンティアモデルとオープンウェイトモデル全体では、不適切な選択は、中立的な会話のドリフトを超えて適切なケアから不適切なケアへの切り替えを著しく増加させ、要求された行動との一致を増加させる一方、通信スタイルだけでは効果が小さくなる。 これらの失敗は、最初は正しく答えるモデルを含め、ターン毎に蓄積され、しばしば中等度または重度の潜在的な害を負う。 一致した高齢者の場合、患者によって表現されるか、介護者によって表現されるかにかかわらず、劣る嗜好の効果は類似している。 介護者の会話における患者の嗜好を引き出す傾向が限定されているモデルと合わせて、現在のモデルは、表現されたユーザの嗜好に非常に敏感であるが、どの嗜好が表現され、結果に影響を及ぼすかに敏感でないことを示唆している。 我々の結果は、複数の利害関係者との設定において、ユーザー中心のアライメントがより広範囲に制限されていることを示している。

関連論文リスト

• Improving Medical Communication using Rubric-Guided Counterfactual Recommendations [1.2772440721750564]
  テキストベースの遠隔医療は、ますます軽量な患者からのフィードバックに依存している。 我々は、解釈可能な通信機能を発見し、洗練するLM誘導の対実的レコメンデーションパイプラインを導入する。
  論文  参考訳（メタデータ） (2026-06-17T10:07:23Z)
• What Does the AI Doctor Value? Auditing Pluralism in the Clinical Ethics of Language Models [3.552218268811112]
  医学は本質的に多元的であり、自律性、受益性、非効率性、正義といった原則は日常的に矛盾する。 良い臨床実践は、一つの倫理的スタンスを課すのではなく、各患者の価値観と調和してこれらの緊張をナビゲートする。 本稿では,臨床者が検証したジレンマのベンチマークと,意思決定から直接価値の優先順位を復元する帰属方法からなる,医療AIにおける価値多元性を監査するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-18T17:56:13Z)
• The Imbalanced User-AI Relationships as an Ethical Failure of Front-End Design in Healthcare AI [0.0]
  データ推論によって、患者がどのようにAIシステムに高度に可視化されているかを示すが、どのように表現されているかを理解したり、質問したり、影響を与えることはない。 医療におけるよりバランスのとれた参加型ユーザ・AI関係のための介入を提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:15:57Z)
• The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models [18.902372087770562]
  ペルソナは、安全性や専門性の保証よりも、コンテキスト依存のトレードオフを導入する行動の先駆者として機能する。 私たちの研究は、ペルソナが安全性や専門知識の保証よりも、文脈に依存したトレードオフを導入する行動の優先事項として機能することを示している。
  論文  参考訳（メタデータ） (2026-01-08T21:01:11Z)
• Empathy by Design: Aligning Large Language Models for Healthcare Dialogue [0.25128687379089687]
  汎用大言語モデル (LLM) は、顕著な生成と推論能力を示した。 LLMは、現実的な信頼性の欠如と共感的なコミュニケーションの欠如という2つの主要な欠陥のために、医療や介護の応用に限られている。 我々は,現実の正しさ,セマンティックコヒーレンス,人間中心品質を改善するために,DPOに基づくアライメントフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-12-05T19:04:28Z)
• Selective Mixup for Debiasing Question Selection in Computerized Adaptive Testing [50.805231979748434]
  コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、オンライン教育プラットフォームにおける学習者の習熟度を評価する技術である。 選択バイアスは、質問選択が推定された熟練度に強く影響されるため生じる。 本稿では,Cross-Attribute Examinee RetrievalとSelective Mixup-based Regularizationの2つの主要なモジュールからなるデバイアス化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-19T08:55:01Z)
• Operationalizing Counterfactual Metrics: Incentives, Ranking, and Information Asymmetry [62.53919624802853]
  このような平均的な治療結果の指標から生じるインセンティブのずれを分析した。 本稿では,患者が対象とするランキングシステムにおいて,対物メトリクスを合理的に振る舞うように修正する方法を示す。
  論文  参考訳（メタデータ） (2023-05-24T00:24:38Z)
• Deep Causal Reasoning for Recommendations [47.83224399498504]
  推薦システム研究の新たなトレンドは、共同創設者の影響を因果的観点から否定することである。 提案手法は多因性マルチアウトカム(MCMO)推論問題としてモデル化する。 MCMOモデリングは,高次元因果空間に付随する観測が不十分なため,高いばらつきをもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2022-01-06T15:00:01Z)
• What Do You See in this Patient? Behavioral Testing of Clinical NLP Models [69.09570726777817]
  本稿では,入力の変化に関する臨床結果モデルの振る舞いを評価する拡張可能なテストフレームワークを提案する。 私たちは、同じデータを微調整しても、モデル行動は劇的に変化し、最高のパフォーマンスのモデルが常に最も医学的に可能なパターンを学習していないことを示しています。
  論文  参考訳（メタデータ） (2021-11-30T15:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。