論文の概要: Measuring and mitigating overreliance is necessary for building human-compatible AI

• arxiv url: http://arxiv.org/abs/2509.08010v1
• Date: Mon, 08 Sep 2025 16:15:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.200337
• Title: Measuring and mitigating overreliance is necessary for building human-compatible AI
• Title（参考訳）: 人間互換AI構築には、過度信頼度の測定と緩和が不可欠である
• Authors: Lujain Ibrahim, Katherine M. Collins, Sunnie S. Y. Kim, Anka Reuel, Max Lamparth, Kevin Feng, Lama Ahmad, Prajna Soni, Alia El Kattan, Merlin Stein, Siddharth Swaroop, Ilia Sucholutsky, Andrew Strait, Q. Vera Liao, Umang Bhatt,
• Abstract要約: オーバー信頼度の測定と緩和は、大規模言語モデルの研究と展開の中心でなければならない、と我々は主張する。 まず、リスクを個人レベルと社会的レベルの両方の過信から集約する。 我々は,AI研究コミュニティが人間の能力を損なうことなく,LLMの増強を図ることができる緩和戦略を提案する。
• 参考スコア（独自算出の注目度）: 35.656767738427426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) distinguish themselves from previous technologies by functioning as collaborative "thought partners," capable of engaging more fluidly in natural language. As LLMs increasingly influence consequential decisions across diverse domains from healthcare to personal advice, the risk of overreliance - relying on LLMs beyond their capabilities - grows. This position paper argues that measuring and mitigating overreliance must become central to LLM research and deployment. First, we consolidate risks from overreliance at both the individual and societal levels, including high-stakes errors, governance challenges, and cognitive deskilling. Then, we explore LLM characteristics, system design features, and user cognitive biases that - together - raise serious and unique concerns about overreliance in practice. We also examine historical approaches for measuring overreliance, identifying three important gaps and proposing three promising directions to improve measurement. Finally, we propose mitigation strategies that the AI research community can pursue to ensure LLMs augment rather than undermine human capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、より流動的な自然言語処理が可能な「思考パートナー」として機能することで、従来の技術と差別化している。 LLMは、医療から個人的アドバイスに至るまで、さまざまな分野のコンシークエンス決定に影響を及ぼす傾向にあるため、LLMの能力以上のものに依存する過信のリスクが増大する。 このポジションペーパーでは、過信の測定と緩和はLLMの研究と展開の中心となるべきであると論じている。 まず、リスクを個人レベルと社会的レベルの両方の過信から集約する。 次に,LLMの特徴,システム設計の特徴,ユーザの認知バイアスについて考察する。 また,過度に測定するための歴史的アプローチ,重要な3つのギャップの同定,測定を改善するための有望な3つの方向の提案についても検討した。 最後に、AI研究コミュニティが人間の能力を損なうのではなく、LLMの増強を確実にするための緩和戦略を提案する。

関連論文リスト

• LLMs in Cybersecurity: Friend or Foe in the Human Decision Loop? [0.15293427903448023]
  大規模言語モデル(LLM)は、認知的協力者としての行動によって人間の意思決定を変革している。 本稿では,LLMがセキュリティクリティカルな文脈でどのように人間の判断を形作るかを検討する。
  論文  参考訳（メタデータ） (2025-09-08T12:06:06Z)
• Corrupted by Reasoning: Reasoning Language Models Become Free-Riders in Public Goods Games [87.5673042805229]
  大規模言語モデルは、アライメント、堅牢性、安全なデプロイメントを保証する上で、いかに自己関心と集合的幸福のバランスをとるかが重要な課題である。 我々は、行動経済学から制度的に選択した公共財ゲームに適応し、異なるLLMがいかに社会的ジレンマをナビゲートするかを観察することができる。 意外なことに、o1シリーズのようなLCMの推論は、協調にかなり苦労している。
  論文  参考訳（メタデータ） (2025-06-29T15:02:47Z)
• Agent-to-Agent Theory of Mind: Testing Interlocutor Awareness among Large Language Models [15.988426837549248]
  大規模言語モデル(LLM)は、マルチエージェントやヒューマンAIシステムに統合されつつある。 本稿では,対話相手の同一性と特徴を識別し,適応する能力について定式化する。 GPT や Claude など,LLM が同一家族の同族や著名なモデルファミリを確実に識別できることを示す。
  論文  参考訳（メタデータ） (2025-06-28T17:22:59Z)
• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• Large Language Models and User Trust: Consequence of Self-Referential Learning Loop and the Deskilling of Healthcare Professionals [1.6574413179773761]
  本稿では, LLMにおける臨床医の信頼と, 主に人間生成コンテンツからAI生成コンテンツへのデータソースの影響との関係について検討する。 主な懸念の1つは、LLMが学習のアウトプットにより依存するにつれて生じる潜在的なフィードバックループである。 調査から得られた重要なポイントは、ユーザの専門知識の重要な役割と、LCMのアウトプットを信頼し、検証するための差別化アプローチの必要性である。
  論文  参考訳（メタデータ） (2024-03-15T04:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。