論文の概要: HumanAgencyBench: Scalable Evaluation of Human Agency Support in AI Assistants

• arxiv url: http://arxiv.org/abs/2509.08494v1
• Date: Wed, 10 Sep 2025 11:10:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.402928
• Title: HumanAgencyBench: Scalable Evaluation of Human Agency Support in AI Assistants
• Title（参考訳）: HumanAgencyBench:AIアシスタントにおける人事支援のスケーラブルな評価
• Authors: Benjamin Sturgeon, Daniel Samuelson, Jacob Haimes, Jacy Reese Anthis,
• Abstract要約: エージェントの哲学的・科学的理論とAIを用いた評価手法を統合することにより、人間エージェントの考え方を発展させる。 我々は、典型的なAIのユースケースに基づいて、6次元の人間エージェントを持つスケーラブルで適応的なベンチマークであるHumanBench(HAB)を開発した。
• 参考スコア（独自算出の注目度）: 5.4831302830611195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As humans delegate more tasks and decisions to artificial intelligence (AI), we risk losing control of our individual and collective futures. Relatively simple algorithmic systems already steer human decision-making, such as social media feed algorithms that lead people to unintentionally and absent-mindedly scroll through engagement-optimized content. In this paper, we develop the idea of human agency by integrating philosophical and scientific theories of agency with AI-assisted evaluation methods: using large language models (LLMs) to simulate and validate user queries and to evaluate AI responses. We develop HumanAgencyBench (HAB), a scalable and adaptive benchmark with six dimensions of human agency based on typical AI use cases. HAB measures the tendency of an AI assistant or agent to Ask Clarifying Questions, Avoid Value Manipulation, Correct Misinformation, Defer Important Decisions, Encourage Learning, and Maintain Social Boundaries. We find low-to-moderate agency support in contemporary LLM-based assistants and substantial variation across system developers and dimensions. For example, while Anthropic LLMs most support human agency overall, they are the least supportive LLMs in terms of Avoid Value Manipulation. Agency support does not appear to consistently result from increasing LLM capabilities or instruction-following behavior (e.g., RLHF), and we encourage a shift towards more robust safety and alignment targets.
• Abstract（参考訳）: 人間はより多くのタスクや決定を人工知能(AI)に委譲するので、個人や集団の未来をコントロールできなくなるリスクがあります。 比較的単純なアルゴリズムシステムはすでに、ソーシャルメディアフィードアルゴリズムのような、エンゲージメントに最適化されたコンテンツを意図せず、意図せずにスクロールする人間による意思決定を後押ししている。 本稿では,AIを用いた評価手法を用いて,AIの哲学的・科学的理論を統合し,ユーザクエリをシミュレートし,検証し,AI応答を評価することによる人間エージェントの考え方を開発する。 我々は、典型的なAIユースケースに基づいて、6次元の人間エージェントを備えたスケーラブルで適応的なベンチマークであるHumanAgencyBench(HAB)を開発した。 HABは、AIアシスタントやエージェントが質問の明確化、価値操作の回避、誤った誤情報、決定の重要な決定、学習の促進、社会的境界の維持を問う傾向を測定する。 現代のLCMベースのアシスタントでは,低モデレートのエージェントがサポートされており,システム開発者やディメンションによってかなり異なることが分かる。 例えば、人為的LLMは全体としては人事機関を最も支持しているが、Avoid Value Manipulation(英語版)の観点では最も支持力の低いLLMである。 機関支援は LLM 能力の増大や命令追従行動(例えば RLHF など)によって一貫して生じるものではなく, より堅牢な安全性とアライメント目標へのシフトを奨励している。

関連論文リスト

• Modeling AI-Human Collaboration as a Multi-Agent Adaptation [0.0]
  タスクの関数としてAIと人間のコラボレーションを形式化するエージェントベースのシミュレーションを開発する。 モジュラータスクでは、AIが人間の代わりになることが多いことを示します。 また、記憶や構造が欠如している「幻覚的」AIでさえ、ローカルオプティマから逃れることによって、低能力な人間を増強することで、結果を改善することも示しています。
  論文  参考訳（メタデータ） (2025-04-29T16:19:53Z)
• Do LLMs trust AI regulation? Emerging behaviour of game-theoretic LLM agents [61.132523071109354]
  本稿では、異なる規制シナリオ下での戦略選択をモデル化する、AI開発者、規制当局、ユーザ間の相互作用について検討する。 我々の研究は、純粋なゲーム理論エージェントよりも「悲観的」な姿勢を採用する傾向にある戦略的AIエージェントの出現する振る舞いを特定する。
  論文  参考訳（メタデータ） (2025-04-11T15:41:21Z)
• Measurement of LLM's Philosophies of Human Nature [113.47929131143766]
  大規模言語モデル(LLM)を対象とする標準化された心理尺度を設計する。 現在のLSMは、人間に対する信頼の欠如を示す。 本稿では,LLMが継続的に価値体系を最適化できるメンタルループ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T06:22:19Z)
• Human aversion? Do AI Agents Judge Identity More Harshly Than Performance [0.06554326244334868]
  我々は,大規模言語モデルに基づくAIエージェントがどのように人間の入力を評価し,統合するかを検討する。 AIシステムは人間のアドバイスを体系的に減らし、アルゴリズムの誤りよりも人間の誤りを厳しく罰する。
  論文  参考訳（メタデータ） (2025-03-31T02:05:27Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。