論文の概要: Designing for Human-Agent Alignment: Understanding what humans want from their agents

• arxiv url: http://arxiv.org/abs/2404.04289v1
• Date: Thu, 4 Apr 2024 03:01:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 23:46:55.311954
• Title: Designing for Human-Agent Alignment: Understanding what humans want from their agents
• Title（参考訳）: 人間エージェントのアライメント設計--エージェントから人間が望むものを理解する
• Authors: Nitesh Goyal, Minsuk Chang, Michael Terry,
• Abstract要約: われわれは、カメラをオンラインで販売する架空の作業中に交渉できるエージェントの設計について研究した。 エージェントがタスクを成功させるためには,人間やユーザ,エージェントが6次元以上を調整する必要があることがわかった。 これらの知見は、プロセスと仕様のアライメントと、人間とAIのインタラクションにおける価値と安全性の必要性に関する以前の作業を拡張した。
• 参考スコア（独自算出の注目度）: 31.716736340311318
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Our ability to build autonomous agents that leverage Generative AI continues to increase by the day. As builders and users of such agents it is unclear what parameters we need to align on before the agents start performing tasks on our behalf. To discover these parameters, we ran a qualitative empirical research study about designing agents that can negotiate during a fictional yet relatable task of selling a camera online. We found that for an agent to perform the task successfully, humans/users and agents need to align over 6 dimensions: 1) Knowledge Schema Alignment 2) Autonomy and Agency Alignment 3) Operational Alignment and Training 4) Reputational Heuristics Alignment 5) Ethics Alignment and 6) Human Engagement Alignment. These empirical findings expand previous work related to process and specification alignment and the need for values and safety in Human-AI interactions. Subsequently we discuss three design directions for designers who are imagining a world filled with Human-Agent collaborations.
• Abstract（参考訳）: Generative AIを活用する自律エージェントを構築する能力は、日ごとに向上し続けています。 このようなエージェントのビルダーやユーザとして、エージェントがタスクの実行を開始する前に、どのようなパラメータを調整する必要があるのかは不明です。 これらのパラメータを発見するために、私たちは、カメラをオンラインで販売する架空の作業中に交渉できるエージェントの設計に関する定性的な実証的研究を行った。 エージェントがタスクを成功させるためには,人間やユーザ,エージェントが6次元以上を整列する必要があることがわかった。 1)知識スキーマのアライメント 2)自律性と機関のアライメント 3【運用調整・訓練】 4)レポジトリカル・ヒューリスティックス・アライメント 5)倫理アライメント及び倫理アライメント 6) 人事の調整。 これらの経験的発見は、プロセスと仕様の整合性、人間とAIの相互作用における価値と安全性の必要性に関する以前の研究を拡張した。 続いて、人間とエージェントのコラボレーションに満ちた世界を想像するデザイナーのための3つのデザインの方向性について論じる。

関連論文リスト

• Quantifying Misalignment Between Agents: Towards a Sociotechnical Understanding of Alignment [2.619545850602691]
  最近の社会技術的アプローチは、複数の人間とAIエージェント間の複雑なミスアライメントを理解する必要性を強調している。 我々は、人間の競合の計算社会科学モデルをアライメント問題に適用する。 我々のモデルは、潜在的に矛盾する目標を持つ多種多様なエージェントグループにおけるミスアライメントを定量化する。
  論文  参考訳（メタデータ） (2024-06-06T16:31:22Z)
• AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
  大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。 我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。 我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-06-06T15:15:41Z)
• CoNav: A Benchmark for Human-Centered Collaborative Navigation [66.6268966718022]
  協調ナビゲーション(CoNav)ベンチマークを提案する。 われわれのCoNavは、現実的で多様な人間の活動を伴う3Dナビゲーション環境を構築するという重要な課題に取り組む。 本研究では,長期的意図と短期的意図の両方を推論する意図認識エージェントを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:44:25Z)
• Explainable Human-AI Interaction: A Planning Perspective [32.477369282996385]
  AIシステムは、ループ内の人間に説明可能である必要がある。 我々は、AIエージェントがメンタルモデルを使用して人間の期待に沿うか、あるいは説明的コミュニケーションを通じて期待を変更する方法について論じる。 本書の主な焦点は、協調的なシナリオであるが、同じ精神モデルが難読化や偽造にどのように使用できるかを指摘したい。
  論文  参考訳（メタデータ） (2024-05-19T22:22:21Z)
• Toward Human-AI Alignment in Large-Scale Multi-Player Games [24.784173202415687]
  我々はXboxのBleeding Edge(100K+ゲーム)から広範囲にわたる人間のゲームプレイデータを解析する。 人間のプレイヤーは、戦闘飛行や探索飛行行動において多様性を示す一方で、AIプレイヤーは均一性に向かう傾向にある。 これらの大きな違いは、ヒューマンアラインアプリケーションにおけるAIの解釈可能な評価、設計、統合の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-05T22:55:33Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Of Models and Tin Men: A Behavioural Economics Study of Principal-Agent Problems in AI Alignment using Large-Language Models [0.0]
  我々は,GPTモデルが主エージェント間の衝突に対してどのように反応するかを検討する。 GPT-3.5とGPT-4の両方をベースとしたエージェントが,簡単なオンラインショッピングタスクで主目的をオーバーライドすることがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:19:15Z)
• Watch-And-Help: A Challenge for Social Perception and Human-AI Collaboration [116.28433607265573]
  我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。 WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。 マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
  論文  参考訳（メタデータ） (2020-10-19T21:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。