論文の概要: Designing for Human-Agent Alignment: Understanding what humans want from their agents
- arxiv url: http://arxiv.org/abs/2404.04289v1
- Date: Thu, 4 Apr 2024 03:01:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 23:46:55.311954
- Title: Designing for Human-Agent Alignment: Understanding what humans want from their agents
- Title(参考訳): 人間エージェントのアライメント設計--エージェントから人間が望むものを理解する
- Authors: Nitesh Goyal, Minsuk Chang, Michael Terry,
- Abstract要約: われわれは、カメラをオンラインで販売する架空の作業中に交渉できるエージェントの設計について研究した。
エージェントがタスクを成功させるためには,人間やユーザ,エージェントが6次元以上を調整する必要があることがわかった。
これらの知見は、プロセスと仕様のアライメントと、人間とAIのインタラクションにおける価値と安全性の必要性に関する以前の作業を拡張した。
- 参考スコア(独自算出の注目度): 31.716736340311318
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Our ability to build autonomous agents that leverage Generative AI continues to increase by the day. As builders and users of such agents it is unclear what parameters we need to align on before the agents start performing tasks on our behalf. To discover these parameters, we ran a qualitative empirical research study about designing agents that can negotiate during a fictional yet relatable task of selling a camera online. We found that for an agent to perform the task successfully, humans/users and agents need to align over 6 dimensions: 1) Knowledge Schema Alignment 2) Autonomy and Agency Alignment 3) Operational Alignment and Training 4) Reputational Heuristics Alignment 5) Ethics Alignment and 6) Human Engagement Alignment. These empirical findings expand previous work related to process and specification alignment and the need for values and safety in Human-AI interactions. Subsequently we discuss three design directions for designers who are imagining a world filled with Human-Agent collaborations.
- Abstract(参考訳): Generative AIを活用する自律エージェントを構築する能力は、日ごとに向上し続けています。
このようなエージェントのビルダーやユーザとして、エージェントがタスクの実行を開始する前に、どのようなパラメータを調整する必要があるのかは不明です。
これらのパラメータを発見するために、私たちは、カメラをオンラインで販売する架空の作業中に交渉できるエージェントの設計に関する定性的な実証的研究を行った。
エージェントがタスクを成功させるためには,人間やユーザ,エージェントが6次元以上を整列する必要があることがわかった。
1)知識スキーマのアライメント
2)自律性と機関のアライメント
3【運用調整・訓練】
4)レポジトリカル・ヒューリスティックス・アライメント
5)倫理アライメント及び倫理アライメント
6) 人事の調整。
これらの経験的発見は、プロセスと仕様の整合性、人間とAIの相互作用における価値と安全性の必要性に関する以前の研究を拡張した。
続いて、人間とエージェントのコラボレーションに満ちた世界を想像するデザイナーのための3つのデザインの方向性について論じる。
関連論文リスト
- Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。
本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
論文 参考訳(メタデータ) (2024-02-28T16:09:56Z) - Toward Human-AI Alignment in Large-Scale Multi-Player Games [25.851632651607915]
我々はXboxのBleeding Edge(100K+ゲーム)から広範囲にわたる人間のゲームプレイデータを解析する。
人間のプレイヤーは、戦闘飛行や探索飛行行動において多様性を示す一方で、AIプレイヤーは均一性に向かう傾向にある。
これらの大きな違いは、ヒューマンアラインアプリケーションにおけるAIの解釈可能な評価、設計、統合の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2024-02-05T22:55:33Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳(メタデータ) (2023-09-14T17:12:03Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳(メタデータ) (2023-08-22T10:36:56Z) - Of Models and Tin Men: A Behavioural Economics Study of Principal-Agent
Problems in AI Alignment using Large-Language Models [0.0]
我々は,GPTモデルが主エージェント間の衝突に対してどのように反応するかを検討する。
GPT-3.5とGPT-4の両方をベースとしたエージェントが,簡単なオンラインショッピングタスクで主目的をオーバーライドすることがわかった。
論文 参考訳(メタデータ) (2023-07-20T17:19:15Z) - On some Foundational Aspects of Human-Centered Artificial Intelligence [52.03866242565846]
人間中心人工知能(Human Centered Artificial Intelligence)の意味については明確な定義はない。
本稿では,AIコンポーネントを備えた物理・ソフトウェア計算エージェントを指すHCAIエージェントについて紹介する。
HCAIエージェントの概念は、そのコンポーネントや機能とともに、人間中心のAIに関する技術的および非技術的議論を橋渡しする手段であると考えています。
論文 参考訳(メタデータ) (2021-12-29T09:58:59Z) - Self-Initiated Open World Learning for Autonomous AI Agents [16.41396764793912]
実際にAIエージェントが使われるようになるにつれて、エージェントを完全に自律的にする方法を考える時が来た。
本稿では,自己開始型オープンワールド学習エージェントの構築研究を促進するための,この学習パラダイムの理論的枠組みを提案する。
論文 参考訳(メタデータ) (2021-10-21T18:11:02Z) - Watch-And-Help: A Challenge for Social Perception and Human-AI
Collaboration [116.28433607265573]
我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。
WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。
マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
論文 参考訳(メタデータ) (2020-10-19T21:48:31Z) - A Proposal for Intelligent Agents with Episodic Memory [0.9236074230806579]
エージェントはエピソード記憶の恩恵を受けるだろうと我々は主張する。
このメモリはエージェントの経験をエージェントが経験を信頼できるようにエンコードする。
本稿では,ANNと標準計算機科学技術を組み合わせて,エピソード記憶の記憶と検索を支援するアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-05-07T00:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。