論文の概要: Investigating Agency of LLMs in Human-AI Collaboration Tasks
- arxiv url: http://arxiv.org/abs/2305.12815v2
- Date: Thu, 8 Feb 2024 02:22:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 19:50:43.267448
- Title: Investigating Agency of LLMs in Human-AI Collaboration Tasks
- Title(参考訳): 人とAIの協調作業におけるLLM調査機関
- Authors: Ashish Sharma, Sudha Rao, Chris Brockett, Akanksha Malhotra, Nebojsa
Jojic, Bill Dolan
- Abstract要約: 我々は社会認知理論に基づいて、エージェントが対話で表現される特徴の枠組みを構築する。
我々は、83人の人間と人間の協力的なインテリアデザインの会話のデータセットを収集する。
- 参考スコア(独自算出の注目度): 24.562034082480608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agency, the capacity to proactively shape events, is central to how humans
interact and collaborate. While LLMs are being developed to simulate human
behavior and serve as human-like agents, little attention has been given to the
Agency that these models should possess in order to proactively manage the
direction of interaction and collaboration. In this paper, we investigate
Agency as a desirable function of LLMs, and how it can be measured and managed.
We build on social-cognitive theory to develop a framework of features through
which Agency is expressed in dialogue - indicating what you intend to do
(Intentionality), motivating your intentions (Motivation), having self-belief
in intentions (Self-Efficacy), and being able to self-adjust (Self-Regulation).
We collect a new dataset of 83 human-human collaborative interior design
conversations containing 908 conversational snippets annotated for Agency
features. Using this dataset, we develop methods for measuring Agency of LLMs.
Automatic and human evaluations show that models that manifest features
associated with high Intentionality, Motivation, Self-Efficacy, and
Self-Regulation are more likely to be perceived as strongly agentive.
- Abstract(参考訳): イベントを積極的に形作る能力であるエージェンシーは、人間が対話し協力する方法の中心である。
LLMは人間の振る舞いをシミュレートし、人間のようなエージェントとして機能するために開発されているが、相互作用と協調の方向性を積極的に管理するためにこれらのモデルが保持されるべきであることはあまり注目されていない。
本稿では,LLMの望ましい機能であるAgentについて検討し,その測定と管理方法について述べる。
我々は,エージェントが対話で表現される特徴の枠組みを構築するために,社会的認知理論を構築し,何をするつもりか(意図)を示し,意図(動機)を動機付け,自尊心(自己効力感)を持ち,自己調整(自己統制)できる。
エージェント特徴に注釈付き会話スニペット908点を含む,人間と人間の共同インテリアデザイン会話83点のデータセットを新たに収集した。
このデータセットを用いて,LLMの測定方法を開発した。
自動評価と人間評価は、高い意図性、モチベーション、自己効力性、自己統制に関連する特徴を示すモデルは、より強力なエージェントとして認識される可能性が高いことを示している。
関連論文リスト
- Spontaneous Emergence of Agent Individuality through Social Interactions in LLM-Based Communities [0.0]
本稿では,Large Language Model (LLM) ベースのエージェントを用いて,ゼロからエージェントが出現することを検討する。
このマルチエージェントシミュレーションを解析することにより、社会的規範、協力、性格特性が自然に出現する方法について、貴重な新しい知見を報告する。
論文 参考訳(メタデータ) (2024-11-05T16:49:33Z) - Mutual Theory of Mind in Human-AI Collaboration: An Empirical Study with LLM-driven AI Agents in a Real-time Shared Workspace Task [56.92961847155029]
心の理論(ToM)は、他人を理解する上で重要な能力として、人間の協調とコミュニケーションに大きな影響を及ぼす。
Mutual Theory of Mind (MToM) は、ToM能力を持つAIエージェントが人間と協力するときに発生する。
エージェントのToM能力はチームのパフォーマンスに大きな影響を与えず,エージェントの人間的理解を高めていることがわかった。
論文 参考訳(メタデータ) (2024-09-13T13:19:48Z) - Transforming Agency. On the mode of existence of Large Language Models [0.0]
本稿では,ChatGPTのような大規模言語モデル(LLM)のオントロジ的特徴について検討する。
また,ChatGPTは,言語オートマトンやインターロケータ,言語オートマトンとして特徴付けられるべきだと論じる。
論文 参考訳(メタデータ) (2024-07-15T14:01:35Z) - WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
大型言語モデル(LLM)は人間のような知性を模倣することができる。
WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
論文 参考訳(メタデータ) (2024-07-07T07:15:49Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - MetaAgents: Simulating Interactions of Human Behaviors for LLM-based
Task-oriented Coordination via Collaborative Generative Agents [27.911816995891726]
我々は,一貫した行動パターンと課題解決能力を備えたLLMベースのエージェントを,協調的生成エージェントとして導入する。
本研究では,人間のような推論能力と専門的スキルを備えた協調生成エージェントを実現する新しい枠組みを提案する。
我々の研究は、タスク指向の社会シミュレーションにおける大規模言語モデルの役割と進化に関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-10-10T10:17:58Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳(メタデータ) (2023-09-14T17:12:03Z) - Building Cooperative Embodied Agents Modularly with Large Language
Models [104.57849816689559]
本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。
我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。
C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
論文 参考訳(メタデータ) (2023-07-05T17:59:27Z) - CAMEL: Communicative Agents for "Mind" Exploration of Large Language
Model Society [58.04479313658851]
本稿では,コミュニケーションエージェント間の自律的協調を支援するスケーラブルな手法の構築の可能性について検討する。
本稿では,ロールプレイングという新しいコミュニケーションエージェントフレームワークを提案する。
コントリビューションには、新しいコミュニケーティブエージェントフレームワークの導入、マルチエージェントシステムの協調行動や能力を研究するためのスケーラブルなアプローチの提供などが含まれます。
論文 参考訳(メタデータ) (2023-03-31T01:09:00Z) - ToM2C: Target-oriented Multi-agent Communication and Cooperation with
Theory of Mind [18.85252946546942]
心の理論(Theory of Mind、ToM)は、効果的なコミュニケーションと協力が可能な社会的に知的なエージェントを構築する。
このアイデアは、協調ナビゲーションとマルチセンサーターゲットカバレッジという、2つの典型的な目標指向型マルチエージェントタスクで実証される。
論文 参考訳(メタデータ) (2021-10-15T18:29:55Z) - Balancing Performance and Human Autonomy with Implicit Guidance Agent [8.071506311915396]
暗黙のガイダンスは、人間が計画の改善と自律性維持のバランスを維持するために有効であることを示す。
我々は、ベイズ的思考理論を既存の協調計画アルゴリズムに統合することにより、暗黙のガイダンスを持つ協調エージェントをモデル化した。
論文 参考訳(メタデータ) (2021-09-01T14:47:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。