論文の概要: Investigating Agency of LLMs in Human-AI Collaboration Tasks
- arxiv url: http://arxiv.org/abs/2305.12815v2
- Date: Thu, 8 Feb 2024 02:22:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 19:50:43.267448
- Title: Investigating Agency of LLMs in Human-AI Collaboration Tasks
- Title(参考訳): 人とAIの協調作業におけるLLM調査機関
- Authors: Ashish Sharma, Sudha Rao, Chris Brockett, Akanksha Malhotra, Nebojsa
Jojic, Bill Dolan
- Abstract要約: 我々は社会認知理論に基づいて、エージェントが対話で表現される特徴の枠組みを構築する。
我々は、83人の人間と人間の協力的なインテリアデザインの会話のデータセットを収集する。
- 参考スコア(独自算出の注目度): 24.562034082480608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agency, the capacity to proactively shape events, is central to how humans
interact and collaborate. While LLMs are being developed to simulate human
behavior and serve as human-like agents, little attention has been given to the
Agency that these models should possess in order to proactively manage the
direction of interaction and collaboration. In this paper, we investigate
Agency as a desirable function of LLMs, and how it can be measured and managed.
We build on social-cognitive theory to develop a framework of features through
which Agency is expressed in dialogue - indicating what you intend to do
(Intentionality), motivating your intentions (Motivation), having self-belief
in intentions (Self-Efficacy), and being able to self-adjust (Self-Regulation).
We collect a new dataset of 83 human-human collaborative interior design
conversations containing 908 conversational snippets annotated for Agency
features. Using this dataset, we develop methods for measuring Agency of LLMs.
Automatic and human evaluations show that models that manifest features
associated with high Intentionality, Motivation, Self-Efficacy, and
Self-Regulation are more likely to be perceived as strongly agentive.
- Abstract(参考訳): イベントを積極的に形作る能力であるエージェンシーは、人間が対話し協力する方法の中心である。
LLMは人間の振る舞いをシミュレートし、人間のようなエージェントとして機能するために開発されているが、相互作用と協調の方向性を積極的に管理するためにこれらのモデルが保持されるべきであることはあまり注目されていない。
本稿では,LLMの望ましい機能であるAgentについて検討し,その測定と管理方法について述べる。
我々は,エージェントが対話で表現される特徴の枠組みを構築するために,社会的認知理論を構築し,何をするつもりか(意図)を示し,意図(動機)を動機付け,自尊心(自己効力感)を持ち,自己調整(自己統制)できる。
エージェント特徴に注釈付き会話スニペット908点を含む,人間と人間の共同インテリアデザイン会話83点のデータセットを新たに収集した。
このデータセットを用いて,LLMの測定方法を開発した。
自動評価と人間評価は、高い意図性、モチベーション、自己効力性、自己統制に関連する特徴を示すモデルは、より強力なエージェントとして認識される可能性が高いことを示している。
関連論文リスト
- Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。
本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
論文 参考訳(メタデータ) (2024-02-28T16:09:56Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳(メタデータ) (2024-01-12T11:18:00Z) - MetaAgents: Simulating Interactions of Human Behaviors for LLM-based
Task-oriented Coordination via Collaborative Generative Agents [27.911816995891726]
我々は,一貫した行動パターンと課題解決能力を備えたLLMベースのエージェントを,協調的生成エージェントとして導入する。
本研究では,人間のような推論能力と専門的スキルを備えた協調生成エージェントを実現する新しい枠組みを提案する。
我々の研究は、タスク指向の社会シミュレーションにおける大規模言語モデルの役割と進化に関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-10-10T10:17:58Z) - Evaluating Multi-Agent Coordination Abilities in Large Language Models [28.352480978451865]
大きな言語モデル(LLM)は、人間のような方法で言語を理解し、生成し、解釈する顕著な能力を持っている。
各種調整シナリオにおける LLM を用いたエージェントの有効性の構築と評価を行う。
論文 参考訳(メタデータ) (2023-10-05T21:18:15Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳(メタデータ) (2023-09-14T17:12:03Z) - Building Cooperative Embodied Agents Modularly with Large Language
Models [104.57849816689559]
本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。
我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。
C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
論文 参考訳(メタデータ) (2023-07-05T17:59:27Z) - Investigating Emergent Goal-Like Behaviour in Large Language Models
Using Experimental Economics [0.0]
社会ジレンマにおける協調的,競争的,利他的,利己的行動の自然言語記述を運用する大規模言語モデル(LLM)の能力について検討する。
我々の焦点は、非ゼロサム相互作用の古典的な例である反復された囚人のジレンマである。
論文 参考訳(メタデータ) (2023-05-13T17:23:16Z) - CAMEL: Communicative Agents for "Mind" Exploration of Large Language
Model Society [58.04479313658851]
本稿では,コミュニケーションエージェント間の自律的協調を支援するスケーラブルな手法の構築の可能性について検討する。
本稿では,ロールプレイングという新しいコミュニケーションエージェントフレームワークを提案する。
コントリビューションには、新しいコミュニケーティブエージェントフレームワークの導入、マルチエージェントシステムの協調行動や能力を研究するためのスケーラブルなアプローチの提供などが含まれます。
論文 参考訳(メタデータ) (2023-03-31T01:09:00Z) - ToM2C: Target-oriented Multi-agent Communication and Cooperation with
Theory of Mind [18.85252946546942]
心の理論(Theory of Mind、ToM)は、効果的なコミュニケーションと協力が可能な社会的に知的なエージェントを構築する。
このアイデアは、協調ナビゲーションとマルチセンサーターゲットカバレッジという、2つの典型的な目標指向型マルチエージェントタスクで実証される。
論文 参考訳(メタデータ) (2021-10-15T18:29:55Z) - Balancing Performance and Human Autonomy with Implicit Guidance Agent [8.071506311915396]
暗黙のガイダンスは、人間が計画の改善と自律性維持のバランスを維持するために有効であることを示す。
我々は、ベイズ的思考理論を既存の協調計画アルゴリズムに統合することにより、暗黙のガイダンスを持つ協調エージェントをモデル化した。
論文 参考訳(メタデータ) (2021-09-01T14:47:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。