論文の概要: Evaluating Generative Agents with Actions Grounded in Socially Distributed Task Environments using Incognita
- arxiv url: http://arxiv.org/abs/2607.02975v1
- Date: Fri, 03 Jul 2026 05:34:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.479919
- Title: Evaluating Generative Agents with Actions Grounded in Socially Distributed Task Environments using Incognita
- Title（参考訳）: 社会的に分散したタスク環境下での行動を伴う生成エージェントの評価
- Abstract要約: Incognitaは、社会的相互作用を基底的実行から分離するフレームワークである。
ソーシャル・ブロードスによって階層化された18のタスクに対して540の試行で3つの生成エージェントモデルを評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective agency in social environments depends on when an agent seeks knowledge, when it acts, and whether its actions are justified by acquired information. Existing grounded benchmarks provide executable actions, persistent state, and verifiable outcomes, while social simulation environments provide rich interaction among language agents. We study an evaluation setting that combines these requirements. We define socially distributed task environments as interactive environments where task-relevant knowledge is partitioned across role-isolated participants and consequential actions are accessible only through them. Communication serves as exploration over role-partitioned knowledge, while grounded action serves as exploitation over environment state. We introduce Incognita, a Concordia-based framework that separates social interaction from grounded execution. The evaluated agent routes messages to a user or specialist entities; specialists mediate admissible operations; a deterministic sub-environment executes accepted operations over a canonical state; and an offline evaluator scores outcomes with inherited rewards. Incognita-Retail transforms tau-bench retail into a multi-entity environment while preserving final-state reward semantics. We evaluate three generative agent models on 18 tasks stratified by social breadth, with 540 trials. Progress appears in reward and behavior: success rises from 0 percent to 8.9 percent and 17.2 percent, while premature finalization falls from 100 percent to 87 percent and 58 percent. Stronger models elicit more hidden knowledge, contact more entities, and attempt more grounded writes, yet reliability remains low. These findings show that socially distributed task environments expose behavior before reliable success, including knowledge elicitation, source selection, grounded action attempts, and premature completion belief.
- Abstract（参考訳）: 社会的環境における効果的なエージェンシーは、エージェントがいつ知識を求め、いつ行動し、その行動が獲得された情報によって正当化されるかに依存する。
既存のベンチマークは実行可能アクション、永続状態、検証可能な結果を提供する一方、社会シミュレーション環境は言語エージェント間のリッチな相互作用を提供する。
これらの要件を組み合わせた評価設定について検討する。
我々は、社会的に分散したタスク環境を、タスク関連知識を役割分離された参加者に分割し、それを通してのみアクセス可能な対話環境として定義する。
コミュニケーションは役割分断された知識の探索として機能し、接地された行動は環境状態に対する搾取として機能する。
Incognitaはコンコルディアをベースとしたフレームワークで、社会的相互作用を基礎的な実行から分離する。
評価されたエージェントは、ユーザまたはスペシャリストにメッセージをルーティングし、専門家は許容可能な操作を仲介し、決定論的サブ環境は、標準状態上で受け入れられた操作を実行し、オフライン評価者は、継承された報酬で結果をスコアする。
Incognita-Retailは、最終状態報酬のセマンティクスを保持しながら、Tau-bench小売をマルチエンタリティ環境に変換する。
ソーシャル・ブロードスによって階層化された18のタスクに対して540の試行で3つの生成エージェントモデルを評価した。
成功率は0から8.9%、そして17.2%に上昇し、未熟期のファイナライゼーションは100%から87%、そして58%に低下する。
より強力なモデルは、より隠れた知識を導き、より多くのエンティティにコンタクトし、より基礎的な書き込みを試みる。
これらの結果から,社会的に分散したタスク環境は,知識の活用,情報源の選択,接地行動の試み,早期完成信念など,信頼性の高い成功を前に行動を明らかにすることが示唆された。
関連論文リスト
- Efficient Test-Time Adaptation through Human-AI Interaction [112.5131603022122]
我々は,ヒト-エージェント間相互作用(TAHI)によるテスト時間適応を提案する。
エージェントを2つの高ユーティリティドメイン(書き込みと視覚的創造)の30人に適応させ、合計600のタスクをこなします。
エージェントは10タスク以内の単独作業の成功率を4.5-20.9%向上させる。
論文 参考訳（メタデータ） (2026-09-03T17:33:18Z) - OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution [71.06848799741152]
AIエージェントは、初期状態の変化が将来的な決定に影響を与える可能性のある永続的な環境で動作する。
現在の安全ベンチマークは、短い静的タスクにフォーカスするため、累積的なリスクを捕捉できないことが多い。
環境の進化を通じて、スケーラブルなエージェントレッドチームのためのオープンなアリーナであるOpenARTを紹介します。
論文 参考訳（メタデータ） (2026-08-01T13:51:55Z) - SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks [73.92333717662558]
SpaceWorldは、複雑な現実世界のタスクにおけるマルチモーダルエージェントのインタラクティブな空間的理解を評価するためのベンチマークである。
多様なドメイン(例えば、家庭のルーチン、旅行、社会協力など)にまたがる760の人称タスクが特徴である。
信頼性評価のために、各タスクは、人間検証された初期状態、参照軌跡、端末状態検証器を含む。
論文 参考訳（メタデータ） (2026-06-08T15:51:51Z) - Online Agent-as-a-Judge: Situation-Generating Evaluation for Interactive Agents [7.750851374657493]
対話型ソーシャルエージェントのための状況生成評価フレームワークであるOnline Agent-as-a-Judgeを提案する。
Online Agent-as-a-Judgeは、環境のネイティブ対話とアクションプロトコルを通じてターゲットエージェントと対話する、現実世界の評価エージェントをデプロイする。
オンラインエージェント・アズ・ア・ジャッジ(Online Agent-as-a-Judge)は、デザイナーによる32ドルの社会的基準を持つライフシミュレート環境において、人間のラベルに対する基準範囲と合意を改善している。
論文 参考訳（メタデータ） (2026-06-06T14:37:33Z) - Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity [12.381781997363609]
現在のLSMベースのエージェントは、予期せぬ情報を反映したり、反応したりするのに苦労している。
我々は、タスクのソリューションをモデルに意図的に公開するために、完全なタスクソリューションをエージェント環境に注入する。
エージェントは79～81%のランでターミナルベンチでこれらの解を発見するが、それらは37～50%のケースで相互作用し、悪用する。
論文 参考訳（メタデータ） (2026-04-19T20:49:41Z) - Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation [57.65688895630163]
ACuRLは自律的なカリキュラム強化学習フレームワークで、エージェントを人間データゼロの特定の環境に継続的に適応させる。
本研究では,環境内学習と環境横断学習の両方を効果的に実現し,既存の環境を忘れずに4～22%の性能向上を実現した。
論文 参考訳（メタデータ） (2026-02-10T23:06:02Z) - Automatic Cognitive Task Generation for In-Situ Evaluation of Embodied Agents [43.01384379901339]
本研究では,人間の認知に触発された未確認環境に対する動的タスク生成手法を提案する。
インタラクションの段階では、エージェントは環境と積極的に対話し、タスクの実行と生成の間のループを作成する。
10シーンにわたる実験では、TAAは2サイクルで87,876のタスクを自動生成している。
論文 参考訳（メタデータ） (2026-02-05T03:07:00Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z) - Stubborn: An Environment for Evaluating Stubbornness between Agents with
Aligned Incentives [4.022057598291766]
フルアラインインセンティブを持つエージェント間の頑健性を評価する環境であるStubbornについて紹介する。
予備的な結果として, エージェントは, パートナーの頑健さを, 環境における選択の改善のシグナルとして活用することを学ぶ。
論文 参考訳（メタデータ） (2023-04-24T17:19:15Z) - Aligning to Social Norms and Values in Interactive Narratives [89.82264844526333]
我々は、インタラクティブな物語やテキストベースのゲームにおいて、社会的に有益な規範や価値観に沿って行動するエージェントを作成することに注力する。
我々は、特別な訓練を受けた言語モデルに存在する社会的コモンセンス知識を用いて、社会的に有益な値に整合した行動にのみ、その行動空間を文脈的に制限するGAALADエージェントを紹介した。
論文 参考訳（メタデータ） (2022-05-04T09:54:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。