論文の概要: CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments
- arxiv url: http://arxiv.org/abs/2610.36484v1
- Date: Tue, 27 Oct 2026 01:42:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.460526
- Title: CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments
- Title（参考訳）: CogArena: インタラクティブな行動実験におけるマルチモーダルエージェントのベンチマーク
- Abstract要約: 我々は,社会科学と行動科学の10つの実験パラダイムのベンチマークであるCogArenaを紹介する。
エージェントは標準的なWebブラウザを通じて実験を完了し、オンライン参加者が使用するのと同じ視覚刺激と応答インターフェイスで動作する。
3段階のスコアリング手順は、エージェントがタスクを完了したかどうか、それがどれだけ正確に実行されたか、そしてそのデータが各パラダイムが確実に生成した行動シグネチャを示すかどうかを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Claims about the cognitive capabilities of large language models are typically tested by translating behavioral paradigms into text prompts, bypassing the visual interfaces and time pressure through which human participants actually engage with experiments. At the same time, AI agents can now complete online behavioral tasks and produce human-like data, which raises concerns that online datasets in the social and behavioral sciences are increasingly open to contamination. We introduce CogArena, a benchmark of ten experimental paradigms from the social and behavioral sciences. Agents complete the experiments through a standard web browser, working with the same visual stimuli and response interfaces that online participants use. A three-level scoring procedure evaluates whether the agent completed the task, how accurately it performed, and whether its data show the behavioral signatures each paradigm reliably produces in people. Across four multimodal models, each run ten times per task, we find that finishing an experiment and reproducing its signatures are different things. Many sessions did not finish, and those that did reproduced some signatures reliably and others not at all. CogArena provides the tasks, scoring code, and a public leaderboard for new submissions.
- Abstract（参考訳）: 大規模言語モデルの認知能力に関する主張は、通常、人間の参加者が実際に実験を行う視覚的インターフェースと時間圧をバイパスして、行動パラダイムをテキストプロンプトに変換することによってテストされる。
同時に、AIエージェントはオンラインの行動タスクを完了し、人間のようなデータを生成することができる。
我々は,社会科学と行動科学の10つの実験パラダイムのベンチマークであるCogArenaを紹介する。
エージェントは標準的なWebブラウザを通じて実験を完了し、オンライン参加者が使用するのと同じ視覚刺激と応答インターフェイスで動作する。
3段階のスコアリング手順は、エージェントがタスクを完了したかどうか、それがどれだけ正確に実行されたか、そしてそのデータが各パラダイムが確実に生成した行動シグネチャを示すかどうかを評価する。
4つのマルチモーダルモデルにまたがって、各タスクは10回実行されます。
多くのセッションは終了せず、署名を確実に再現したセッションも全くなかった。
CogArenaはタスク、スコアリングコード、新しい応募のための公開リーダーボードを提供する。
関連論文リスト
- EmbodiedLab: Benchmarking Embodied Agents That Act to Know [60.785006927377005]
身体的エージェントは、どのように、いつ周囲と対話するかを自分で決めることで、現実世界の目標を達成することが期待されている。
EmbodiedLabは、ロボットが知る必要があるベンチマークです。
開発者のコーディングエージェントにおける6つのフロンティアモデルについて、ネイティブな観察と制御を行い、知覚とモーションプランニングを加えて評価した。
論文 参考訳（メタデータ） (2026-10-26T13:06:33Z) - Efficient Test-Time Adaptation through Human-AI Interaction [112.5131603022122]
我々は,ヒト-エージェント間相互作用(TAHI)によるテスト時間適応を提案する。
エージェントを2つの高ユーティリティドメイン(書き込みと視覚的創造)の30人に適応させ、合計600のタスクをこなします。
エージェントは10タスク以内の単独作業の成功率を4.5-20.9%向上させる。
論文 参考訳（メタデータ） (2026-09-03T17:33:18Z) - How to Interpret Agent Behavior [56.59836196946289]
本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。
共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
論文 参考訳（メタデータ） (2026-05-13T14:52:40Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking [48.90371827091671]
AutoExperimentは、AIエージェントの機械学習実験の実装と実行能力を評価するベンチマークである。
我々は最先端のエージェントを評価し、n$が増加するにつれて性能が急速に低下することを発見した。
本研究は、長期コード生成、文脈検索、自律的な実験実行における重要な課題を浮き彫りにした。
論文 参考訳（メタデータ） (2025-06-24T15:39:20Z) - AgentA/B: Automated and Scalable Web A/BTesting with Interactive LLM Agents [35.8650712223701]
A/Bテストは、ヒトの大規模でライブなトラフィックに依存しているため、依然として制限されている。
本稿では,ユーザインタラクション行動と実際のWebページを自動的にシミュレートする新しいシステムであるAgentA/Bを提案する。
以上の結果から, エージェントA/Bは人間の行動パターンをエミュレートできる可能性が示唆された。
論文 参考訳（メタデータ） (2025-04-13T21:10:56Z) - Generative Agent Simulations of 1,000 People [56.82159813294894]
本稿では,1,052人の実人の態度と行動をシミュレートする新しいエージェントアーキテクチャを提案する。
生成エージェントは一般社会調査の参加者の回答を85%の精度で再現する。
我々のアーキテクチャは、人種的およびイデオロギー的グループにおける正確さのバイアスを、人口統計学的記述のエージェントと比較して低減する。
論文 参考訳（メタデータ） (2024-11-15T11:14:34Z) - MUG: Interactive Multimodal Grounding on User Interfaces [12.035123646959669]
本稿では,ユーザとエージェントがインタフェース画面上で協調作業を行うマルチモーダルグラウンドのための対話型タスクMUGを提案する。
ユーザがコマンドを与え、エージェントがコマンドに応答する。MUGはエージェントの応答を見る際に、エージェントがそのアクションを洗練または修正するための追加コマンドを与えるように、複数のラウンドのインタラクションを可能にする。
論文 参考訳（メタデータ） (2022-09-29T21:08:18Z) - Evaluating Multimodal Interactive Agents [14.936474798718653]
標準化テストスイート(STS)と呼ばれる新しい評価手法を提案する。
STSでは、実際のヒューマンインタラクションデータから抽出された振る舞いシナリオを使用している。
高速で、制御され、解釈可能で、自然主義的な相互作用を代表している。
論文 参考訳（メタデータ） (2022-05-26T11:18:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。