論文の概要: GPTNT: Benchmarking Real-Time Collaboration Between Multimodal Agents on Keep Talking And Nobody Explodes

• arxiv url: http://arxiv.org/abs/2606.28514v1
• Date: Fri, 26 Jun 2026 18:09:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.587598
• Title: GPTNT: Benchmarking Real-Time Collaboration Between Multimodal Agents on Keep Talking And Nobody Explodes
• Title（参考訳）: GPTNT: マルチモーダルエージェント間のリアルタイムコラボレーションのベンチマーク
• Abstract要約: 我々は,協調型ビデオゲーム「Keep Talking and Nobody Explodes」のベンチマークであるGPTNTを紹介する。 我々は,GPTNTが最先端システムに重大な課題をもたらすことを示した。 状態追跡、時間圧下での効率的な動作、あいまいさ処理、エラー回復における重大な弱点を特定します。
• 参考スコア（独自算出の注目度）: 41.61877785278951
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal models are increasingly deployed to solve tasks collaboratively with humans or other artificial agents. Existing benchmarks show that these models possess many of the required component capabilities, but the conditions that coincide in collaboration, including time pressure, information asymmetry, and imperfect communication, are usually studied in isolation. We introduce GPTNT, a benchmark built on the cooperative video game Keep Talking and Nobody Explodes, in which two agents must coordinate to defuse procedurally generated bomb puzzles against a live countdown. One agent can see and manipulate the bomb but does not have the defusal instructions; the other has the instructions but cannot see or manipulate the bomb. Neither agent can succeed alone: success requires effective and efficient communication. Unlike turn-based proxies, GPTNT requires agents to act asynchronously and communicate in real time. GPTNT is designed to separate collaboration from reliance on memorized solutions: the instruction manual, the partner, or both can be withheld to isolate what a model derives in the moment from what it already knows. We show that GPTNT poses a substantial challenge for state-of-the-art systems: none of the closed- or open-source models we test defuses a single bomb in real time, a bar that human players clear. Through controlled experiments, we identify critical weaknesses in state tracking, efficient action under time pressure, ambiguity handling, and error recovery. We release GPTNT as a benchmark for collaborative performance that current evaluations leave unmeasured. Because it runs on the real game, GPTNT benefits from procedural generation and inherits a living modding community, allowing the benchmark to evolve as models improve rather than being solved once and retired.
• Abstract（参考訳）: マルチモーダルモデルは、人間や他の人工エージェントと協調してタスクを解決するために、ますます多くデプロイされている。 既存のベンチマークでは、これらのモデルは要求される多くのコンポーネント能力を持っているが、時間的圧力、情報非対称性、不完全なコミュニケーションなど、協調に一致する条件は、通常孤立して研究される。 我々は,協調型ビデオゲーム「Keep Talking and Nobody Explodes」のベンチマークであるGPTNTを紹介した。 一人のエージェントが爆弾を見たり操作したりすることはできるが、一方のエージェントは破壊命令を持っておらず、もう一方のエージェントは爆弾を見たり操作したりすることはできない。 どちらのエージェントも単独で成功することはできず、成功は効果的で効率的なコミュニケーションを必要とする。 ターンベースのプロキシとは異なり、GPTNTはエージェントが非同期に動作し、リアルタイムで通信する必要がある。 GPTNTは、暗記されたソリューションへの依存からコラボレーションを分離するように設計されている。命令マニュアル、パートナー、または両方は、モデルが現在何を導いているのかを、その時点で既に知っているものと区別するために保持される。 私たちは、GPTNTが最先端のシステムに重大な課題をもたらすことを示しています。 制御された実験により、状態追跡、時間圧下での効率的な動作、あいまいさ処理、エラー回復の重大な弱点を特定する。 我々はGPTNTを協調性能のベンチマークとしてリリースし、現在の評価は未測定のままである。 実際のゲームで動作するため、GPTNTはプロシージャ生成の恩恵を受け、生きた修正コミュニティを継承する。

関連論文リスト

• WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents [53.426679066400844]
  WeAgent-Harnessは、ネイティブテキストビジョンインタラクションと実行時リカバリをサポートするマルチモーダルエージェントハーネスである。 WeAgent-MMSearchは,データ構築,エージェントポストトレーニング,マルチモーダルロールアウトにまたがる統合システムである。 また、150タスクの人間認証ベンチマークであるVisTarget-Benchを紹介します。
  論文  参考訳（メタデータ） (2026-08-28T08:28:43Z)
• Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures [0.0]
  現実世界のシステムは、ディスパッチ後のタイムアウト、遅延可視性、部分的な状態更新など、非原子的な振る舞いを示す。 これらのミスマッチは、重複アクション、タスク成功、不要なツール実行などの信頼性の問題を引き起こす。 ライトウェイトで検証対応のツールラッパーが導入されており、ツールコールをポストコンディション検証、バリデーション前ロジック、イデオロケーションキーで拡張する。
  論文  参考訳（メタデータ） (2026-07-31T16:16:14Z)
• What Should Agents Say? Action-state Communication for Efficient Multi-Agent Systems [27.11156309236441]
  2つのマルチエージェントシステム間での5つの共通エージェント間通信戦略を解析する。 PACT (Protocolized Action-State Communication and Transmission) は,エージェント間通信を状態更新問題として扱う。 PACTはパフォーマンスコストのトレードオフを一貫して改善し、トークンを著しく少なくして、同等またはより強力なタスクパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2026-06-03T18:00:22Z)
• Improving the Efficiency of Language Agent Teams with Adaptive Task Graphs [52.26652574704317]
  大規模言語モデル(LLM)はますますチームにデプロイされているが、既存のコーディネーションアプローチは2つの極端な部分を占めることが多い。 本稿では,Language Agent Teams for Task Evolution (LATTE)を紹介した。
  論文  参考訳（メタデータ） (2026-05-07T14:19:17Z)
• Asymmetric Actor-Critic for Multi-turn LLM Agents [50.245019205783855]
  信頼性のある対話エージェントのための非対称アクター批判フレームワークを提案する。 強力なプロプライエタリなLLMがアクターとして機能し、小さなオープンソース批評家がランタイムの監視を提供する。 提案手法は,強力な単一エージェントベースラインよりも信頼性とタスク成功を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2026-03-31T22:56:21Z)
• Protocol Agent: What If Agents Could Use Cryptography In Everyday Life? [0.0]
  エージェントがより効率的で、その能力に適合したコミュニケーションパターンを開発できることを示す。 暗号のプリミティブは 日々のやりとりを 大幅に改善できるが 人間がそれを使えないのは 複雑すぎて 計算は 頭の中では できないからだ もしエージェントが、どのプリミティブが日常の状況に合ったプロトコルを「オンザフライ」で作成し、エージェントに提案し、それに参加するよう説得し、適切な計算ツールを使用してプロトコルを正しく実行するとしたらどうでしょう? 我々はこのベンチマークで現在のオープンウェイトモデルと最先端モデルを評価し、提案する。
  論文  参考訳（メタデータ） (2026-02-01T16:05:35Z)
• GUARDIAN: Safeguarding LLM Multi-Agent Collaborations with Temporal Graph Modeling [5.798273384241793]
  大規模言語モデル (LLM) は、複雑な対話や多ターン対話を行えるインテリジェントエージェントの開発を可能にする。 GUARDIANは、GUARDing Intelligent Agent ColllaboratioNsにおいて、複数の安全上の懸念を検出し緩和する方法である。
  論文  参考訳（メタデータ） (2025-05-25T17:15:55Z)
• Cooperation, Competition, and Maliciousness: LLM-Stakeholders Interactive Negotiation [52.930183136111864]
  我々は,大言語モデル(LLM)を評価するためにスコーラブルネゴシエーション(scorable negotiations)を提案する。 合意に達するには、エージェントは強力な算術、推論、探索、計画能力を持つ必要がある。 我々は、新しいゲームを作成し、進化するベンチマークを持つことの難しさを増大させる手順を提供する。
  論文  参考訳（メタデータ） (2023-09-29T13:33:06Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Building Cooperative Embodied Agents Modularly with Large Language Models [104.57849816689559]
  本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。 我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。 C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
  論文  参考訳（メタデータ） (2023-07-05T17:59:27Z)
• Evaluating Multimodal Interactive Agents [14.936474798718653]
  標準化テストスイート(STS)と呼ばれる新しい評価手法を提案する。 STSでは、実際のヒューマンインタラクションデータから抽出された振る舞いシナリオを使用している。 高速で、制御され、解釈可能で、自然主義的な相互作用を代表している。
  論文  参考訳（メタデータ） (2022-05-26T11:18:09Z)
• Multi-agent Actor-Critic with Time Dynamical Opponent Model [16.820873906787906]
  多エージェント強化学習では、複数のエージェントが共通の環境と相互作用しながら同時に学習する。 本稿では,TDOM(textitTime Dynamical Opponent Model)を提案する。 我々は,テスト期間中にTDOMが優れた対向行動予測を達成できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-12T07:16:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。