論文の概要: When Should AI Chime In? Benchmarking Timely Contribution of Proactive Agents in Multi-Party Chat

• arxiv url: http://arxiv.org/abs/2610.25896v1
• Date: Mon, 19 Oct 2026 06:54:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.034443
• Title: When Should AI Chime In? Benchmarking Timely Contribution of Proactive Agents in Multi-Party Chat
• Title（参考訳）: AI Chimeはいつ参加すべきか? 多人数チャットにおけるプロアクティブエージェントの時間的貢献のベンチマーク
• Abstract要約: 我々は、PITCHを我々の知識に導入し、プロアクティブエージェントのタイミングを大規模に判断する最初のベンチマークについて紹介する。 PITCHには384の候補のコントリビューションと1,091の判断が含まれており、それぞれが理想的なターン、許容可能なウィンドウ、あるいはコントリビューションは現れない。
• 参考スコア（独自算出の注目度）: 29.518332294231765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proactive agents can support group collaboration by surfacing useful information without waiting to be asked, but even relevant contributions can be disruptive if poorly timed. In this work, we isolate the timing question: given a fixed candidate contribution such as a clarification or relevant fact, when should an AI agent chime in? We introduce PITCH (Proactive Intervention Timing in CHat), to our knowledge the first benchmark with large-scale human judgments of proactive agent timing collected from participants in the same unscripted multi-party conversations they took part in. To collect high-quality judgments, we design a novel interface in which 2-4 people chat synchronously, author candidate AI contribution messages, place their own and others' contributions into the chat history, and then deliberate as a group about the best placement for each message. PITCH contains 384 candidate contributions and 1,091 judgments, each marking an ideal turn, an acceptable window, or that a contribution should not appear, from 89 participants engaged in 35 conversations. Evaluating 15 models across 28 configurations, we find that while models can place contributions well when given the entire conversation history, they systematically chime in too early when asked to decide live as the conversation unfolds: best-turn accuracy falls from 57.8% to 19.0%, with nearly half of placements occurring before every participant's acceptable window. In comparison, lay humans deciding live are more accurate (23.7% vs 19.0%), and fewer of their placements are premature (39.7% vs 46.4%). Model reasoning traces show that 93% of intervention justifications cite relevance, while almost none consider waiting. By providing a human-grounded benchmark, our work reveals gaps in agents' ability to integrate into group settings and points towards proactive agents that can reason explicitly about appropriate timing.
• Abstract（参考訳）: プロアクティブエージェントは、尋ねられるのを待たずに有用な情報を提示することでグループコラボレーションを支援することができるが、適切なコントリビューションさえも、時間が短ければ破壊的になる可能性がある。 この研究では、タイミングに関する質問を分離する: 明確化や関連する事実などの固定された候補が与えられた場合、AIエージェントはいつ中に入るべきか? PITCH (Proactive Intervention Timing in CHat) は、参加者から収集されたプロアクティブエージェントのタイミングを人体で判断した最初のベンチマークとなる。 高品質な判断を収集するために、2～4人が同期でチャットし、著者候補AIコントリビューションメッセージを作成し、チャット履歴に自分自身や他人のコントリビューションを配置し、各メッセージに最適な配置についてグループとして熟考する新しいインターフェースを設計する。 PITCHには384の候補のコントリビューションと1,091の判断が含まれており、それぞれが理想的なターン、許容可能なウィンドウ、または35の会話に関わった89人の参加者からのコントリビューションは現れない。 28の構成で15のモデルを評価すると、会話の履歴全体を考慮すれば、モデルが貢献を適切に設定できるが、会話が広まるにつれてライブを生かそうとすると、体系的に早すぎることが分かる: ベストターン精度は57.8%から19.0%に低下し、参加者の許容するウィンドウのほぼ半分が、その前に発生する。 一方、生きたままの人間はより正確であり(23.7%対19.0%)、配置が早すぎる(39.7%対46.4%)。 モデル推論の痕跡は、介入の93%が関連性を引き合いに出していることを示しているが、ほとんど誰も待つことを考えていない。 人為的なベンチマークを提供することで、エージェントがグループ設定に統合する能力のギャップと、適切なタイミングを明示的に推論できる積極的なエージェントへの視点を明らかにします。

関連論文リスト

• MultiPartyTurnBench: Benchmarking Floor Control in Multi-Party Spoken Dialogue [67.07361089429757]
  本研究では, 主観的ターンテイクや終末行動について検討するが, 真のフロア・トランジションの統一的評価を, 難易度の高い非パーティ・セッティングに対して検討する。 我々は、240個の合成されたチャネル分離会話のベンチマークであるMultiPartyTurnBench (MPTB) について紹介する。 学習システムは82.2.6%のEOTリコールを4.3-11.8%の偽陽性率で達成し、Interruption (INT) 検出は失敗したテイクオーバーや過剰な偽のアクティベーションに悩まされる。
  論文  参考訳（メタデータ） (2026-10-14T13:20:14Z)
• When Does a Spoken Agent Have Enough Evidence to Act? The PACT-SLM Contract Test [8.345705067210861]
  音声モデル(PACT-SLM)におけるターンテイキングのための部分的音声行動契約の導入 最初の有効なアクションタイムを割り当て、アクションアイデンティティとタイミングの両方を評価する。 逆バランスのブランチコードではなく、ソース発話セマンティックターゲットを使用して、WavLM Base Plusは、セット後のセマンティックラベルの精度が26.03%に達した。
  論文  参考訳（メタデータ） (2026-09-28T17:11:17Z)
• Self-Organizing Agent Teams Learn to Reason Together [52.45199430212268]
  私たちは、以前のコラボレーションから再利用可能な戦略を学び、役割、会話フェーズ、参加、情報の流れを整理する、AIエージェントの固定チームである、自己組織化エージェントチーム(SAT)を紹介します。 これらの戦略は、私たちがコラボレーティブ計算と呼ぶものを可能にします。エージェントの交換、チャレンジ、修復、そして、メンバーが独立して生成しないソリューションへの部分的推論を合成します。
  論文  参考訳（メタデータ） (2026-09-19T01:27:40Z)
• PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
  PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
  論文  参考訳（メタデータ） (2026-07-02T10:59:03Z)
• Modality-Driven Search with Holistic Trace Judging for ARC-AGI-2 [0.0]
  数ショットのビジュアル推論ベンチマークであるARC-AGI-2の解法について述べる。 テキスト、画像、コードチャネルにまたがって、さまざまな候補を生成する。 自己整合性や多数決とは違って、モーダルな答えが間違っているタスクに関する正しいマイノリティな仮説を確実に復元する。
  論文  参考訳（メタデータ） (2026-06-30T11:55:33Z)
• Anticipate and Learn: Unleashing Idle-Time Compute in Proactive Agents [51.46570338144688]
  ProActは、アイドルタイム計算を利用して、今後のユーザニーズを予測し、満たすプロアクティブエージェントアーキテクチャである。 進化する対話履歴を永続記憶とともに解析することにより、ProActは今後のニーズを予測し、情報を反復的に取得する。 MemBenchの評価では、ProActが最先端の反射精度を達成し、持続的で堅牢な性能を裏付けている。
  論文  参考訳（メタデータ） (2026-05-25T15:47:21Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• Estimating Contribution Quality in Online Deliberations Using a Large Language Model [4.911986505938227]
  8人のアノテータとともに大きな言語モデル(LLM)を用いて、正当化、新規性、会話の拡張、さらなる拡張の可能性に基づいて貢献度を評価する。 他のアノテータからの平均評価を根拠として、モデルが個々のアノテータより優れていることを発見した。 本研究は,ナッジが検討の質に与える影響を評価することによって,自動品質評価の有用性について述べる。
  論文  参考訳（メタデータ） (2024-08-21T18:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。