論文の概要: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?

• arxiv url: http://arxiv.org/abs/2610.22155v2
• Date: Sun, 18 Oct 2026 17:26:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.317234
• Title: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?
• Title（参考訳）: リアルタイムベンチ:フロンティアモデルはリアルタイムインタラクティブな問題を解決することができるか?
• Abstract要約: 遅延アクションが直接成功に影響を与える動的なタスクのスイートであるRealtime-Benchを紹介します。 時間的コストは進化する環境において成功を制限し、高い推論努力は時間的圧力下では混合効果があることがわかった。
• 参考スコア（独自算出の注目度）: 33.81750715274362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-time interaction requires agents to perceive evolving environments and act under temporal constraints, yet existing evaluations of real-time streaming models focus on conversational quality and streaming perception, leaving effective action under strict temporal constraints untested. We introduce Realtime-Bench, a suite of carefully curated dynamic tasks where delayed actions directly affect success. Under Wall Clock, where environments advance according to actual inference latency, the best success rate reaches only 44% and the best Pass^3 is only 36%, demonstrating that real-time interaction remains challenging. To separate serving latency from models' real-time streaming capability, we compare Wall Clock with Paused Clock, which removes inference delays as an idealized reference, and introduce Token Clock, which advances simulated time according to generated token counts, testing temporal awareness independently of physical serving speed. We find that temporal costs limit success in evolving environments and that higher reasoning effort has mixed effects under time pressure, reflecting a trade-off between decision quality and timely execution. These findings suggest directions for improving real-time multimodal agents, including adaptive reasoning with temporal awareness and continuous perception and action.
• Abstract（参考訳）: リアルタイムインタラクションでは、エージェントは進化する環境を認識し、時間的制約の下で行動する必要があるが、既存のリアルタイムストリーミングモデルの評価では会話の品質とストリーミングの知覚に重点を置いており、効果的な動作は厳密な時間的制約の下で検証されない。 私たちはRealtime-Benchを紹介します。Realtime-Benchは、遅延アクションが直接成功に影響を及ぼす、慎重にキュレートされた動的タスクのスイートです。 Wall Clockでは、実際の推論遅延に従って環境が進行するが、最高の成功率は44%に過ぎず、最高のPass^3は36%に過ぎず、リアルタイムのインタラクションは依然として困難である。 モデルのリアルタイムストリーミング機能からサービスレイテンシを分離するために,Wall ClockとPaused Clockを比較し,推論遅延を理想化された参照として除去し,トークン数に応じてシミュレーション時間を短縮するToken Clockを導入し,物理サービス速度とは無関係に時間的認識をテストする。 時間的コストは、進化する環境の成功を制限し、より高い推論努力は、時間的プレッシャーの下では、決定品質とタイムリーな実行の間のトレードオフを反映している、ということが分かりました。 これらの知見は、時間的認識と継続的な知覚と行動を伴う適応的推論を含む、リアルタイムマルチモーダルエージェントを改善するための方向性を示唆している。

関連論文リスト

• TimeInteract: Towards Real-Time Interactive Intelligence for Streaming Time Series [63.51670715618216]
  時系列インタラクション(Time-Series Interaction)は、到着する時系列の観測とユーザ意図を認識し、いつ沈黙するか、応答するかを自律的に決定し、応答生成中に新しい観測処理を継続するモデルである。 StreamTSI-34Kは大規模なストリーミングTSインタラクションデータセットで,34,588エピソードと77,505応答を合成時系列と実時間時系列に1回,複数回設定して構築する。
  論文  参考訳（メタデータ） (2026-09-22T13:29:03Z)
• RTNav: Towards Real-Time Zero-Shot Object Navigation [3.0484403383447085]
  RTNavは、推論レイテンシ、非同期環境のステップ、および境界計算を明示的な設計上の考慮として扱う、シンプルだが効果的なアーキテクチャである。 HM3D-v1, HM3D-v2, HM3D-OVONのリアルタイム変動について検討した。
  論文  参考訳（メタデータ） (2026-08-27T00:35:50Z)
• StreamPro: From Reactive Perception to Proactive Decision-Making in Streaming Video [53.82672457255517]
  プロアクティブなストリーミングビデオ理解には、ビデオストリームを継続的に処理し、応答すべきタイミングを決定するモデルが必要である。 既存のベンチマークは、明確な証拠が現れた後にのみ応答がトリガーされる"シー・ザ・アンサー"パラダイムに大きく従っている。 StreamProは、パーセプション理解、テンポラル推論、プロアクティブエージェンシーの3つの相補的な視点からストリーミングモデルを評価する新しいベンチマークである。
  論文  参考訳（メタデータ） (2026-05-11T05:01:15Z)
• F2F-AP: Flow-to-Future Asynchronous Policy for Real-time Dynamic Manipulation [62.06267255986041]
  非同期推論はロボット操作における主要なパラダイムとして現れている。 本稿では,予測対象の流れを利用して将来の観測を合成する新しい枠組みを提案する。 本手法は複雑な動的操作タスクにおける応答性と成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-04-02T17:57:15Z)
• Knot Forcing: Taming Autoregressive Video Diffusion Models for Real-time Infinite Interactive Portrait Animation [16.692450893925148]
  リアルタイム・ポートレート・アニメーションのためのKnot Forcingという新しいストリーミング・フレームワークを提案する。 Kノットフォーシングは、無限列上の高忠実で時間的に一貫性があり、インタラクティブなポートレートアニメーションを可能にする。
  論文  参考訳（メタデータ） (2025-12-25T16:34:56Z)
• Intrinsic Temporal Regularization for High-resolution Human Video Synthesis [59.54483950973432]
  時間整合性は、画像処理パイプラインをビデオドメインに拡張する上で重要である。 フレームジェネレーターを介して本質的信頼度マップを推定し,運動推定を調節する,本質的な時間正規化方式を提案する。 我々は、本質的な時間的規制をシングルイメージジェネレータに適用し、強力な「Internet」が512Times512$の人間のアクションビデオを生成します。
  論文  参考訳（メタデータ） (2020-12-11T05:29:45Z)
• Towards Streaming Perception [70.68520310095155]
  本稿では、リアルタイムオンライン知覚のための単一のメトリクスにレイテンシと精度を協調的に統合するアプローチを提案する。 この指標の背後にある重要な洞察は、瞬間ごとに認識スタック全体の出力を共同で評価することである。 本稿では,都市ビデオストリームにおけるオブジェクト検出とインスタンスセグメンテーションの具体的タスクに注目し,高品質で時間依存的なアノテーションを備えた新しいデータセットを寄贈する。
  論文  参考訳（メタデータ） (2020-05-21T01:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。