論文の概要: Omni-Life: Benchmarking Omnimodal Real-Time AI Assistants in People's Daily Lives
- arxiv url: http://arxiv.org/abs/2611.02835v1
- Date: Mon, 02 Nov 2026 09:37:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.588228
- Title: Omni-Life: Benchmarking Omnimodal Real-Time AI Assistants in People's Daily Lives
- Title（参考訳）: Omni-Life: 日々の生活におけるOmnimodalリアルタイムAIアシスタントのベンチマーク
- Abstract要約: 我々はOmni-Lifeを紹介した。Omni-Lifeは現実世界のユーザニーズ、デプロイメントシナリオ、デバイス依存の観察に基づくベンチマークだ。
危険な状況やエッジケースに対する制御されたビデオ合成と、共有時間プロトコルによる注釈付き現実世界のビデオを組み合わせる。
本研究は,イベントカバレッジ,応答内容,タイミング,不要なアウトプットを共同で評価し,主流のリアルタイム・オムニモーダルモデルを特徴とする12の構成を評価する。
- 参考スコア（独自算出の注目度）: 25.4886210140974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-time omnimodal assistants are expected to support people in everyday life, but audiovisual understanding alone does not establish whether they can provide timely and appropriate help. We introduce Omni-Life, a benchmark grounded in real-world user needs, deployment scenarios, and device-dependent observations. It combines controlled video synthesis for hazardous situations and edge cases with annotated real-world videos under a shared temporal protocol. The benchmark contains 400 videos: 290 requiring assistance, with 555 required intervention events, and 110 requiring silence throughout to test whether models can withhold unnecessary responses when no assistance is needed. We evaluate twelve configurations featuring mainstream real-time omnimodal models, jointly assessing event coverage, response content, timing, and unwanted output. At most 4.48% of videos requiring assistance are handled completely correctly. To examine practical deployment strategies, we study task reminders and response-latency tolerance. Reminders can improve recall by 17.12 percentage points but add approximately 4.6 unwanted responses per minute of reference silence. Increasing latency tolerance by 10s improves recall by at most 5.95 percentage points. These results show that existing models remain insufficient to deliver reliable assistance in real-life applications, calling for tailored model optimization in instruction following, timely proactive intervention, and withholding responses when assistance is not needed.
- Abstract（参考訳）: リアルタイム・オムニモーダル・アシスタントは日常生活の人を支援することが期待されているが、聴覚的理解だけでは、時間的かつ適切な支援を提供できるかどうかを定めていない。
Omni-Lifeは、現実世界のユーザニーズ、デプロイメントシナリオ、デバイス依存の観察に基づくベンチマークです。
危険な状況やエッジケースに対する制御されたビデオ合成と、共有時間プロトコルによる注釈付き現実世界のビデオを組み合わせる。
ベンチマークには400本のビデオが含まれており、290本は支援を必要とし、555本は介入イベントを必要とし、110本は補助が不要な場合に不要な応答に耐えられるかどうかテストする。
本研究は,イベントカバレッジ,応答内容,タイミング,不要なアウトプットを共同で評価し,主流のリアルタイム・オムニモーダルモデルを特徴とする12の構成を評価する。
支援を必要とするビデオの4.48%は、完全に正しく処理されている。
実践的な展開戦略を検討するために,タスクリマインダーと応答遅延耐性について検討する。
リマインダーは17.12ポイントのリコールを改善することができるが、参照サイレント毎分に約4.6の不要な応答を追加する。
10sによる遅延耐性の増加は、リコールを少なくとも5.95ポイント改善する。
これらの結果から,既存のモデルは実生活のアプリケーションにおいて信頼性の高い支援を提供するには不十分なままであり,命令の追従や時間的前向きな介入,支援が不要な場合の応答の維持が求められている。
関連論文リスト
- Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams [37.58750533706287]
我々は8つのタスクグループにまたがる1,790の時間的ターゲットと1,479人の注釈付き相互参照インタラクションのベンチマークを導入する。
入力モダリティ、イベントトリガ、介入タイプ、ユーザニーズをリンクし、通知、警告、状態トラッキング、継続的なレスポンスとともにイベントタイムのツール呼び出しとクエリフリーのアシストをカバーしている。
提案したベンチマーク実験の結果,現在のOmni-LLMの3つの限界が明らかになった。
論文 参考訳（メタデータ） (2026-10-26T13:39:48Z) - From Perception to Prediction and Intervention: Benchmarking Proactive Video Assistants in Real-Life Scenarios [37.81708997870599]
textscP$3$IBenchは,リアルタイムストリーミングシナリオにおけるプロアクティブビデオ理解のためのベンチマークである。
我々は、ストリーミングや適応型非ストリーミングシステムを含む12の代表的なオープンソースおよびプロプライエタリなビデオ言語モデルをベンチマークする。
我々は、追加のプロアクティブトレーニングデータを構築し、textscP$3$I-Assistant-4B をトレーニングし、いくつかのタスクを改善する。
論文 参考訳（メタデータ） (2026-10-15T09:23:45Z) - OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning [25.99088742292375]
OmniReasoningBenchは、オーディオおよび視覚的証拠が不可欠であるベンチマークである。
我々はまた、データエンジンOmniQAと自己蒸留法Modality-Factored Self-Distillation (MFSD)を開発した。
トレーニングデータと学習法により,OmniVideoBenchは50.0%,OmniReasoningBenchは42.5%となるOmniReasoning-30B-A3Bが得られた。
論文 参考訳（メタデータ） (2026-09-30T10:51:24Z) - xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。
これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。
最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
論文 参考訳（メタデータ） (2026-09-07T17:30:58Z) - OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs [25.570460595046058]
最近のOmni-LLM(Omni-LLMs)はリアルタイムビデオアシスタントとして大きな可能性を秘めている。
従来の受動的ビデオ理解とは異なり、対話型アシスタントは視覚状態、ユーザ目標、事前知識を積極的に組み合わせて効果的な支援を行う必要がある。
論文 参考訳（メタデータ） (2026-08-21T17:59:52Z) - Native Active Perception as Reasoning for Omni-Modal Understanding [96.19360756363501]
我々は,OmniAgentをPOMDPに基づく反復的観察-判断サイクルとして定式化するために提案する。
OmniAgentはオンデマンドアクションを実行し、音声視覚キューを永続的なテキストメモリに選択的に蒸留する。
我々は,OmniAgentがオープンソースモデル間の最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2026-06-17T17:59:56Z) - OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding [17.161087166882744]
オムニプロ(OmniPro)は、オムニモーダル知覚、プロアクティブ応答、多様なビデオ理解タスクを共同で評価する最初のベンチマークである。
9つのサブタスクと3つの認知レベルにまたがる2,700人の人間認証サンプルで構成されており、6つの基本的なビデオ理解機能を含んでいる。
特に、サンプルの84%は音声信号(音声または非音声)を必要とし、各サンプルは、微細なマルチモーダル解析を可能にするために、モダリティ・アイソレーションラベルで注釈付けされている。
論文 参考訳（メタデータ） (2026-05-18T15:55:22Z) - LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs [68.35684758116453]
このデータセットは、リッチなオーディオ視覚ダイナミクスを備えたオープンプラットフォームからソースされた高品質なビデオで構成されている。
我々は,長期記憶,時間的局所化,きめ細かい理解,マルチモーダル知覚など,ドメイン間のOmniLLMの能力について精査した。
オープンソースモデルは一般的に35%未満の精度を達成するが、Gemini 3 Proは65%のピーク精度に達する。
論文 参考訳（メタデータ） (2026-03-19T17:58:13Z) - MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos [118.61621763485465]
MMOUは、15,000の慎重にキュレートされた質問と9038のウェブコレクトビデオからなる。
ベンチマークには13の基本的なスキルカテゴリが含まれており、いずれもモダリティと時間にまたがるエビデンスを統合する必要がある。
我々は、MMOU上で20以上の最先端のオープンソースおよびプロプライエタリなマルチモーダルモデルを評価する。
論文 参考訳（メタデータ） (2026-03-14T22:28:38Z) - LiveStar: Live Streaming Assistant for Real-World Online Video Understanding [67.71551356747948]
LiveStarは、適応的なストリーミングデコーディングを通じて常時オンのプロアクティブ応答を実現する、先駆的なライブストリーミングアシスタントである。
LiveStar は,(1) 可変長ビデオストリームに対する漸進的なビデオ言語アライメントの実現,動的に進化するフレームシーケンス間の時間的一貫性の維持,(2) 単一前方通過検証による最適なプロアクティブ応答タイミングを決定する応答サイレンスデコードフレームワーク,(3) 最大端メモリ圧縮による10分以上のビデオのオンライン推論によるメモリ認識アクセラレーション,およびストリーミングキー値キャッシュを併用して1.53倍高速推論を実現する。
論文 参考訳（メタデータ） (2025-11-07T15:00:37Z) - OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs [72.425061028374]
音声・視覚の相乗的理解を評価するためのベンチマークであるOmniVideoBenchを紹介する。
OmniVideoBenchは1000の高品質なQA(QA)ペアで構成され、それぞれにステップバイステップの推論トレースが付加されている。
我々はOmniVideoBenchをリリースし、より強力でより一般化可能な推論機能を持つMLLMの開発を促進する。
論文 参考訳（メタデータ） (2025-10-12T16:34:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。