論文の概要: OmniSmartHome: A Multimodal Reasoning Benchmark for Smart-Home Agents
- arxiv url: http://arxiv.org/abs/2609.32569v1
- Date: Sat, 26 Sep 2026 12:44:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 06:17:11.098143
- Title: OmniSmartHome: A Multimodal Reasoning Benchmark for Smart-Home Agents
- Title（参考訳）: OmniSmartHome: スマートホームエージェントのためのマルチモーダル推論ベンチマーク
- Abstract要約: 既存のスマートホームベンチマークでは、言語のみでユーザ要求を表現している。
OmniSmartHomeは、各音声要求が周囲の視覚的・空間的・音響的コンテキストとペアリングされるベンチマークである。
我々は、16のOmni-LLM(Omni-LLMs)の評価を行い、音声のみがユーザの意図を十分に伝達するときに強く機能する一方で、マルチモーダルな文脈的手がかりの推論を必要とする場合、性能は大幅に低下することを示した。
- 参考スコア（独自算出の注目度）: 38.21509962069761
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Smart-home assistants are expected to handle diverse, realistic requests that arise in daily life. In such interactions, users often rely on the surrounding multimodal context-pointing at objects or referring to what they see or hear, leaving their requests underspecified in language alone. Existing smart-home benchmarks, however, express user requests solely through language, leaving context-dependent real-world requests underexplored. To bridge this gap, we introduce OmniSmartHome, a multimodal smart-home benchmark where each spoken request is paired with the surrounding visual and spatial-audio context, providing complementary cues to disambiguate underspecified requests. OmniSmartHome comprises 1,360 synthetic and 272 real-world episodes. We evaluate 16 omnimodal large language models (Omni-LLMs) and reveal that, while they perform strongly when speech alone sufficiently conveys the user's intent, performance drops substantially when resolving it requires reasoning over multimodal contextual cues. As a simple agent baseline, we provide PROME (PROcedural Memory for multimodal Evidence gathering), which equips agents with specialized audio-visual perception tools and procedural memory for orchestrating their use. PROME generally improves performance across six Omni-LLMs. Demos and examples are available at https://omni-smart-home.github.io
- Abstract（参考訳）: スマートホームアシスタントは、日常生活で生じる多様な現実的な要求に対処することが期待されている。
このようなインタラクションでは、ユーザはしばしば、オブジェクトに対する周囲のマルチモーダルなコンテキストポイントや、見たり聞いたりするものを参照することに頼る。
しかし、既存のスマートホームベンチマークでは、言語を通してのみユーザリクエストを表現しており、コンテキストに依存した現実的なリクエストは未探索のままである。
このギャップを埋めるために、私たちはOmniSmartHomeというマルチモーダルなスマートホームベンチマークを紹介します。
OmniSmartHomeは1,360の合成と272の現実世界のエピソードで構成されている。
我々は16のOmnimodal large language model(Omni-LLMs)を評価し、音声単独でユーザの意図を十分に伝達した場合に強く機能するが、その解決にはマルチモーダルな文脈的手がかりの推論が必要であり、性能は大幅に低下することを示した。
単純なエージェントベースラインとして、特殊な視覚認識ツールを備えたエージェントと、それらの使用をオーケストレーションするためのプロシージャメモリを備えたPROME(PROcedural Memory for Multimodal Evidence gathering)を提供する。
PROMEは一般的に6つのOmni-LLMのパフォーマンスを改善する。
デモとサンプルはhttps://omni-smart-home.github.ioで公開されている。
関連論文リスト
- Omni-Interactive Universal Embedder [36.73317890827303]
我々は,最初のOmni-Interactive Universal Embedder (OmniUE)を提案する。
専用の学習可能なトークンから中間層表現を活用することで、テキスト、ビデオ、オーディオにまたがる統一的な埋め込み空間を学習する。
また、Omni-Interactive queryingをサポートしており、テキスト、興味のある視覚領域、オーディオスパンなどの形式で入力を提供することができる。
論文 参考訳（メタデータ） (2026-08-27T12:31:55Z) - Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning [39.54930573140777]
AOP-AgentはオープンソースのOmni-LLM上に構築された効率的なエージェントフレームワークである。
MOV-BenchとOmniVideoBenchの実験では、AOP-Agentは推論性能を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-27T09:11:59Z) - OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments [5.613789567241434]
我々はOmniGUIを紹介した。OmniGUIは、Omniモードのスマートフォン環境でGUIエージェントを評価するために設計された最初のステップレベルベンチマークである。
データセットには、29のアプリケーションにわたる709のエキスパートデモエピソード(2,579のアクションステップ)が含まれている。
我々の経験的評価は、現在のモデルは視覚的に静的なタスクに能力を示すが、その動作予測性能は同期時間と聴覚信号を必要とする環境において著しく低下することを示している。
論文 参考訳（メタデータ） (2026-04-03T08:57:06Z) - OmniGAIA: Towards Native Omni-Modal AI Agents [103.79729735478924]
我々は、深い推論とマルチターンツールの実行を必要とするタスクにおいて、オムニモーダルエージェントを評価するために設計されたベンチマークを導入する。
我々は,Omni-modal foundation agentであるOmniAtlasを提案する。
論文 参考訳（メタデータ） (2026-02-26T11:35:04Z) - AMUSE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding [73.05946667683259]
最近の大規模言語モデル(MLLM)は、強い認識を示すが、多話者、対話中心の設定に苦戦している。
本質的にエージェント的なタスクを中心に設計されたベンチマークであるAMUSEを紹介します。
我々は、報酬最適化と本質的なマルチモーダル自己評価を統合するデータ効率の高いエージェントアライメントフレームワークRAFTを提案する。
論文 参考訳（メタデータ） (2025-12-18T07:01:47Z) - OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs [72.425061028374]
音声・視覚の相乗的理解を評価するためのベンチマークであるOmniVideoBenchを紹介する。
OmniVideoBenchは1000の高品質なQA(QA)ペアで構成され、それぞれにステップバイステップの推論トレースが付加されている。
我々はOmniVideoBenchをリリースし、より強力でより一般化可能な推論機能を持つMLLMの開発を促進する。
論文 参考訳（メタデータ） (2025-10-12T16:34:00Z) - OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。
評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。
我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
論文 参考訳（メタデータ） (2024-09-23T17:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。