論文の概要: OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs
- arxiv url: http://arxiv.org/abs/2608.21360v1
- Date: Fri, 21 Aug 2026 17:59:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.67416
- Title: OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs
- Title（参考訳）: OmniAssistBench: Omni-LLMのアシスタントスタイルインタラクションベンチマーク
- Abstract要約: 最近のOmni-LLM(Omni-LLMs)はリアルタイムビデオアシスタントとして大きな可能性を秘めている。
従来の受動的ビデオ理解とは異なり、対話型アシスタントは視覚状態、ユーザ目標、事前知識を積極的に組み合わせて効果的な支援を行う必要がある。
- 参考スコア（独自算出の注目度）: 25.570460595046058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent omni-modal large language models (Omni-LLMs) show great potential as real-time video assistants, which continuously perceive environments and guide users to achieve specific goals. Unlike traditional passive video understanding, interactive assistants should actively combine visual states, user goals, and prior knowledge to provide effective help. Evaluating this is rather challenging, as the model's unpredictable response dynamically changes the user's subsequent actions, which static offline datasets cannot accommodate. To address this bottleneck, we introduce OmniAssistBench. To solve the issue of diverging interaction paths where the same user goal can be achieved through various methods, we provide models with predefined priors derived from the source video, requiring them to guide users along the exact same routes. Since real interaction videos are rare, we construct the dataset by reverse-engineering existing Internet videos. We deduce logical user goals and segment the videos into multi-turn clips to simulate continuous interactions. This rigorous pipeline required over 1000 expert person-hours to build the dataset. Results show that the proprietary Gemini-3-Pro reaches 66.4 out of the max point of 100, while the open-source Qwen3-Omni-Instruct achieves 51.2. Although current models generally understand user inputs, they frequently provide incorrect or incomplete answers. Specifically, they struggle with visual prompts (e.g., hand gestures), fail to maintain historical context during multi-turn interactions, and fail to delay response until the target event. Results indicate substantial room for improvement before models can become reliable assistants.
- Abstract（参考訳）: 近年のOmni-LLM (Omni-LLMs) は,環境を継続的に知覚し,ユーザに対して特定の目標を達成するためのリアルタイムビデオアシスタントとして大きな可能性を秘めている。
従来の受動的ビデオ理解とは異なり、対話型アシスタントは視覚状態、ユーザ目標、事前知識を積極的に組み合わせて効果的な支援を行う必要がある。
モデルの予測不可能な応答がユーザのその後のアクションを動的に変更するので、静的なオフラインデータセットが対応できないため、これを評価することはかなり難しい。
このボトルネックに対処するために、OmniAssistBenchを紹介します。
様々な方法で同じユーザ目標を達成できるインタラクションパスの多様化問題を解決するため,ソースビデオから派生した事前定義したモデルを提供し,ユーザをまったく同じルートに沿って誘導する必要がある。
実際のインタラクションビデオは稀であるため,既存のインターネットビデオのリバースエンジニアリングによるデータセットの構築を行う。
論理的ユーザ目標を導出し、連続的なインタラクションをシミュレートするために、ビデオをマルチターンクリップに分割する。
この厳格なパイプラインは、データセットを構築するのに1000人以上の専門的な人時間を必要とした。
その結果、プロプライエタリなGemini-3-Proは最大100点中66.4点に達し、オープンソースのQwen3-Omni-Instructは51.2点に達した。
現在のモデルは一般的にユーザーの入力を理解するが、しばしば不正確または不完全な回答を提供する。
具体的には、視覚的なプロンプト(例えばハンドジェスチャ)に苦労し、マルチターンインタラクション中の履歴コンテキストの維持に失敗し、ターゲットイベントまでの応答の遅延に失敗する。
結果は、モデルが信頼できるアシスタントになる前に、改善の余地がかなりあることを示している。
関連論文リスト
- InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos [7.003662856458999]
我々は、この欠落した監視に対処する最初のオープンソース大規模データセットである textbfInteracVid を紹介する。
Everysampleは、先行する音声視覚コンテキストと、それに続く実際の対話応答を伴う外部刺激を結合する。
10レーターの人間による研究では、抽出された相互作用が、真のクエリと再構築されたクエリの両方に対して因果的、自然的、時間的に完全であることを確認している。
論文 参考訳（メタデータ） (2026-08-02T11:28:13Z) - OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants [43.2907783462394]
音声-視覚的ストリームに対するネイティブ推論によって評価されたリアルタイム全言語モデルのストリーミングベンチマーク。
本研究では,対話型品質タイムラインF1,割り込み診断スイート,368の1QnAスロットを用いて,応答の正しさ,タイミング,不正出力の割り込み,コンテキスト継続性を評価した。
論文 参考訳（メタデータ） (2026-05-26T02:49:47Z) - Action-Aware Generative Sequence Modeling for Short Video Recommendation [50.74467504063892]
ショートビデオには様々な部分が含まれており、ユーザーはそれらすべてに対して同じ態度を取ることはできない。
従来のバイナリ分類レコメンデーションモデルは、ビデオを単一の全体的エンティティとして扱うが、そのような微妙な好みを正確に捉えるには限界に直面している。
本稿では,時間的次元に沿ってユーザアクションを洗練させる行動認識生成系列ネットワーク(A2Gen)を提案する。
論文 参考訳（メタデータ） (2026-04-28T16:41:04Z) - OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments [5.613789567241434]
我々はOmniGUIを紹介した。OmniGUIは、Omniモードのスマートフォン環境でGUIエージェントを評価するために設計された最初のステップレベルベンチマークである。
データセットには、29のアプリケーションにわたる709のエキスパートデモエピソード(2,579のアクションステップ)が含まれている。
我々の経験的評価は、現在のモデルは視覚的に静的なタスクに能力を示すが、その動作予測性能は同期時間と聴覚信号を必要とする環境において著しく低下することを示している。
論文 参考訳（メタデータ） (2026-04-03T08:57:06Z) - LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs [68.35684758116453]
このデータセットは、リッチなオーディオ視覚ダイナミクスを備えたオープンプラットフォームからソースされた高品質なビデオで構成されている。
我々は,長期記憶,時間的局所化,きめ細かい理解,マルチモーダル知覚など,ドメイン間のOmniLLMの能力について精査した。
オープンソースモデルは一般的に35%未満の精度を達成するが、Gemini 3 Proは65%のピーク精度に達する。
論文 参考訳（メタデータ） (2026-03-19T17:58:13Z) - Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering [81.15678825882692]
EgoPointVQAはジェスチャー中心の質問応答のためのデータセットとベンチマークである。
Hand Intent Tokens (HINT) は、既製の復元モデルを用いて、3Dの手のキーポイントから派生したトークンを符号化する。
我々のモデルは、異なるバックボーンとモデルサイズで他よりも優れています。
論文 参考訳（メタデータ） (2026-03-13T00:23:38Z) - Learning Next Action Predictors from Human-Computer Interaction [53.41504288073184]
LongNAPは、パラメトリックとコンテキスト内学習を組み合わせて、長時間のインタラクション履歴を推論するユーザモデルである。
当社は、20ユーザーから1ヶ月の連続電話使用で360K以上のアクションをラベル付けし、1,800時間のスクリーンタイムを提供しています。
LongNAPは教師付き微調整を著しく上回り、ホールドアウトデータにベースラインを誘導する。
論文 参考訳（メタデータ） (2026-03-06T05:31:04Z) - Can Multi-Modal LLMs Provide Live Step-by-Step Task Guidance? [27.55597863240135]
Qualcomm Interactive Cooking ベンチマークを用いて,最先端のマルチモーダル言語モデル (LLM) の評価を行った。
対話型指導指導のためのマルチモーダルLLMであるLiveMambaを紹介する。
この作業は、最初の専用のベンチマークと、ライブで配置されたコーチングの開発と評価のための強力なベースラインを提供する。
論文 参考訳（メタデータ） (2025-11-27T00:54:35Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T14:39:59Z) - Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。
本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-21T20:29:02Z) - Strike the Balance: On-the-Fly Uncertainty based User Interactions for Long-Term Video Object Segmentation [23.417370317522106]
本稿では,対話的かつ半自動的なアプローチを橋渡しするビデオオブジェクトセグメンテーション(VOS)について紹介する。
関心対象の追跡期間を最大化しつつ,追跡期間の延長を最小限に抑えることを目的としている。
我々は,最近導入されたLVOSデータセットを用いて,多数の長期ビデオを提供するアプローチを評価した。
論文 参考訳（メタデータ） (2024-07-31T21:42:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。