論文の概要: JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence

• arxiv url: http://arxiv.org/abs/2606.14777v1
• Date: Wed, 10 Jun 2026 03:43:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.142268
• Title: JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence
• Title（参考訳）: JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence
• Authors: Dingyu Yao, Junhao Zhou, Chenxu Yang, Chuanyu Qin, Haowen Hou, Zheming Liang, Congcong Wang, Yuhang Cao, Shenglong Ye, Shuai Xie, Shuhuan Gu, Haoyang Huang, Qingyi Si, Nan Duan, Jiaqi Wang,
• Abstract要約: 8Bスケールの視覚優先型VL-インタラクションモデルであるJoyAI-VL-Interactionをリリースする。 応答を内部で決定し、各秒を選択して、沈黙を維持したり、応答したり、バックグラウンドモデルに委譲したりする。 これは、トレーニングレシピ、データ、完全なデプロイ可能なシステムとともにリリースされた最初のオープンなビジョン駆動インタラクションモデルである。
• 参考スコア（独自算出の注目度）: 53.427969116091184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many moments in the real world do not wait for a user to ask. A fire starts on a security monitor, an expression flickers across a video call, or a product a viewer wants flashes by in a livestream. Yet today's large models remain mostly turn-based by design: they answer only when addressed, and even video-call apps that appear interactive still operate as question-answer systems, reacting only when polled or prompted. We argue for a different paradigm: a model that is present in the world like a person. It continuously watches what is happening now, decides on its own whether to speak or stay silent, interacts in real time, and delegates to a background model when the problem is hard. To advance interaction models and their adoption across domains, we make two fully open-sourced contributions. First, we release JoyAI-VL-Interaction, an 8B-scale, vision-first VL-interaction model. The model makes the response decision internally, choosing each second to stay silent, respond, or delegate to a background model, and it excels at vision-triggered responsiveness and time awareness. We pair it with a transferable training recipe, from which capabilities we never trained for emerge, such as guiding a shopper through changing app screens or improvising a lecture from a slide deck. Second, we release a complete, deployable system built around that model. The system streams any ongoing video into the model, making it genuinely present in the world. All other components are pluggable, including ASR/TTS modules, memory, visualization UI, and a background brain that can connect to any API or agent. Across six real-world scenarios, human raters prefer JoyAI-VL-Interaction over the in-app video-call assistants of Doubao and Gemini by a wide margin. To our knowledge, this is the first open, vision-driven interaction model released together with its training recipe, data, and complete deployable system.
• Abstract（参考訳）: 現実世界の多くの瞬間は、ユーザーが尋ねるのを待ちません。 火災はセキュリティモニターから始まり、表情はビデオ通話や、視聴者が望んだ商品をライブストリームで点滅させる。 対話的に見えるビデオ通話アプリさえも、質問応答システムとして機能し、投票やインシデント時にのみ反応します。 私たちは、異なるパラダイム、つまり人として世界に存在しているモデルについて議論しています。 現在起きていることを継続的に監視し、話すか沈黙するかを自分で決め、リアルタイムで対話し、問題が困難なときにバックグラウンドモデルに委譲する。 インタラクションモデルとドメイン間の採用を促進するために、私たちは2つの完全にオープンソースなコントリビューションを行います。 まず、8BスケールでビジョンファーストなVL-インタラクションモデルであるJoyAI-VL-Interactionをリリースする。 モデルは、応答を内部的に決定し、各秒を静かにするか、応答するか、バックグラウンドモデルに委譲するか、選択する。 アプリ画面を変更することで買い物客を誘導したり、スライドデッキから講義を即興で実施するといった、創発的なトレーニングを行なわないような、移行可能なトレーニングレシピと組み合わせています。 次に、そのモデルを中心に構築された完全なデプロイ可能なシステムをリリースします。 このシステムは、現在進行中の動画をモデルに流し込み、真に世界に存在します。 ASR/TTSモジュール、メモリ、可視化UI、任意のAPIやエージェントに接続可能なバックグラウンド脳など、他のすべてのコンポーネントはプラグイン可能である。 現実世界の6つのシナリオの中で、人間のラテンダーは、DoubaoとGeminiのアプリ内ビデオコールアシスタントよりも、JoyAI-VL-Interactionを好む。 私たちの知る限り、これは、トレーニングレシピ、データ、完全なデプロイ可能なシステムと一緒にリリースされた最初のオープンなビジョン駆動インタラクションモデルです。

関連論文リスト

• MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
  Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。 Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。 合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
  論文  参考訳（メタデータ） (2026-04-30T04:05:43Z)
• VITA-E: Natural Embodied Interaction with Concurrent Seeing, Hearing, Speaking, and Acting [66.90028121194636]
  現在のビジョン・ランゲージ・アクション(VLA)モデルは、しばしば堅固で静的な相互作用パラダイムによって制約される。 VITA-Eは、動作とほぼリアルタイムの割り込みの両方のために設計された、新しい具体的相互作用フレームワークである。
  論文  参考訳（メタデータ） (2025-10-21T17:59:56Z)
• Can Vision-Language Models Answer Face to Face Questions in the Real-World? [8.006029714081997]
  Qualcomm Interactive Video dataset (IVD) という新しいデータセットとベンチマークを導入する。 このデータセットは単純な質問回答設定に基づいており、ユーザーはカメラとオーディオ入力に基づいて、システムがリアルタイムで答えなければならない質問を行う。 既存のモデルがこのタスクにおいて人間のパフォーマンスよりもはるかに遅れていることを示し、パフォーマンスギャップの主な原因を特定する。
  論文  参考訳（メタデータ） (2025-03-25T05:13:12Z)
• Dispider: Enabling Video LLMs with Active Real-Time Interaction via Disentangled Perception, Decision, and Reaction [81.34648970317383]
  本稿では,知覚,決定,反応を両立させるシステムであるDispiderを紹介する。 実験により、Dispiderは従来のビデオQAタスクにおいて高いパフォーマンスを維持しているだけでなく、ストリーミングシナリオ応答における従来のオンラインモデルを大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-06T18:55:10Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities [0.0]
  Mini-Omni2はヴィソインとオーディオクエリにリアルタイム、エンドツーエンドの音声応答を提供するビジュアルオーディオアシスタントである。 限られたデータセットでトレーニングした後、言語モデルでマルチモーダル入力と出力を処理できる3段階のトレーニングプロセスを提案する。
  論文  参考訳（メタデータ） (2024-10-15T02:10:45Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。