論文の概要: EgoVoice: Proactive Spoken Assistance from Egocentric Multimodal Streams

• arxiv url: http://arxiv.org/abs/2610.12248v1
• Date: Thu, 08 Oct 2026 16:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.164345
• Title: EgoVoice: Proactive Spoken Assistance from Egocentric Multimodal Streams
• Title（参考訳）: EgoVoice:エゴセントリックなマルチモーダルストリームからのアクティブなスポット支援
• Abstract要約: EgoVoiceは,行動中心型音声アシスタントの訓練と評価のためのフレームワークである。 我々は、各ビデオセッションを、モデルが各瞬間にサイレントに留まるか、音声によるガイダンスを提供するかを判断しなければならないフォーマットに変換する。 EgoVoiceは、ゼロショットバックボーンよりも介入タイミング、コンテンツ関連性、人間の好みを明確に改善する。
• 参考スコア（独自算出の注目度）: 11.032106141329345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wearable augmented reality (AR) assistants are moving toward continuous real-world interaction, where they perceive the user's activity through first-person video and audio and provide timely spoken guidance without being explicitly asked. While proactive video assistants, spoken dialog systems, and egocentric task understanding have each advanced rapidly, existing systems do not address the joint problem of deciding when to speak and what to say from continuous first-person streams. We introduce EgoVoice, a framework for training and evaluating proactive egocentric spoken assistants. From HoloAssist video recordings of real human instructors, we construct clean audio streams through source separation and speech resynthesis, and convert each video session into a format where the model must decide at each moment whether to remain silent or provide spoken guidance. We fine-tune an omni-modal LLM with our data, and further improve its proactive intervention behavior with direct preference optimization. Experiments across closed and open-source models show that existing systems rarely produce well-timed, meaningful proactive interventions, while EgoVoice yields clear improvements in intervention timing, content relevance, and human preference over the zero-shot backbone.
• Abstract（参考訳）: ウェアラブル拡張現実(AR)アシスタントは、ユーザーの動きを1対1のビデオとオーディオを通じて知覚し、明示的に尋ねられることなくタイムリーな音声によるガイダンスを提供する、継続的な現実世界のインタラクションに向かっている。 プロアクティブなビデオアシスタント、音声対話システム、エゴセントリックなタスク理解は、それぞれ急速に進歩してきたが、既存のシステムは、いつ話すべきか、連続した一対一のストリームから何を言うべきかを決める共同問題に対処していない。 EgoVoiceは,行動中心の音声アシスタントを訓練し,評価するためのフレームワークである。 実人インストラクターのHoloAssistビデオ記録から、音源分離と音声再生によりクリーンなオーディオストリームを構築し、各ビデオセッションを、各瞬間にサイレントに留まるか、音声指導を行うかを判断するフォーマットに変換する。 我々は、全モードのLDMをデータで微調整し、直接選好最適化による前向きな介入行動を改善する。 クローズドおよびオープンソースモデルによる実験では、既存のシステムが十分にタイムリーで有意義なプロアクティブな介入を産み出すことはめったにないが、EgoVoiceは介入のタイミング、コンテンツ関連性、ゼロショットバックボーンに対する人間の嗜好を明確に改善する。

関連論文リスト

• Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models [49.372283081631366]
  AVSTEは、音声知覚に到達する前に、ノイズの多い音声とリップビデオから意味のある音声トークンを復元する。 モシと統合すると、AVSTEは平均GPT-4ojudged応答コヒーレンスを1.42.91から改善する。
  論文  参考訳（メタデータ） (2026-09-08T07:59:13Z)
• Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
  RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。 対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。 応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
  論文  参考訳（メタデータ） (2026-06-09T17:46:55Z)
• Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels [26.18760496276335]
  対話型仮想エージェントを開発し、会話と聴取の両方に双方向の音声入力を同時に処理する。 我々の手法は文脈意味論と強い時間的アライメントを融合させ、非常に自然で応答性の高い対話型デジタル人間を生成するための新しい最先端技術を構築した。
  論文  参考訳（メタデータ） (2026-04-11T22:34:21Z)
• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• ROMA: Real-time Omni-Multimodal Assistant with Interactive Streaming Understanding [32.72568710955575]
  本稿では,実時間オムニ・マルチモーダル・アシスタントであるROMAについて述べる。 ROMAは連続的な入力を同期マルチモーダル単位として処理し、密度の高いオーディオを離散ビデオフレームと整列させて粒度のミスマッチを処理する。 オンライン意思決定では、応答開始を生成から切り離して正確なトリガーを確実にする軽量なスポークヘッドを導入する。
  論文  参考訳（メタデータ） (2026-01-15T12:09:04Z)
• Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
  時系列思考は、完全なSDLMの応答品質を改善することを目的としている。 追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。 結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-10-02T10:28:11Z)
• EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild [20.84372784454967]
  EgoSpeakは、エゴセントリックストリーミングビデオにおけるリアルタイム音声開始予測の新しいフレームワークである。 話者の1対1の視点から会話をモデル化することにより、EgoSpeakは人間のような対話に向いている。 EgoSpeakはランダムおよびサイレントベースのベースラインをリアルタイムでパフォーマンスする。
  論文  参考訳（メタデータ） (2025-02-17T04:47:12Z)
• Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection [24.71649541757314]
  yeah"や"oh"といった短いバックチャネルの発話は、スムーズでエンゲージメントな対話を促進する上で重要な役割を担っている。 本稿では,微調整音声活動予測モデルを用いて,リアルタイムかつ連続的なバックチャネル予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:57:56Z)
• SoundingActions: Learning How Actions Sound from Narrated Egocentric Videos [77.55518265996312]
  そこで本研究では,自己教師型埋め込み技術を用いて,自己中心型ビデオから行動音を学習する手法を提案する。 我々のマルチモーダルコントラッシブ・コンセンサス・コーディング(MC3)埋め込みは、すべてのモダリティ対が一致するとき、オーディオ、言語、視覚の関連を強化します。
  論文  参考訳（メタデータ） (2024-04-08T05:19:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。