論文の概要: InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos
- arxiv url: http://arxiv.org/abs/2608.01157v1
- Date: Sun, 02 Aug 2026 11:28:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.106068
- Title: InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos
- Title（参考訳）: InteracVid:ライブチャットビデオからリアルにインタラクティブな音声-視覚応答データセットを構築する
- Abstract要約: 我々は、この欠落した監視に対処する最初のオープンソース大規模データセットである textbfInteracVid を紹介する。
Everysampleは、先行する音声視覚コンテキストと、それに続く実際の対話応答を伴う外部刺激を結合する。
10レーターの人間による研究では、抽出された相互作用が、真のクエリと再構築されたクエリの両方に対して因果的、自然的、時間的に完全であることを確認している。
- 参考スコア（独自算出の注目度）: 7.003662856458999
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models have made text the default medium for human--AI interaction, buttext alone cannot express the full range of responses required by multimodal assistants,avatars, and embodied agents. While recent audio-video generative models can synthesizehigh-fidelity synchronized content, existing supervision is largely \emph{descriptive}:models are trained to render captions rather than to produce audio-visual responsescaused by external user interactions. We introduce \textbf{InteracVid}, \emph{the firstopen-source large-scale dataset that addresses this missing supervision}, so that everysample couples a preceding audio-visual context and an external stimulus with the realinteractive response that follows. We design a metadata-aware pipeline that extractsinteractive clips from long, noisy livestreams, yielding over \textbf{454K}context-query-response triplets from more than \textbf{59K} livestream videos andspanning conversation-centered, object-centric, procedural, embodied, and screen-basedscenarios. A ten-rater human study confirms that the extracted interactions are causal,natural, and temporally complete for both genuine and reconstructed queries. On aheld-out benchmark of \textbf{100} genuine live-chat queries, fine-tuning on InteracVidimproves both interaction planning and audio-video response generation, and anindependent human evaluation reproduces the system ranking and the conclusions obtainedwith our automatic judge. These results highlight interaction-structured data as acritical foundation for interactive multimodal generation.
- Abstract（参考訳）: 大規模言語モデルは、テキストを人間のAIインタラクションのデフォルト媒体としたが、テキストだけではマルチモーダルアシスタント、バタール、エンボディエージェントが必要とする応答範囲を表現できない。
最近のオーディオビデオ生成モデルは、高忠実度同期コンテンツを合成することができるが、既存の監督は、主に「emph{descriptive}」である:モデルは、外部ユーザインタラクションによる音声視覚応答を生成するのではなく、キャプションを描画するように訓練されている。
そこで,本研究では,この欠落に対処する最初のオープンソース大規模データセットである‘textbf{InteracVid}, \emph{the first open-source large-scale data that address this missing supervision}を導入する。
我々は,長い,騒々しいライブストリームから対話型クリップを抽出する,メタデータ対応のパイプラインを設計し,より多くのライブストリームビデオから‘textbf{454K}context-query-response三重項を出力し,会話中心,オブジェクト中心,手続き,エンボディ,スクリーンベースセナリオを拡大する。
10レーターの人間による研究では、抽出された相互作用が、真のクエリと再構築されたクエリの両方に対して因果的、自然的、時間的に完全であることを確認している。
In aheld-out benchmark of \textbf{100} original Live-chat query, fine-tuning on InteracVidimprovs both interaction planning and audio-video response generation, and anindependent human evaluation is successfully the system ranking and the conclusions with our automatic judge。
これらの結果は、対話型マルチモーダル生成のための重要な基盤として、インタラクション構造化データを強調している。
関連論文リスト
- Conversational Human Audio-visual Talking Dialogue Generation [50.95039085506777]
対話型対話型対話フレームワークCHATを提案する。
Chatは大きな言語モデルと対話型音声および顔行動改善モジュールで会話型顔モデルを統合する。
実験の結果,CHATは主観的評価と主観的評価の両方において,類似タスク用に設計された既存の関連手法よりも優れていた。
論文 参考訳（メタデータ） (2026-07-02T22:17:55Z) - OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。
textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
論文 参考訳（メタデータ） (2026-06-12T17:59:55Z) - ATIR: Towards Audio-Text Interleaved Contextual Retrieval [63.68521448682396]
本稿では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。
このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
論文 参考訳（メタデータ） (2026-04-22T07:11:58Z) - InterDyad: Interactive Dyadic Speech-to-Video Generation by Querying Intermediate Visual Guidance [20.740979380270126]
対話型ダイアディック力学の合成フレームワークであるInterDyadを提案する。
我々はまず、参照ビデオから抽出されたアイデンティティ非依存の動作先に基づいて、ビデオの再現を実現するInteractiveを設計する。
MLLM(Multimodal Large Language Model)を利用して,音声から言語意図を抽出し,反応の正確なタイミングと適切性を決定する。
包括的実験により、InterDyadは、自然と文脈的に基底付けられた2人のインタラクションを生成において、最先端の手法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2026-03-24T12:27:52Z) - Face-to-Face: A Video Dataset for Multi-Person Interaction Modeling [53.176242285107485]
我々は2人のトークショー交換の70時間14kclipデータセットであるtextbfFace-to-Face with Jimmy Fallon (F2F-JF)を紹介した。
半自動パイプラインは、多人数追跡、音声ダイアリゼーション、軽量な人間の検証を組み合わせて、時間的に整列したホスト/ゲストトラックを抽出する。
論文 参考訳（メタデータ） (2026-03-16T03:50:02Z) - ChatUMM: Robust Context Tracking for Conversational Interleaved Generation [44.19929499646892]
統一マルチモーダルモデル(UMM)は目覚ましい進歩を遂げているが、シングルターン相互作用パラダイムによって制約されている。
本稿では,対話型統合モデルChatUMMを提案する。
ChatUMMは、連続的な会話の流れとしてシリアライズされたテキストイメージストリームをモデル化するインターリーブされたマルチターントレーニング戦略に由来する。
論文 参考訳（メタデータ） (2026-02-06T07:11:50Z) - OmniResponse: Online Multimodal Conversational Response Generation in Dyadic Interactions [62.19092662469285]
Online Multimodal Conversational Response Generation (OMCRG) は、オンラインの音声と非言語からのフィードバックを同時生成する新しいタスクである。
我々は,OmniResponseを提案する。OmniResponseはマルチモーダル大言語モデル(MLLM)であり,正確なマルチモーダルリスナー応答を自動回帰的に生成する。
ResponseNetは、696の詳細なダイアディックインタラクションのデータセットで、同期化された分割画面ビデオ、マルチチャンネルオーディオ、トランスクリプト、注釈付き顔行動が特徴です。
論文 参考訳（メタデータ） (2025-05-27T20:12:46Z) - Multi-party Response Generation with Relation Disentanglement [8.478506896774137]
既存のニューラルレスポンス生成モデルは、双方向の会話で大幅に改善されている。
しかし、現実世界の対話の多くは複数の対話者を含み、会話の文脈の構造はより複雑である。
本研究では,人間ラベルを使わずに,会話の文脈内での微妙な手がかりに基づいて関係性を推論する手法を提案する。
論文 参考訳（メタデータ） (2024-03-16T06:33:44Z) - Dynamic Graph Representation Learning for Video Dialog via Multi-Modal
Shuffled Transformers [89.00926092864368]
音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。
また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。
その結果,全ての評価指標について最先端の性能を示すことができた。
論文 参考訳（メタデータ） (2020-07-08T02:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。