論文の概要: A Near-Raw Talking-Head Video Dataset for Various Computer Vision Tasks
- arxiv url: http://arxiv.org/abs/2603.26763v1
- Date: Mon, 23 Mar 2026 20:51:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:44.582592
- Title: A Near-Raw Talking-Head Video Dataset for Various Computer Vision Tasks
- Title(参考訳): 様々なコンピュータビジョンタスクのためのニアロートーキングヘッドビデオデータセット
- Authors: Babak Naderi, Ross Cutler,
- Abstract要約: トーキングヘッドビデオはリアルタイムコミュニケーションにおける主要なコンテンツタイプである。
我々は847件のトーキングヘッド記録のほぼRAWデータセットをオープンソース化した。
このデータセットは、これまでで最大規模のトーキングヘッドWebカメラデータセットのスケールを5ドルタイムで提供する。
- 参考スコア(独自算出の注目度): 19.742094573993132
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Talking-head videos constitute a predominant content type in real-time communication, yet publicly available datasets for video processing research in this domain remain scarce and limited in signal fidelity. In this paper, we open-source a near-raw dataset of 847 talking-head recordings (approximately 212 minutes), each 15\,s in duration, captured from 805 participants using 446 unique consumer webcam devices in their natural environments. All recordings are stored using the FFV1 lossless codec, preserving the camera-native signal -- uncompressed (24.4\%) or MJPEG-encoded (75.6\%) -- without additional lossy processing. Each recording is annotated with a Mean Opinion Score (MOS) and ten perceptual quality tokens that jointly explain 64.4\% of the MOS variance. From this corpus, we curate a stratified benchmarking subset of 120 clips in three content conditions: original, background blur, and background replacement. Codec efficiency evaluation across four datasets and four codecs, namely H.264, H.265, H.266, and AV1, yields VMAF BD-rate savings up to $-71.3\%$ (H.266) relative to H.264, with significant encoder$\times$dataset ($η_p^2 = .112$) and encoder$\times$content condition ($η_p^2 = .149$) interactions, demonstrating that both content type and background processing affect compression efficiency. The dataset offers 5$\times$ the scale of the largest prior talking-head webcam dataset (847 vs.\ 160 clips) with lossless signal fidelity, establishing a resource for training and benchmarking video compression and enhancement models in real-time communication.
- Abstract(参考訳): トーキングヘッドビデオは、リアルタイム通信において主要なコンテンツタイプであるが、この領域におけるビデオ処理研究のための公開データセットは、信号の忠実性に乏しいままである。
本稿では、847件のトーキングヘッド記録(約212分)をオープンソースとして公開し、各15\は、自然環境において446件のユニークなWebカメラデバイスを使用して、805件の参加者から取得した。
すべての記録はFFV1ロスレスコーデックを使用して保存され、カメラネイティブ信号 -- 圧縮されていない (24.4\%) または MJPEGエンコードされた (75.6\%) -- は、余分な処理なしで保存される。
各録音には平均オピニオンスコア(MOS)と、MOS分散の64.4\%を共同で説明する10の知覚的クオリティトークンが注釈付けされている。
このコーパスから、120クリップの階層化されたベンチマークサブセットを、オリジナル、バックグラウンドのぼかし、バックグラウンドの置き換えという3つのコンテンツ条件でキュレートする。
4つのデータセットと4つのコーデック、すなわちH.264、H.265、H.266、AV1のコーデックのコーデック効率の評価により、VMAFのBDレートはH.264と比較して最大$-71.3\%$(H.266)となり、大きなエンコーダ$\times$dataset$η_p^2 = .112$)とエンコーダ$\times$content condition$η_p^2 = .149$)の相互作用により、コンテントタイプとバックグラウンド処理の両方が圧縮効率に影響を与えることを示した。
データセットは、5$\times$で、これまでで最大規模のトーキングヘッドWebカメラデータセット(847対.com)のスケールを提供する。
ビデオ圧縮とリアルタイム通信の拡張モデルのトレーニングとベンチマークのためのリソースを確立する。
関連論文リスト
- TeCoNeRV: Leveraging Temporal Coherence for Compressible Neural Representations for Videos [51.99176811574457]
Inlicit Neural Representations (INRs) は、最近ビデオ圧縮における印象的な性能を実証した。
しかし、エンコーディング効率を維持しながら高解像度ビデオへのスケーリングは依然として大きな課題である。
3つの重要なコントリビューションを通じて、これらの基本的な制限に対処します。
我々は,UVG,HEVC,MCL-JCVで480p,720p,1080pで実験を行った最初のハイパーネットワークアプローチである。
論文 参考訳(メタデータ) (2026-02-18T18:59:55Z) - CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。
現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。
多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
論文 参考訳(メタデータ) (2026-02-13T18:57:31Z) - VideoCompressa: Data-Efficient Video Understanding via Joint Temporal Compression and Spatial Reconstruction [55.66673587952058]
ビデオ理解モデルは、大規模データセットの禁止ストレージと計算コストによって、ますます制限されている。
VideoCompressaはビデオデータ合成のための新しいフレームワークで、動的潜在圧縮として問題を再構成する。
論文 参考訳(メタデータ) (2025-11-24T07:07:58Z) - LEHA-CVQAD: Dataset To Enable Generalized Video Quality Assessment of Compression Artifacts [44.95552843771737]
圧縮指向ビデオ品質評価のための6,240クリップからなるLEHA-QADデータセットを提案する。
59のソースビデオは186のプリセット版と1.8Mのペアでエンコードされ、1.5kのレーティングは単一の品質尺度に融合される。
また、VQAモデルがいかに高品質な注文を保ったかを定量化する新しい評価指標RDAEを提案する。
論文 参考訳(メタデータ) (2025-07-05T10:41:33Z) - Video Compression for Spatiotemporal Earth System Data [4.347703075408795]
大規模な地球系データセットは、標準的なビデオと類似した特徴を示す。
我々は、データセットによるマルチチャネル圧縮のためのライブラリであるxarray videoをビデオとして提示する。
実世界の4つのマルチチャネルデータセットに対して,本ライブラリの有効性を示す。
論文 参考訳(メタデータ) (2025-06-24T14:20:05Z) - HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。
マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
論文 参考訳(メタデータ) (2025-03-14T15:36:39Z) - xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。
VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。
DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
論文 参考訳(メタデータ) (2024-08-22T17:55:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。