Fugu-MT 論文翻訳(概要): Heterogeneous 360 Degree Videos in Metaverse: Differentiated Reinforcement Learning Approaches

論文の概要: Heterogeneous 360 Degree Videos in Metaverse: Differentiated Reinforcement Learning Approaches

arxiv url: http://arxiv.org/abs/2308.04083v1
Date: Tue, 8 Aug 2023 06:47:16 GMT
ステータス: 処理完了
システム内更新日: 2023-08-09 13:45:14.176286
Title: Heterogeneous 360 Degree Videos in Metaverse: Differentiated Reinforcement Learning Approaches
Title（参考訳）: メタバースにおける異種360度ビデオ:差分強化学習アプローチ
Authors: Wenhan Yu and Jun Zhao
Abstract要約: 本稿では、フレームレートとサイバーシックネスの異なるヘテロジニアス360度ビデオのための新しいQuality of Serviceモデルを提案する。本稿では,自己設計の深部強化学習アルゴリズムを用いたフレームスロット構造とフレームワイズ最適化を提案する。
参考スコア（独自算出の注目度）: 10.0580903923777
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Advanced video technologies are driving the development of the futuristic Metaverse, which aims to connect users from anywhere and anytime. As such, the use cases for users will be much more diverse, leading to a mix of 360-degree videos with two types: non-VR and VR 360-degree videos. This paper presents a novel Quality of Service model for heterogeneous 360-degree videos with different requirements for frame rates and cybersickness. We propose a frame-slotted structure and conduct frame-wise optimization using self-designed differentiated deep reinforcement learning algorithms. Specifically, we design two structures, Separate Input Differentiated Output (SIDO) and Merged Input Differentiated Output (MIDO), for this heterogeneous scenario. We also conduct comprehensive experiments to demonstrate their effectiveness.
Abstract（参考訳）: 高度なビデオ技術が未来的なメタバースの開発を後押ししている。そのため、ユーザーのユースケースはもっと多様になり、360度ビデオとVR以外の2種類のビデオが混在するようになる。本稿では,フレームレートとサイバーシックネスの異なる360度ビデオに対して,新しい品質のサービスモデルを提案する。本稿では,自己設計の深部強化学習アルゴリズムを用いたフレームスロット構造とフレームワイズ最適化を提案する。具体的には、この異種シナリオに対して、SIDO(Separate Input Differentiated Output)とMIDO(Merged Input Differentiated Output)という2つの構造を設計する。また,その効果を示すため,総合的な実験を行う。

関連論文リスト

Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
論文参考訳（メタデータ） (2024-11-23T12:26:52Z)
360VFI: A Dataset and Benchmark for Omnidirectional Video Frame Interpolation [13.122586587748218]
本稿では,Omnidirectional Video Frame Interpolationのためのベンチマークデータセットである360VFIを紹介する。本稿では,全方向ビデオの歪みをネットワークに導入し,歪みを変調する実用的な実装を提案する。
論文参考訳（メタデータ） (2024-07-19T06:50:24Z)
Distinguish Any Fake Videos: Unleashing the Power of Large-scale Data and Motion Features [21.583246378475856]
我々は、AI生成ビデオ検出(GenVidDet)に特化して設計された広範なビデオデータセットを紹介する。また,DuB3D(Du-Branch 3D Transformer)という,実写映像と実写映像を区別する革新的な方法を提案する。 DuB3Dは、96.77%の精度で実際の映像コンテンツと生成された映像コンテンツを区別でき、目に見えないタイプでも強力な一般化能力を持つ。
論文参考訳（メタデータ） (2024-05-24T08:26:04Z)
Exploring AIGC Video Quality: A Focus on Visual Harmony, Video-Text Consistency and Domain Distribution Gap [4.922783970210658]
我々は,AIGC映像品質の評価を,視覚調和,映像テキストの整合性,領域分布ギャップの3次元に分類した。各次元に対して、AIGCビデオの総合的な品質評価を提供するための特定のモジュールを設計する。本研究は,異なるテキスト・ツー・ビデオ・モデルにより生成される映像の視覚的品質,流動性,スタイルの有意な変化を明らかにする。
論文参考訳（メタデータ） (2024-04-21T08:27:20Z)
Panoramic Vision Transformer for Saliency Detection in 360{\deg} Videos [48.54829780502176]
パノラマ・ビジョン・トランス (PAVER) という新しいフレームワークを提案する。我々は、変形可能な畳み込みを備えた視覚変換器を用いてエンコーダを設計し、通常のビデオからトレーニング済みのモデルを追加モジュールや微調整なしでアーキテクチャにプラグインできるようにする。本稿では,VQA-ODVにおける全方位映像品質評価タスクを用いて,従属性予測モデルの有用性を実証する。
論文参考訳（メタデータ） (2022-09-19T12:23:34Z)
Condensing a Sequence to One Informative Frame for Video Recognition [113.3056598548736]
本稿では,まず映像シーケンスを情報的「フレーム」に凝縮する2段階の代替手法について検討する。有効な疑問は、どのように「有用な情報」を定義し、シーケンスから1つの合成フレームに蒸留するかである。 IFSは画像ベースの2Dネットワークとクリップベースの3Dネットワークを一貫して改善している。
論文参考訳（メタデータ） (2022-01-11T16:13:43Z)
Blind VQA on 360{\deg} Video via Progressively Learning from Pixels, Frames and Video [66.57045901742922]
360度ビデオにおけるブラインド視覚品質評価(BVQA)は,没入型マルチメディアシステムの最適化において重要な役割を担っている。本稿では,球面映像品質に対する人間の知覚の進歩的パラダイムを考察する。画素,フレーム,ビデオから段階的に学習することで,360度ビデオのための新しいBVQA手法(ProVQA)を提案する。
論文参考訳（メタデータ） (2021-11-18T03:45:13Z)
Is Space-Time Attention All You Need for Video Understanding? [50.78676438502343]
空間と時間の自己意識にのみ焦点をあてた畳み込みのないアプローチを提案する。 TimeSformer"は、フレームレベルのパッチのシーケンスから特徴学習を可能にすることで、標準のTransformerアーキテクチャをビデオに適応させる。 TimeSformerは、いくつかの主要なアクション認識ベンチマークで最先端の結果を達成する。
論文参考訳（メタデータ） (2021-02-09T19:49:33Z)
ATSal: An Attention Based Architecture for Saliency Prediction in 360 Videos [5.831115928056554]
本稿では,360度ビデオの注目度に基づく新しいサリエンシモデルであるATSalを提案する。提案したアプローチを,Salient360!とVR-EyeTrackingという2つのデータセット上で,最先端のSaliencyモデルと比較する。 80以上のODVビデオ(75K以上のフレーム)の実験結果から,提案手法は既存の最先端技術よりも優れていた。
論文参考訳（メタデータ） (2020-11-20T19:19:48Z)
Non-Adversarial Video Synthesis with Learned Priors [53.26777815740381]
我々は、参照入力フレームを使わずに、遅延雑音ベクトルからビデオを生成する問題に焦点をあてる。本研究では,入力潜時空間,繰り返しニューラルネットワークの重み付け,非対角学習によるジェネレータを協調的に最適化する手法を開発した。提案手法は,既存の最先端手法と比較して高品質なビデオを生成する。
論文参考訳（メタデータ） (2020-03-21T02:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。