Fugu-MT 論文翻訳(概要): Object Segmentation-Assisted Inter Prediction for Versatile Video Coding

論文の概要: Object Segmentation-Assisted Inter Prediction for Versatile Video Coding

arxiv url: http://arxiv.org/abs/2403.11694v2
Date: Thu, 12 Sep 2024 10:13:26 GMT
ステータス: 処理完了
システム内更新日: 2024-09-13 22:02:48.150702
Title: Object Segmentation-Assisted Inter Prediction for Versatile Video Coding
Title（参考訳）: 映像符号化における物体分割支援インター予測
Authors: Zhuoyuan Li, Zikun Yuan, Li Li, Dong Liu, Xiaohu Tang, Feng Wu,
Abstract要約: 本稿では,参照フレーム内のオブジェクトをいくつかの高度な技術でセグメント化するオブジェクトセグメンテーション支援インター予測手法を提案する。適切な指示により、オブジェクトセグメンテーションマスクは、参照フレームから現在のフレームに、異なる領域の任意の形のパーティションとして変換される。提案手法は, 最大1.98%, 1.14%, 0.79%, 平均0.82%, 0.49%, 0.37%のBDレート低下が得られた。
参考スコア（独自算出の注目度）: 53.91821712591901
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In modern video coding standards, block-based inter prediction is widely adopted, which brings high compression efficiency. However, in natural videos, there are usually multiple moving objects of arbitrary shapes, resulting in complex motion fields that are difficult to represent compactly. This problem has been tackled by more flexible block partitioning methods in the Versatile Video Coding (VVC) standard, but the more flexible partitions require more overhead bits to signal and still cannot be made arbitrarily shaped. To address this limitation, we propose an object segmentation-assisted inter prediction method (SAIP), where objects in the reference frames are segmented by some advanced technologies. With a proper indication, the object segmentation mask is translated from the reference frame to the current frame as the arbitrary-shaped partition of different regions without any extra signal. Using the segmentation mask, motion compensation is separately performed for different regions, achieving higher prediction accuracy. The segmentation mask is further used to code the motion vectors of different regions more efficiently. Moreover, the segmentation mask is considered in the joint rate-distortion optimization for motion estimation and partition estimation to derive the motion vector of different regions and partition more accurately. The proposed method is implemented into the VVC reference software, VTM version 12.0. Experimental results show that the proposed method achieves up to 1.98%, 1.14%, 0.79%, and on average 0.82%, 0.49%, 0.37% BD-rate reduction for common test sequences, under the Low-delay P, Low-delay B, and Random Access configurations, respectively.
Abstract（参考訳）: 現代のビデオコーディング標準では、ブロックベースのインター予測が広く採用されており、高い圧縮効率をもたらす。しかし、自然ビデオでは、通常、任意の形状の複数の移動物体が存在し、その結果、コンパクトに表現することが難しい複雑な運動場が生じる。この問題は、Versatile Video Coding (VVC) 標準のより柔軟なブロック分割手法によって対処されてきたが、より柔軟なパーティションは信号により多くのオーバーヘッドビットを必要とするため、それでも任意に形成することはできない。この制限に対処するために、参照フレーム内のオブジェクトがいくつかの高度な技術によってセグメント化されるオブジェクトセグメンテーション支援インター予測法(SAIP)を提案する。適切な指示により、オブジェクトセグメンテーションマスクは、余分な信号なしで異なる領域の任意の形の分割として、参照フレームから現在のフレームに変換される。セグメンテーションマスクを用いて、異なる領域に対して動き補償を別々に行い、高い予測精度を達成する。セグメンテーションマスクは、異なる領域の運動ベクトルをより効率的に符号化するためにさらに使用される。さらに、分割マスクは、異なる領域の運動ベクトルを導出し、より正確に分割する動き推定と分割推定のジョイントレート・歪み最適化において考慮される。提案手法はVVC参照ソフトウェアであるVTMバージョン12.0に実装されている。実験の結果,提案手法は平均0.82%,0.49%,0.37%のBDレートをそれぞれ低遅延P,低遅延B,ランダムアクセス構成でそれぞれ最大1.98%,1.14%,0.79%を達成することがわかった。

関連論文リスト

Uniformly Accelerated Motion Model for Inter Prediction [38.34487653360328]
自然ビデオでは、通常、変動速度を持つ複数の移動物体が存在し、その結果、コンパクトに表現することが難しい複雑な運動場が生じる。 Versatile Video Coding (VVC) では、既存のインター予測手法は連続するフレーム間の均一な速度運動を仮定する。本研究では,動画フレーム間の移動物体の運動関連要素(速度,加速度)を利用する一様加速度運動モデル(UAMM)を提案する。
論文参考訳（メタデータ） (2024-07-16T09:46:29Z)
Multiscale Motion-Aware and Spatial-Temporal-Channel Contextual Coding Network for Learned Video Compression [24.228981098990726]
動画圧縮ネットワーク(MASTC-VC)を提案する。提案するMASTC-VCは,3つの公開ベンチマークデータセット上での従来の最先端(SOTA)手法よりも優れている。提案手法は,PSNRのH.265/HEVC(HM-16.20)に対して平均10.15%のBDレートを,MS-SSIMのH.266/VVC(VTM-13.2)に対して平均23.93%のBDレートを節約する。
論文参考訳（メタデータ） (2023-10-19T13:32:38Z)
PMI Sampler: Patch Similarity Guided Frame Selection for Aerial Action Recognition [52.78234467516168]
本稿では、隣接フレーム間の動きバイアスを定量化するために、パッチ相互情報(PMI)スコアの概念を導入する。シフトリークReLuと累積分布関数を用いた適応フレーム選択方式を提案する。本手法は,UAV-Humanの2.2～13.8%,NEC Droneの6.8%,Diving48データセットの9.0%の相対的な改善を実現している。
論文参考訳（メタデータ） (2023-04-14T00:01:11Z)
Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
論文参考訳（メタデータ） (2022-03-14T17:55:41Z)
Self-Supervised Learning of Perceptually Optimized Block Motion Estimates for Video Compression [50.48504867843605]
多段階畳み込みニューラルネットワークを用いた探索自由ブロック運動推定フレームワークを提案する。動作補償フレームの知覚品質を最適化するために,マルチスケール構造類似度(MS-SSIM)損失関数をデプロイする。
論文参考訳（メタデータ） (2021-10-05T03:38:43Z)
Efficient Video Object Segmentation with Compressed Video [36.192735485675286]
ビデオの時間的冗長性を利用した半教師付きビデオオブジェクトセグメンテーションのための効率的なフレームワークを提案する。提案手法は,圧縮したビデオビットストリームの動作と残差に基づいて,選択したベクトルの推測を行い,他のフレームの予測を行う。ベースモデルとしてトップkフィルタリングを用いたSTMでは,DAVIS16とYouTube-VOSにおいて,精度の低下とともに最大4.9倍の高速化を実現した。
論文参考訳（メタデータ） (2021-07-26T12:57:04Z)
Collaborative Spatial-Temporal Modeling for Language-Queried Video Actor Segmentation [90.74732705236336]
言語クエリビデオアクターセグメンテーションは、ターゲットフレーム内の自然言語クエリで記述されたアクションを実行するアクターのピクセルマスクを予測することを目的としています。本研究では,ビデオクリップ上に3次元時間エンコーダを内蔵した空間時空間エンコーダ・デコーダフレームワークと,対象フレーム上に2次元空間エンコーダを組み込んで,クエリアクターを正確にセグメント化することを提案する。
論文参考訳（メタデータ） (2021-05-14T13:27:53Z)
Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文参考訳（メタデータ） (2021-01-11T04:20:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。