論文の概要: Context-Aware Neural Video Compression on Solar Dynamics Observatory
- arxiv url: http://arxiv.org/abs/2309.10784v1
- Date: Tue, 19 Sep 2023 17:33:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 13:10:51.885677
- Title: Context-Aware Neural Video Compression on Solar Dynamics Observatory
- Title(参考訳): 太陽ダイナミクス観測におけるコンテキスト対応ニューラルビデオ圧縮
- Authors: Atefeh Khoshkhahtinat, Ali Zafari, Piyush M. Mehta, Nasser M.
Nasrabadi, Barbara J. Thompson, Michael S. F. Kirk, Daniel da Silva
- Abstract要約: NASAのソーラー・ダイナミクス・オブザーバトリー(SDO)ミッションは、太陽の日常活動の大量のデータを収集する。
データ圧縮は、データストレージとビデオ帯域幅の要求を減らすために、宇宙ミッションにとって不可欠である。
本稿では,SDO画像に特化して設計されたニューラルトランスフォーマーに基づくビデオ圧縮手法を提案する。
- 参考スコア(独自算出の注目度): 9.173243793862317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: NASA's Solar Dynamics Observatory (SDO) mission collects large data volumes
of the Sun's daily activity. Data compression is crucial for space missions to
reduce data storage and video bandwidth requirements by eliminating
redundancies in the data. In this paper, we present a novel neural
Transformer-based video compression approach specifically designed for the SDO
images. Our primary objective is to efficiently exploit the temporal and
spatial redundancies inherent in solar images to obtain a high compression
ratio. Our proposed architecture benefits from a novel Transformer block called
Fused Local-aware Window (FLaWin), which incorporates window-based
self-attention modules and an efficient fused local-aware feed-forward (FLaFF)
network. This architectural design allows us to simultaneously capture
short-range and long-range information while facilitating the extraction of
rich and diverse contextual representations. Moreover, this design choice
results in reduced computational complexity. Experimental results demonstrate
the significant contribution of the FLaWin Transformer block to the compression
performance, outperforming conventional hand-engineered video codecs such as
H.264 and H.265 in terms of rate-distortion trade-off.
- Abstract(参考訳): NASAのソーラー・ダイナミクス・オブザーバトリー(SDO)ミッションは、太陽の日常活動の大量のデータを収集する。
データ圧縮は、データの冗長性を排除し、データストレージとビデオ帯域幅の要求を減らすために、宇宙ミッションにとって不可欠である。
本稿では,SDO画像に特化して設計されたニューラルトランスフォーマーに基づくビデオ圧縮手法を提案する。
我々の主な目的は、太陽画像に固有の時間的・空間的冗長性を利用して高い圧縮比を得ることである。
提案するアーキテクチャは、ウィンドウベースのセルフアテンションモジュールと効率的なファステッドローカルアウェアフィードフォワード(flaff)ネットワークを組み込んだ、fused local-aware window(flawin)と呼ばれる新しいトランスフォーマーブロックの利点である。
このアーキテクチャ設計により、リッチで多様なコンテキスト表現の抽出を容易にしながら、短距離と長距離の情報を同時に取得することができます。
さらに、この設計選択は計算複雑性を減少させる。
実験の結果,h.264やh.265といった従来のハンドエンジニアリングビデオコーデックよりも,圧縮性能にひび割れ変圧器ブロックが有意な寄与を示した。
関連論文リスト
- MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large
Multimodal Model [81.35367970135778]
本稿では,マルチモーダル画像セマンティック圧縮法を提案する。
画像の意味情報を抽出するLMMエンコーダと、その意味に対応する領域を特定するマップエンコーダと、非常に圧縮されたビットストリームを生成する画像エンコーダと、前記情報に基づいて画像を再構成するデコーダとからなる。
知覚50%を節約しながら最適な一貫性と知覚結果を達成することができ、これは次世代のストレージと通信において強力な可能性を持つ。
論文 参考訳(メタデータ) (2024-02-26T17:11:11Z) - Neural-based Compression Scheme for Solar Image Data [8.374518151411612]
我々は、NASAのデータ集約画像ミッションで使用されるニューラルネットワークに基づく損失圧縮手法を提案する。
本研究では,画像の局所構造と大域構造の両方を捉えるために,局所的および非局所的アテンションモジュールを備えた逆トレーニングニューラルネットワークを提案する。
このアルゴリズムをSDOデータ解析に使用するための概念実証として、圧縮画像を用いてコロナホール(CH)検出を行った。
論文 参考訳(メタデータ) (2023-11-06T04:13:58Z) - Attention-Based Generative Neural Image Compression on Solar Dynamics
Observatory [12.283978726972752]
NASAのSolar Dynamics Observatory(SDO)ミッションは、地球同期軌道から毎日1.4テラバイトのデータを収集する。
近年、画像圧縮を行う上で、エンドツーエンド最適化された人工知能(ANN)が大きな可能性を示している。
我々は、宇宙ミッションで格納・回収されるデータ量を削減するために、アドホックなANNベースの画像圧縮スキームを設計した。
論文 参考訳(メタデータ) (2022-10-12T17:39:08Z) - Exploring Long- and Short-Range Temporal Information for Learned Video
Compression [54.91301930491466]
圧縮性能を高めるために,映像コンテンツの特徴を活かし,時間的情報を探究することに注力する。
本稿では,画像群(GOP)内で画像の推測中に連続的に更新できる時間前処理を提案する。
この場合、時間的事前は、現在のGOP内のすべてのデコードされた画像の貴重な時間的情報を含む。
本稿では,マルチスケール補償を実現する階層構造を設計する。
論文 参考訳(メタデータ) (2022-08-07T15:57:18Z) - Fast-Vid2Vid: Spatial-Temporal Compression for Video-to-Video Synthesis [40.249030338644225]
映像合成 (Vid2Vid) は, セマンティックマップのシーケンスから写真リアルな映像を生成することで, 顕著な成果を上げている。
Fast-Vid2Vidは20 FPSのリアルタイムパフォーマンスを実現し、1つのV100 GPUで約8倍の計算コストを節約する。
論文 参考訳(メタデータ) (2022-07-11T17:57:57Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-07-11T02:31:31Z) - Foveation-based Deep Video Compression without Motion Search [43.70396515286677]
VRで見るビデオのごく一部しか、ユーザーが特定の方向を見つめるときに見ることができないため、ファベーションプロトコルは望ましい。
我々は、ビットの割り当てを指示するフォベーションマスクを生成するFGU(Foveation Generator Unit)を導入することにより、フォベーションを実現する。
我々の新しい圧縮モデルは、Foveated Motionless VIdeo Codec (Foveated MOVI-Codec)と呼ばれ、モーションを計算せずに効率的に動画を圧縮することができる。
論文 参考訳(メタデータ) (2022-03-30T17:30:17Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳(メタデータ) (2022-02-09T18:48:02Z) - Microdosing: Knowledge Distillation for GAN based Compression [18.140328230701233]
そこで本研究では,知識蒸留を利用した画像デコーダの有効化について,元のパラメータ数のごく一部で示す。
これにより、モデルサイズを20倍に削減し、デコード時間の50%削減を実現できます。
論文 参考訳(メタデータ) (2022-01-07T14:27:16Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳(メタデータ) (2020-08-20T20:01:59Z) - Modeling Lost Information in Lossy Image Compression [72.69327382643549]
ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。
Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-22T04:04:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。