論文の概要: A Joint Visual Compression and Perception Framework for Neuralmorphic Spiking Camera

• arxiv url: http://arxiv.org/abs/2503.02725v1
• Date: Tue, 04 Mar 2025 15:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:15:03.465086
• Title: A Joint Visual Compression and Perception Framework for Neuralmorphic Spiking Camera
• Title（参考訳）: ニューロモルフィックスパイキングカメラのための共同視覚圧縮と知覚フレームワーク
• Authors: Kexiang Feng, Chuanmin Jia, Siwei Ma, Wen Gao,
• Abstract要約: 本稿では、スパイクシーケンスを圧縮し、ビットレートとタスク性能の両方に最適化するスパイク情報符号化(SCI)の概念を提案する。 スパイクベース分類では,SOTAコーデックと比較して平均17.25%のBDレート削減,スパイクベース分類では4.3%の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 42.74887012434441
• License:
• Abstract: The advent of neuralmorphic spike cameras has garnered significant attention for their ability to capture continuous motion with unparalleled temporal resolution.However, this imaging attribute necessitates considerable resources for binary spike data storage and transmission.In light of compression and spike-driven intelligent applications, we present the notion of Spike Coding for Intelligence (SCI), wherein spike sequences are compressed and optimized for both bit-rate and task performance.Drawing inspiration from the mammalian vision system, we propose a dual-pathway architecture for separate processing of spatial semantics and motion information, which is then merged to produce features for compression.A refinement scheme is also introduced to ensure consistency between decoded features and motion vectors.We further propose a temporal regression approach that integrates various motion dynamics, capitalizing on the advancements in warping and deformation simultaneously.Comprehensive experiments demonstrate our scheme achieves state-of-the-art (SOTA) performance for spike compression and analysis.We achieve an average 17.25% BD-rate reduction compared to SOTA codecs and a 4.3% accuracy improvement over SpiReco for spike-based classification, with 88.26% complexity reduction and 42.41% inference time saving on the encoding side.
• Abstract（参考訳）: ニューラルモルフィックスパイクカメラの出現は、非並列時間分解能で連続的な動きを捉える能力に大きな注目を集めている。しかし、この画像属性はバイナリスパイクデータの保存と伝送にかなりのリソースを必要とする。圧縮とスパイク駆動のインテリジェントなアプリケーションによって、スパイクシーケンスをビットレートとタスクパフォーマンスの両方に最適化するスパイク符号化(SCI)の概念を提示する。哺乳類の視覚システムからインスピレーションを得て、空間意味学とモーション情報の分離処理のためのデュアルパスウェイアーキテクチャを提案し、圧縮のための特徴を生成するために統合される。さらに、デコードされた特徴とモーションベクターの整合性を確保するために強化スキームを導入し、様々な動きを動的に統合し、変形を同時に行うための時間的アプローチも提案する。

関連論文リスト

• HEMGS: A Hybrid Entropy Model for 3D Gaussian Splatting Data Compression [23.015728369640136]
  3D Gaussian Splatting (3DGS)は3Dモデリングと画像レンダリングに人気があるが、これはデータストレージと伝送において大きな課題を生み出している。 本稿では3DGSデータ圧縮のためのハイブリッドエントロピーモデルを提案する。 本手法は,ベースライン法よりもレンダリング品質を保ちながら,平均40%程度のサイズ削減を実現し,最先端の圧縮結果を実現する。
  論文  参考訳（メタデータ） (2024-11-27T16:08:59Z)
• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• Sensitivity Decouple Learning for Image Compression Artifacts Reduction [39.67836965306397]
  本稿では, 固有属性を2つの相補的特徴に分解して, アーティファクトの低減を図ることを提案する。 提案するDAGNでは,圧縮不感な特徴の整合性を維持するために,多機能融合モジュールを開発した。 提案手法はBSD500上で平均2.06dBのPSNRゲインを達成し,最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-05-15T12:29:35Z)
• Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
  本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。 既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。 新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
  論文  参考訳（メタデータ） (2024-05-10T09:18:17Z)
• Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
  本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。 我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。 実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-25T08:11:27Z)
• ConvNeXt-ChARM: ConvNeXt-based Transform for Efficient Neural Image Compression [18.05997169440533]
  ConvNeXt-ChARMは,効率的なConvNeXtベースのトランスフォーメーションコーディングフレームワークである。 ConvNeXt-ChARMは、VVC参照エンコーダ(VTM-18.0)と最先端の学習画像圧縮手法であるSwinT-ChARMに対して、平均5.24%と1.22%と、一貫したBDレート(PSNR)の低下をもたらすことを示した。
  論文  参考訳（メタデータ） (2023-07-12T11:45:54Z)
• SpikeCodec: An End-to-end Learned Compression Framework for Spiking Camera [48.194993029659685]
  連続的なモーション記録機能を備えたバイオインスピレーション付きスパイクカメラは、大きな注目を集めている。 本研究では,シーンリカバリ,変分自動エンコーダとスパイクシミュレータを用いた新しいスパイク圧縮フレームワークを提案する。 我々の知る限り、これは効率的でロバストなスパイクストリーム圧縮のための最初のデータ訓練モデルである。
  論文  参考訳（メタデータ） (2023-06-25T03:11:21Z)
• Learned Video Compression via Heterogeneous Deformable Compensation Network [78.72508633457392]
  不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。 より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。 実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-11T02:31:31Z)
• Generalized Octave Convolutions for Learned Multi-Frequency Image Compression [20.504561050200365]
  本稿では,初めて学習されたマルチ周波数画像圧縮とエントロピー符号化手法を提案する。 これは最近開発されたオクターブの畳み込みに基づいて、潜水剤を高周波(高分解能)成分に分解する。 提案した一般化オクターブ畳み込みは、他のオートエンコーダベースのコンピュータビジョンタスクの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-24T01:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。