論文の概要: Joint Transmission and Deblurring: A Semantic Communication Approach Using Events
- arxiv url: http://arxiv.org/abs/2501.09396v1
- Date: Thu, 16 Jan 2025 09:07:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-17 15:09:26.954046
- Title: Joint Transmission and Deblurring: A Semantic Communication Approach Using Events
- Title（参考訳）: 複合伝送とデブロアリング:イベントを用いた意味的コミュニケーションアプローチ
- Authors: Pujing Yang, Guangyi Zhang, Yunlong Cai, Lei Yu, Guanding Yu,
- Abstract要約: 効率的な画像伝送のための有望な技術として,ディープラーニングに基づくジョイントソースチャネル符号化(JSCC)が登場している。
既存のアプローチでは、カメラの揺れや動きの速い物体によって引き起こされる動きのぼやけなど、現実世界の課題を見越して、鮮明なイメージの伝達に重点を置いている。
本稿では,限られた帯域幅で高品質な再構成を実現することを目的とした,ぼやけた画像やイベントを共同送信するための新しいJ SCCフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 30.60030333076227
- License:
- Abstract: Deep learning-based joint source-channel coding (JSCC) is emerging as a promising technology for effective image transmission. However, most existing approaches focus on transmitting clear images, overlooking real-world challenges such as motion blur caused by camera shaking or fast-moving objects. Motion blur often degrades image quality, making transmission and reconstruction more challenging. Event cameras, which asynchronously record pixel intensity changes with extremely low latency, have shown great potential for motion deblurring tasks. However, the efficient transmission of the abundant data generated by event cameras remains a significant challenge. In this work, we propose a novel JSCC framework for the joint transmission of blurry images and events, aimed at achieving high-quality reconstructions under limited channel bandwidth. This approach is designed as a deblurring task-oriented JSCC system. Since RGB cameras and event cameras capture the same scene through different modalities, their outputs contain both shared and domain-specific information. To avoid repeatedly transmitting the shared information, we extract and transmit their shared information and domain-specific information, respectively. At the receiver, the received signals are processed by a deblurring decoder to generate clear images. Additionally, we introduce a multi-stage training strategy to train the proposed model. Simulation results demonstrate that our method significantly outperforms existing JSCC-based image transmission schemes, addressing motion blur effectively.
- Abstract（参考訳）: 効率的な画像伝送のための有望な技術として,ディープラーニングに基づくジョイントソースチャネル符号化(JSCC)が登場している。
しかし、既存のほとんどのアプローチは、カメラの揺れや動きの速い物体によって引き起こされる動きのぼやけなど、現実世界の課題を見越して、鮮明なイメージの伝達に重点を置いている。
動きのぼかしはしばしば画質を低下させ、透過性や再構成をより困難にする。
非常に低レイテンシで画素強度の変化を非同期に記録するイベントカメラは、動作不良タスクに大きな可能性を示している。
しかし、イベントカメラによって生成された豊富なデータの効率的な伝送は依然として大きな課題である。
本研究では,帯域幅に制限のある高品質な再構成を実現することを目的とした,ぼやけた画像やイベントの同時送信のための新しいJSCCフレームワークを提案する。
このアプローチはタスク指向のJSCCシステムとして設計されている。
RGBカメラとイベントカメラは異なるモードで同じシーンをキャプチャするので、その出力には共有情報とドメイン固有の情報の両方が含まれる。
共有情報の繰り返し送信を避けるため,共有情報とドメイン固有情報をそれぞれ抽出し,送信する。
受信機では、受信した信号をデブラーリングデコーダで処理し、鮮明な画像を生成する。
さらに,提案手法を訓練するための多段階学習戦略を導入する。
シミュレーションの結果,この手法は既存のJSCCベースの画像伝送方式を著しく上回り,動きのぼやけを効果的に解消することを示した。
関連論文リスト
- Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。
既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。
我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-07T14:32:36Z) - Object-Attribute-Relation Representation Based Video Semantic Communication [35.87160453583808]
我々は,低ビットレート符号化を実現するためのビデオのセマンティックフレームワークとして,OAR(Object-Atribute-Relation)を導入する。
我々は低ビットレート表現と生成ビデオ再構成の両方にOARシーケンスを利用する。
トラヒック監視ビデオデータセットに関する実験は,映像伝送性能の観点から,我々のアプローチの有効性を評価した。
論文 参考訳（メタデータ） (2024-06-15T02:19:31Z) - Neuromorphic Synergy for Video Binarization [54.195375576583864]
バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。
ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。
本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。
また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
論文 参考訳（メタデータ） (2024-02-20T01:43:51Z) - Uncertainty-aware Bridge based Mobile-Former Network for Event-based Pattern Recognition [6.876867023375713]
イベントカメラは高いダイナミックレンジ、動きのぼやけがなく、消費電力も少ない。
パターン認識を効率化する軽量な不確実性対応情報伝搬方式Mobile-Formerネットワークを提案する。
論文 参考訳（メタデータ） (2024-01-20T05:26:28Z) - Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。
我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。
我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
論文 参考訳（メタデータ） (2023-09-18T06:51:41Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:03:23Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - Bridging the Gap between Events and Frames through Unsupervised Domain
Adaptation [57.22705137545853]
本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。
生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。
われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
論文 参考訳（メタデータ） (2021-09-06T17:31:37Z) - Learning Event-Based Motion Deblurring [39.16921854492941]
高速な動きは、イベントベースのカメラの高速でイベントとしてキャプチャすることができる。
我々は、その最適化を、新しいエンドツーエンドのディープアーキテクチャでどのように展開できるかを示す。
提案手法は、最先端の復元品質を実現し、実世界の動きのぼかし処理をより一般化する。
論文 参考訳（メタデータ） (2020-04-13T07:01:06Z) - EventSR: From Asynchronous Events to Image Reconstruction, Restoration,
and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。
イベントストリームからの強度画像の再構成手法が提案されている。
出力は依然として低解像度(LR)、ノイズ、非現実的である。
本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2020-03-17T10:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。