論文の概要: Importance-Aware Image Segmentation-based Semantic Communication for
Autonomous Driving
- arxiv url: http://arxiv.org/abs/2401.10153v1
- Date: Tue, 16 Jan 2024 18:14:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 15:50:37.299256
- Title: Importance-Aware Image Segmentation-based Semantic Communication for
Autonomous Driving
- Title(参考訳): 自律運転のための重要認識画像セグメンテーションに基づく意味コミュニケーション
- Authors: Jie Lv, Haonan Tong, Qiang Pan, Zhilong Zhang, Xinxin He, Tao Luo,
Changchuan Yin
- Abstract要約: 本稿では,自律運転におけるイメージセグメンテーションに基づくセマンティックコミュニケーションの問題について考察する。
本研究では、VIS-SemComと呼ばれる車両画像セグメント指向のセマンティックコミュニケーションシステムを提案する。
提案したVIS-SemCom は,約6dB の符号ゲインを実現し,60% mIoU で送信したデータ量を最大70% 削減し,従来の伝送方式に比べて重要なオブジェクトの結合(IoU) の分割交叉率を 4% 向上させることができる。
- 参考スコア(独自算出の注目度): 9.956303020078488
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This article studies the problem of image segmentation-based semantic
communication in autonomous driving. In real traffic scenes, detecting the key
objects (e.g., vehicles, pedestrians and obstacles) is more crucial than that
of other objects to guarantee driving safety. Therefore, we propose a vehicular
image segmentation-oriented semantic communication system, termed VIS-SemCom,
where image segmentation features of important objects are transmitted to
reduce transmission redundancy. First, to accurately extract image semantics,
we develop a semantic codec based on Swin Transformer architecture, which
expands the perceptual field thus improving the segmentation accuracy. Next, we
propose a multi-scale semantic extraction scheme via assigning the number of
Swin Transformer blocks for diverse resolution features, thus highlighting the
important objects' accuracy. Furthermore, the importance-aware loss is invoked
to emphasize the important objects, and an online hard sample mining (OHEM)
strategy is proposed to handle small sample issues in the dataset. Experimental
results demonstrate that the proposed VIS-SemCom can achieve a coding gain of
nearly 6 dB with a 60% mean intersection over union (mIoU), reduce the
transmitted data amount by up to 70% with a 60% mIoU, and improve the
segmentation intersection over union (IoU) of important objects by 4%, compared
to traditional transmission scheme.
- Abstract(参考訳): 本稿では,自律運転におけるイメージセグメンテーションに基づくセマンティックコミュニケーションの問題について考察する。
実際の交通現場では、重要な物体(車両、歩行者、障害物など)を検出することが運転安全性を保証するために他の物体よりも重要である。
そこで本研究では,重要物体の画像分割特徴を伝送することで伝送冗長性を低減した車両用画像セグメンテーション指向意味通信システム「vis-semcom」を提案する。
まず,画像のセマンティクスを精度良く抽出するために,知覚場を拡大してセマンティクス精度を向上させるswainトランスフォーマティブアーキテクチャに基づく意味コーデックを開発した。
次に,様々な解像度特徴に対してスウィントランスブロック数を割り当てることで,重要物体の精度を強調するマルチスケール意味抽出手法を提案する。
さらに、重要なオブジェクトを強調するために重要・認識損失を発生させ、データセット内の小さなサンプル問題を扱うためのオンラインハードサンプルマイニング(OHEM)戦略を提案する。
実験の結果,vis-semcomは,約6dbの符号化利得を約60%平均交叉(miou)で達成でき,送信データ量を60%のmiouで最大70%削減し,従来の伝送方式に比べて重要なオブジェクトの結合上の分断交叉(iou)を4%改善できることがわかった。
関連論文リスト
- ViT LoS V2X: Vision Transformers for Environment-aware LoS Blockage Prediction for 6G Vehicular Networks [20.953587995374168]
我々は、畳み込みニューラルネットワーク(CNN)とカスタマイズされた視覚変換器(ViT)を組み合わせたディープラーニングベースのアプローチを提案する。
提案手法は,時系列マルチモーダルデータから特徴を抽出するために,CNNとViTの相乗的強みを利用する。
その結果,提案手法は精度が高く,最先端のソリューションよりも優れ,95%以上の精度で予測できることがわかった。
論文 参考訳(メタデータ) (2024-06-27T01:38:09Z) - Sharing Key Semantics in Transformer Makes Efficient Image Restoration [148.22790334216117]
視覚変換器(ViT)の基盤となる自己注意機構は、意味的に無関係なオブジェクトや領域であっても、すべてのグローバルな手がかりを包含する傾向がある。
本稿では,Transformer for IR(すなわちSemanIR)を通じて重要なセマンティクスを共有することで,画像復元の性能を向上させることを提案する。
論文 参考訳(メタデータ) (2024-05-30T12:45:34Z) - Transformer-Aided Semantic Communications [28.63893944806149]
我々は、入力画像の圧縮とコンパクトな表現のために、視覚変換器を用いる。
変圧器固有のアテンション機構を用いることで、アテンションマスクを作成する。
提案手法の有効性をTinyImageNetデータセットを用いて評価した。
論文 参考訳(メタデータ) (2024-05-02T17:50:53Z) - A Multi-Task Oriented Semantic Communication Framework for Autonomous Vehicles [5.779316179788962]
本研究は、コネクテッドおよび自律走行車のためのマルチタスク指向のセマンティックコミュニケーションフレームワークを提案する。
道路交通標識のセマンティックエンコーディングを行う畳み込みオートエンコーダ(CAE)を提案する。
これらの符号化された画像は、気象条件の厳しい衛星を通して、あるCAVから別のCAVに送信される。
論文 参考訳(メタデータ) (2024-03-06T12:04:24Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳(メタデータ) (2023-12-19T08:14:14Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳(メタデータ) (2023-08-07T16:32:14Z) - Domain Adaptive Semantic Segmentation by Optimal Transport [13.133890240271308]
セマンティックシーンセグメンテーションは、それが含んでいるセマンティック情報の豊かさから、多くの注目を集めています。
現在のアプローチは主に畳み込みニューラルネットワーク(CNN)に基づいているが、多くのラベルに依存している。
本稿では、最適輸送(OT)とこの問題に対処するためのアテンションメカニズムに基づくドメイン適応(DA)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-29T03:33:54Z) - AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。
本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。
AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-18T10:14:45Z) - Auto-Transfer: Learning to Route Transferrable Representations [77.30427535329571]
本稿では,適切なターゲット表現にソース表現をルートする方法を自動学習する,新しい対向型マルチアームバンディット手法を提案する。
最先端の知識伝達手法と比較すると,5%以上の精度向上が期待できる。
論文 参考訳(メタデータ) (2022-02-02T13:09:27Z) - Transformer Meets Convolution: A Bilateral Awareness Net-work for
Semantic Segmentation of Very Fine Resolution Ur-ban Scene Images [6.460167724233707]
本稿では,依存経路とテクスチャパスを含む相互認知ネットワーク(BANet)を提案する。
BANetは、VFR画像の長距離関係と細かな詳細をキャプチャする。
3つの大規模都市景観画像セグメンテーションデータセット(ISPRS Vaihingen データセット、ISPRS Potsdam データセット、UAVid データセット)で実施された実験は、BANetの有効性を実証している。
論文 参考訳(メタデータ) (2021-06-23T13:57:36Z) - Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。
我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。
その結果,小型歩行者の検出における本手法の有効性が示唆された。
論文 参考訳(メタデータ) (2020-08-19T13:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。