Fugu-MT 論文翻訳(概要): Transformer-Aided Semantic Communications

論文の概要: Transformer-Aided Semantic Communications

arxiv url: http://arxiv.org/abs/2405.01521v1
Date: Thu, 2 May 2024 17:50:53 GMT
ステータス: 処理完了
システム内更新日: 2024-05-03 15:25:48.854287
Title: Transformer-Aided Semantic Communications
Title（参考訳）: 変圧器を用いた意味コミュニケーション
Authors: Matin Mortaheb, Erciyes Karakaya, Mohammad A. Amir Khojastepour, Sennur Ulukus,
Abstract要約: 我々は、入力画像の圧縮とコンパクトな表現のために、視覚変換器を用いる。変圧器固有のアテンション機構を用いることで、アテンションマスクを作成する。提案手法の有効性をTinyImageNetデータセットを用いて評価した。
参考スコア（独自算出の注目度）: 28.63893944806149
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The transformer structure employed in large language models (LLMs), as a specialized category of deep neural networks (DNNs) featuring attention mechanisms, stands out for their ability to identify and highlight the most relevant aspects of input data. Such a capability is particularly beneficial in addressing a variety of communication challenges, notably in the realm of semantic communication where proper encoding of the relevant data is critical especially in systems with limited bandwidth. In this work, we employ vision transformers specifically for the purpose of compression and compact representation of the input image, with the goal of preserving semantic information throughout the transmission process. Through the use of the attention mechanism inherent in transformers, we create an attention mask. This mask effectively prioritizes critical segments of images for transmission, ensuring that the reconstruction phase focuses on key objects highlighted by the mask. Our methodology significantly improves the quality of semantic communication and optimizes bandwidth usage by encoding different parts of the data in accordance with their semantic information content, thus enhancing overall efficiency. We evaluate the effectiveness of our proposed framework using the TinyImageNet dataset, focusing on both reconstruction quality and accuracy. Our evaluation results demonstrate that our framework successfully preserves semantic information, even when only a fraction of the encoded data is transmitted, according to the intended compression rates.
Abstract（参考訳）: 大きな言語モデル(LLM)で使用されるトランスフォーマー構造は、注意機構を特徴とするディープニューラルネットワーク(DNN)の特殊カテゴリとして、入力データの最も関連性の高い側面を特定し、強調する能力で際立っている。このような能力は、特に帯域幅が限られているシステムにおいて、関連するデータの適切なエンコーディングが重要となるセマンティックコミュニケーションの領域において、様々な通信課題に対処する上で特に有益である。本研究では,入力画像の圧縮およびコンパクトな表現を目的とした視覚変換器を用いて,送信プロセス全体を通して意味情報を保存することを目的とする。変圧器固有のアテンション機構を用いることで、アテンションマスクを作成する。このマスクは、送信のための重要な画像セグメントを効果的に優先順位付けし、マスクが強調するキーオブジェクトに再構成フェーズがフォーカスされることを保証する。提案手法はセマンティックコミュニケーションの質を著しく向上させ, セマンティック情報の内容に応じてデータの異なる部分を符号化することで帯域幅を最適化し, 全体的な効率を向上する。提案手法の有効性をTinyImageNetデータセットを用いて評価し,再現性と精度の両面に着目した。評価結果から,意図した圧縮率に応じて,符号化されたデータのごく一部が送信された場合でも,本フレームワークは意味情報の保存に成功していることが示された。

関連論文リスト

Resource-Efficient Multiview Perception: Integrating Semantic Masking with Masked Autoencoders [6.498925999634298]
本稿では、マスク付きオートエンコーダ(MAE)を用いた通信効率の高い分散マルチビュー検出と追跡のための新しい手法を提案する。本稿では,事前訓練されたセグメンテーションモデルと調整可能なパワー関数を利用して,情報領域の優先順位付けを行う意味誘導型マスキング手法を提案する。我々は,仮想および実世界のマルチビューデータセットを用いて本手法の評価を行い,性能指標の検出と追跡において同等の性能を示す。
論文参考訳（メタデータ） (2024-10-07T08:06:41Z)
Sharing Key Semantics in Transformer Makes Efficient Image Restoration [148.22790334216117]
視覚変換器(ViT)の基盤となる自己注意機構は、意味的に無関係なオブジェクトや領域であっても、すべてのグローバルな手がかりを包含する傾向がある。本稿では,Transformer for IR(すなわちSemanIR)を通じて重要なセマンティクスを共有することで,画像復元の性能を向上させることを提案する。
論文参考訳（メタデータ） (2024-05-30T12:45:34Z)
Importance-Aware Image Segmentation-based Semantic Communication for Autonomous Driving [9.956303020078488]
本稿では,自律運転におけるイメージセグメンテーションに基づくセマンティックコミュニケーションの問題について考察する。本研究では、VIS-SemComと呼ばれる車両画像セグメント指向のセマンティックコミュニケーションシステムを提案する。提案したVIS-SemCom は,約6dB の符号ゲインを実現し,60% mIoU で送信したデータ量を最大70% 削減し,従来の伝送方式に比べて重要なオブジェクトの結合(IoU) の分割交叉率を 4% 向上させることができる。
論文参考訳（メタデータ） (2024-01-16T18:14:44Z)
Scalable AI Generative Content for Vehicular Network Semantic Communication [46.589349524682966]
本稿では,エンコーダ・デコーダアーキテクチャを活用したスケーラブルな人工知能生成コンテンツ(AIGC)システムについて紹介する。本システムは,画像をテキスト表現に変換し,品質を許容する画像に再構成し,車載ネットワークセマンティック通信の伝送を最適化する。実験結果から,提案手法は盲点における車両の認識基準を超越し,通信データを効果的に圧縮することが示唆された。
論文参考訳（メタデータ） (2023-11-23T02:57:04Z)
Towards Semantic Communications: Deep Learning-Based Image Semantic Coding [42.453963827153856]
我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
論文参考訳（メタデータ） (2022-08-08T12:29:55Z)
Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
論文参考訳（メタデータ） (2022-07-06T16:32:29Z)
Wireless Transmission of Images With The Assistance of Multi-level Semantic Information [16.640928669609934]
MLSCイメージ(MLSC-image)は、無線画像伝送のためのマルチレベルセマンティックアウェアメント通信システムである。テキストセマンティクスをキャプチャするために事前訓練された画像キャプションと、そのセマンティクスを得るために事前訓練された画像セマンティクスモデルを用いる。提案した意味コミュニケーションシステムの有効性と効率を数値計算により検証した。
論文参考訳（メタデータ） (2022-02-08T16:25:26Z)
XCiT: Cross-Covariance Image Transformers [73.33400159139708]
本稿では,トークンではなく機能チャネルをまたいで機能する自己注意の「伝達」バージョンを提案する。その結果、XCAはトークン数に線形複雑さを持ち、高解像度画像の効率的な処理を可能にする。
論文参考訳（メタデータ） (2021-06-17T17:33:35Z)
Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
論文参考訳（メタデータ） (2021-05-29T05:26:07Z)
Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文参考訳（メタデータ） (2021-03-22T18:00:13Z)
Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。 CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
論文参考訳（メタデータ） (2020-01-12T05:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。