論文の概要: Segment Anything Meets Semantic Communication
- arxiv url: http://arxiv.org/abs/2306.02094v1
- Date: Sat, 3 Jun 2023 11:54:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 20:15:09.175525
- Title: Segment Anything Meets Semantic Communication
- Title(参考訳): Segment Anything - セマンティックコミュニケーション
- Authors: Shehbaz Tariq, Brian Estadimas Arfeto, Chaoning Zhang, Hyundong Shin
- Abstract要約: 本稿では,Meta AI Research が開発した基礎モデル,特にSegment Anything Model (SAM) のセマンティックコミュニケーション改善への応用について検討する。
SAMのセグメンテーション機能と、セマンティックコーディングのための軽量ニューラルネットワークアーキテクチャを用いて、セマンティックコミュニケーションの実践的アプローチを提案する。
- 参考スコア(独自算出の注目度): 15.183506390391988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In light of the diminishing returns of traditional methods for enhancing
transmission rates, the domain of semantic communication presents promising new
frontiers. Focusing on image transmission, this paper explores the application
of foundation models, particularly the Segment Anything Model (SAM) developed
by Meta AI Research, to improve semantic communication. SAM is a promptable
image segmentation model that has gained attention for its ability to perform
zero-shot segmentation tasks without explicit training or domain-specific
knowledge. By employing SAM's segmentation capability and lightweight neural
network architecture for semantic coding, we propose a practical approach to
semantic communication. We demonstrate that this approach retains critical
semantic features, achieving higher image reconstruction quality and reducing
communication overhead. This practical solution eliminates the
resource-intensive stage of training a segmentation model and can be applied to
any semantic coding architecture, paving the way for real-world applications.
- Abstract(参考訳): 送信率を高める従来の手法のリターンが低下していることを踏まえ、セマンティックコミュニケーションの領域は新しいフロンティアを約束する。
本稿では,画像伝達に着目した基礎モデル,特にMeta AI Researchが開発したSegment Anything Model(SAM)のセマンティックコミュニケーション改善への応用について検討する。
SAMは、明示的なトレーニングやドメイン固有の知識を使わずにゼロショットセグメンテーションタスクを実行する能力に注目されている。
SAMのセグメンテーション機能と、セマンティックコーディングのための軽量ニューラルネットワークアーキテクチャを用いて、セマンティックコミュニケーションの実践的アプローチを提案する。
提案手法は重要な意味的特徴を保ち,画像再構成品質の向上と通信オーバーヘッドの低減を図っている。
この実用的なソリューションは、セグメンテーションモデルのトレーニングのリソース集約的なステージを取り除き、どんなセマンティックコーディングアーキテクチャにも適用でき、現実世界のアプリケーションへの道を開くことができる。
関連論文リスト
- Meta-Exploiting Frequency Prior for Cross-Domain Few-Shot Learning [86.99944014645322]
クロスドメインなFew-Shot学習のための新しいフレームワーク,Meta-Exploiting Frequency Priorを導入する。
各クエリ画像を高周波および低周波成分に分解し,特徴埋め込みネットワークに並列に組み込む。
本フレームワークは、複数のドメイン間数ショット学習ベンチマークにおいて、最先端の新たな結果を確立する。
論文 参考訳(メタデータ) (2024-11-03T04:02:35Z) - Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。
既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。
我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-07T14:32:36Z) - Autoencoder-Based Domain Learning for Semantic Communication with
Conceptual Spaces [1.7404865362620803]
本研究では,高レベルなプロパティラベルを持つ生データのみを用いて,概念空間モデルの領域を学習するためのフレームワークを開発する。
MNISTとCelebAデータセットを用いた実験では、フレームワークを用いて学習したドメインが意味的類似性関係を維持し、解釈可能な次元を持つことを示した。
論文 参考訳(メタデータ) (2024-01-29T21:08:33Z) - Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery
Based on Large Vision Models [14.292149307183967]
本研究は,少数ショットセマンティックセグメンテーションの自動化を目的とした構造化フレームワークを提案する。
SAMモデルを利用して、意味的に識別可能なセグメンテーションの結果をより効率的に生成する。
提案手法の中心は,従来のガイドマスクを利用してSAMの粗い画素単位のプロンプトを生成する,新しい自動プロンプト学習手法である。
論文 参考訳(メタデータ) (2023-11-22T07:07:55Z) - Large AI Model-Based Semantic Communications [48.73159237649128]
現在のセマンティックコミュニケーションシステムでは、知識ベース(KB)の構築はいくつかの問題に直面している。
本稿では、画像データ用に設計されたLAMベースのSCフレームワーク(LAM-SC)を提案し、まず、SAMベースのKB(SKB)を適用する。
そこで本研究では,SKBが生成する意味セグメントを人間の参加なしに評価し,意味認識画像として統合するための注意ベースセマンティック統合(ASI)を提案する。
論文 参考訳(メタデータ) (2023-07-07T10:01:08Z) - Few-shot Semantic Image Synthesis with Class Affinity Transfer [23.471210664024067]
そこで本研究では,大規模なデータセット上でトレーニングされたモデルを利用して,小規模なターゲットデータセット上での学習能力を向上させるトランスファー手法を提案する。
クラス親和性行列は、ターゲットラベルマップと互換性を持たせるために、ソースモデルの第一層として導入される。
セマンティック・セマンティック・シンセサイザー(セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アーキテクチャー)にアプローチを適用する。
論文 参考訳(メタデータ) (2023-04-05T09:24:45Z) - Towards Semantic Communications: Deep Learning-Based Image Semantic
Coding [42.453963827153856]
我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。
画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。
実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
論文 参考訳(メタデータ) (2022-08-08T12:29:55Z) - Semantic Representation and Dependency Learning for Multi-Label Image
Recognition [76.52120002993728]
本稿では,各カテゴリのカテゴリ固有のセマンティック表現を学習するための,新しい,効果的なセマンティック表現と依存性学習(SRDL)フレームワークを提案する。
具体的には,カテゴリー別注意領域(CAR)モジュールを設計し,チャネル/空間的注意行列を生成してモデルを導出する。
また、カテゴリ間のセマンティック依存を暗黙的に学習するオブジェクト消去(OE)モジュールを設計し、セマンティック認識領域を消去する。
論文 参考訳(メタデータ) (2022-04-08T00:55:15Z) - A Unified Architecture of Semantic Segmentation and Hierarchical
Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。
我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。
我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
論文 参考訳(メタデータ) (2021-12-08T22:06:31Z) - Context Decoupling Augmentation for Weakly Supervised Semantic
Segmentation [53.49821324597837]
微調整されたセマンティックセグメンテーションは、近年深く研究されている困難な問題です。
本稿では、オブジェクトが現れる固有のコンテキストを変更する Context Decoupling Augmentation (CDA) メソッドを紹介します。
提案手法の有効性を検証するため, PASCAL VOC 2012データセットにいくつかの代替ネットワークアーキテクチャを用いた広範な実験を行い, CDAが様々なWSSS手法を新たな最先端技術に拡張できることを実証した。
論文 参考訳(メタデータ) (2021-03-02T15:05:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。