論文の概要: Semantic Similarity Score for Measuring Visual Similarity at Semantic Level
- arxiv url: http://arxiv.org/abs/2406.03865v2
- Date: Wed, 10 Jul 2024 04:34:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 20:50:13.016681
- Title: Semantic Similarity Score for Measuring Visual Similarity at Semantic Level
- Title（参考訳）: 意味レベルでの視覚的類似度測定のための意味的類似度スコア
- Authors: Senran Fan, Zhicheng Bao, Chen Dong, Haotai Liang, Xiaodong Xu, Ping Zhang,
- Abstract要約: シーングラフ生成とグラフマッチングに基づくセマンティック類似度スコア(Semantic similarity Score)のセマンティック評価指標を提案する。
このメトリクスは、画像の意味レベル情報のセマンティックレベルの違いを測定することができ、視覚的意味コミュニケーションシステムにおける評価に使用できる。
- 参考スコア（独自算出の注目度）: 5.867765921443141
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Semantic communication, as a revolutionary communication architecture, is considered a promising novel communication paradigm. Unlike traditional symbol-based error-free communication systems, semantic-based visual communication systems extract, compress, transmit, and reconstruct images at the semantic level. However, widely used image similarity evaluation metrics, whether pixel-based MSE or PSNR or structure-based MS-SSIM, struggle to accurately measure the loss of semantic-level information of the source during system transmission. This presents challenges in evaluating the performance of visual semantic communication systems, especially when comparing them with traditional communication systems. To address this, we propose a semantic evaluation metric -- SeSS (Semantic Similarity Score), based on Scene Graph Generation and graph matching, which shifts the similarity scores between images into semantic-level graph matching scores. Meanwhile, semantic similarity scores for tens of thousands of image pairs are manually annotated to fine-tune the hyperparameters in the graph matching algorithm, aligning the metric more closely with human semantic perception. The performance of the SeSS is tested on different datasets, including (1)images transmitted by traditional and semantic communication systems at different compression rates, (2)images transmitted by traditional and semantic communication systems at different signal-to-noise ratios, (3)images generated by large-scale model with different noise levels introduced, and (4)cases of images subjected to certain special transformations. The experiments demonstrate the effectiveness of SeSS, indicating that the metric can measure the semantic-level differences in semantic-level information of images and can be used for evaluation in visual semantic communication systems.
- Abstract（参考訳）: セマンティックコミュニケーションは、革命的なコミュニケーションアーキテクチャとして、有望な新しいコミュニケーションパラダイムと考えられている。
従来のシンボルベースのエラーのない通信システムとは異なり、意味に基づく視覚コミュニケーションシステムは意味レベルで画像を抽出し、圧縮し、送信し、再構成する。
しかし、画素ベースのMSEやPSNR、構造ベースのMS-SSIMといった画像類似性評価指標は、システム送信時のソースの意味レベル情報の損失を正確に測定するのに苦労する。
これにより,視覚的意味コミュニケーションシステムの性能評価,特に従来のコミュニケーションシステムと比較する際の課題が提示される。
そこで本研究では,Scene Graph Generationとグラフマッチングに基づくセマンティックな評価指標-SeSS(Semantic similarity Score)を提案し,画像間の類似度スコアをセマンティックレベルのグラフマッチングスコアに変換する。
一方、数万の画像対のセマンティック類似度スコアは、グラフマッチングアルゴリズムにおいてハイパーパラメータを微調整するために手動で注釈付けされ、メトリックは人間のセマンティック認識とより密に一致している。
本研究では,(1)圧縮速度の異なる従来の意味コミュニケーションシステムで伝送される画像,(2)信号対雑音比の異なる意味コミュニケーションシステムで伝送される画像,(3)雑音レベルの異なる大規模モデルで生成される画像,(4)特定の特殊な変換を受ける画像のケースなどを用いて,SESSの性能を検証した。
本実験は,SeSSの有効性を実証し,画像の意味レベル情報のセマンティックレベルの差異を計測し,視覚的意味コミュニケーションシステムにおける評価に利用できることを示す。
関連論文リスト
- Image Generative Semantic Communication with Multi-Modal Similarity Estimation for Resource-Limited Networks [2.2997117992292764]
本研究では,多様な意味情報を利用して効率的な意味コミュニケーションを行うマルチモーダル画像伝送手法を提案する。
提案手法は,画像からマルチモーダルな意味情報を抽出し,その情報のみを送信する。
受信機は画像生成モデルを用いて複数の画像を生成し、意味的類似性に基づいて出力を選択する。
論文 参考訳（メタデータ） (2024-04-17T11:42:39Z) - Reasoning with the Theory of Mind for Pragmatic Semantic Communication [62.87895431431273]
本稿では,実用的な意味コミュニケーションフレームワークを提案する。
2つの知性エージェント間の効果的な目標指向情報共有を可能にする。
数値的な評価は、少ないビット量で効率的な通信を実現するためのフレームワークの能力を示している。
論文 参考訳（メタデータ） (2023-11-30T03:36:19Z) - How to Evaluate Semantic Communications for Images with ViTScore Metric? [18.657768058678375]
視覚変換器スコア(ViTScore)という画像意味的類似性を評価するための新しい指標を提案する。
ViTScoreには対称性、有界性、正規化の3つの重要な特性があり、画像測定に便利で直感的である。
画像のセマンティックな類似性を評価する上で,ViTScoreは堅牢で効率的であることを示す。
論文 参考訳（メタデータ） (2023-09-09T23:03:50Z) - Positive-Augmented Contrastive Learning for Image and Video Captioning
Evaluation [47.40949434032489]
画像キャプションのための新しいコントラストベース評価指標,すなわち肯定的拡張コントラスト学習スコア(PAC-S)を提案する。
PAC-Sは、生成した画像とキュレートされたデータにテキストを追加することで、対照的な視覚的意味空間の学習を統一する。
複数のデータセットにまたがる実験により、私たちの新しい測定基準は、画像とビデオの両方で人間の判断と最も高い相関を達成できることが示された。
論文 参考訳（メタデータ） (2023-03-21T18:03:14Z) - Cognitive Semantic Communication Systems Driven by Knowledge Graph:
Principle, Implementation, and Performance Evaluation [74.38561925376996]
単一ユーザと複数ユーザのコミュニケーションシナリオに対して,認知意味コミュニケーションフレームワークが2つ提案されている。
知識グラフから推論規則をマイニングすることにより,効果的な意味補正アルゴリズムを提案する。
マルチユーザ認知型セマンティックコミュニケーションシステムにおいて,異なるユーザのメッセージを識別するために,メッセージ復元アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-15T12:01:43Z) - Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。
現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。
GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
論文 参考訳（メタデータ） (2022-11-14T11:41:44Z) - Vector Quantized Semantic Communication System [22.579525825992416]
我々は,VQ-DeepSCという画像伝送のための深層学習可能なベクトル量子化(VQ)セマンティック通信システムを開発した。
具体的には、画像のマルチスケールな意味的特徴を抽出し、マルチスケールな意味的埋め込み空間を導入するCNNベースのトランシーバを提案する。
我々は、PatchGAN識別器を導入して、受信画像の品質を向上させるために、敵対訓練を実践する。
論文 参考訳（メタデータ） (2022-09-23T10:58:23Z) - Towards Semantic Communications: Deep Learning-Based Image Semantic
Coding [42.453963827153856]
我々は,よりセマンティクスや帯域幅に敏感な画像データに対するセマンティクス通信を考案した。
画素レベルを超えて画像を符号化する強化学習に基づく適応意味符号化(RL-ASC)手法を提案する。
実験の結果,提案したRL-ASCはノイズ耐性があり,視覚的に快適でセマンティックな一貫した画像の再構成が可能であった。
論文 参考訳（メタデータ） (2022-08-08T12:29:55Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳（メタデータ） (2022-06-30T18:31:51Z) - Wireless Transmission of Images With The Assistance of Multi-level
Semantic Information [16.640928669609934]
MLSCイメージ(MLSC-image)は、無線画像伝送のためのマルチレベルセマンティックアウェアメント通信システムである。
テキストセマンティクスをキャプチャするために事前訓練された画像キャプションと、そのセマンティクスを得るために事前訓練された画像セマンティクスモデルを用いる。
提案した意味コミュニケーションシステムの有効性と効率を数値計算により検証した。
論文 参考訳（メタデータ） (2022-02-08T16:25:26Z) - Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。
画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
論文 参考訳（メタデータ） (2021-09-22T18:34:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。