論文の概要、ライセンス

# (参考訳) マルチラベルリモートセンシング画像検索のためのグラフ理論的深部表現学習法 [全文訳有]

A Novel Graph-Theoretic Deep Representation Learning Method for Multi-Label Remote Sensing Image Retrieval ( http://arxiv.org/abs/2106.00506v1 )

ライセンス: CC BY 4.0
Gencer Sumbul and Beg\"um Demir(参考訳) 本稿では,多層リモートセンシング(rs)画像検索問題におけるグラフ理論的深層表現学習手法を提案する。 提案手法は,アーカイブ内の各RS画像に関連する複数ラベルの共起関係を抽出し,活用することを目的としている。 この目的のために、各トレーニング画像は、まず、局所情報と関連する空間構造の両方を組み合わせた地域ベースの画像表現を提供するグラフ構造で表現される。 他のグラフベース手法とは異なり、提案手法は、アーカイブ内の各RS画像のグラフ構造を自動的に予測するディープニューラルネットワークをトレーニングするための新しい学習戦略を含む。 この戦略は、領域表現学習損失関数を用いて、そのマルチラベル共起関係に基づいて画像コンテンツを特徴付ける。 実験により,RSにおける検索問題に対する提案手法の有効性を,最先端の深層表現学習法と比較した。 提案手法のコードはhttps://git.tu-berli n.de/rsim/GT-DRL-CBI R で公開されている。

This paper presents a novel graph-theoretic deep representation learning method in the framework of multi-label remote sensing (RS) image retrieval problems. The proposed method aims to extract and exploit multi-label co-occurrence relationships associated to each RS image in the archive. To this end, each training image is initially represented with a graph structure that provides region-based image representation combining both local information and the related spatial organization. Unlike the other graph-based methods, the proposed method contains a novel learning strategy to train a deep neural network for automatically predicting a graph structure of each RS image in the archive. This strategy employs a region representation learning loss function to characterize the image content based on its multi-label co-occurrence relationship. Experimental results show the effectiveness of the proposed method for retrieval problems in RS compared to state-of-the-art deep representation learning methods. The code of the proposed method is publicly available at https://git.tu-berli n.de/rsim/GT-DRL-CBI R .
公開日: Tue, 1 Jun 2021 14:11:08 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
A NOVEL GRAPH-THEORETIC DEEP REPRESENTATION LEARNING METHOD FOR グラフ理論による新しい深層表現学習法 0.49
MULTI-LABEL REMOTE SENSING IMAGE RETRIEVAL 多層リモートセンシング画像検索装置 0.44
Faculty of Electrical Engineering and Computer Science, Technische Universit¨at Berlin, Germany ドイツ・ベルリン工科大学電気工学・計算機科学学部 0.71
Gencer Sumbul and Beg¨um Demir Gencer (複数形 Gencers) 0.32
1 2 0 2 n u J 1 2 0 2 n u J 0.85
1 ] V C . 1 ] 略称はC。 0.73
s c [ 1 v 6 0 5 0 0 sc [ 1 v 6 0 5 0 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
ABSTRACT This paper presents a novel graph-theoretic deep representation learning method in the framework of multi-label remote sensing (RS) image retrieval problems. ABSTRACT 本稿では,多層リモートセンシング(rs)画像検索問題におけるグラフ理論的深層表現学習手法を提案する。 0.81
The proposed method aims to extract and exploit multi-label co-occurrence relationships associated to each RS image in the archive. 提案手法は,アーカイブ内の各RS画像に関連する複数ラベルの共起関係を抽出し,活用することを目的としている。
訳抜け防止モード: 提案手法は アーカイブ内の各rs画像に関連付けられたマルチラベルco−出現関係を抽出・活用する。
0.66
To this end, each training image is initially represented with a graph structure that provides region-based image representation combining both local information and the related spatial organization. この目的のために、各トレーニング画像は、まず、局所情報と関連する空間構造の両方を組み合わせた地域ベースの画像表現を提供するグラフ構造で表現される。 0.71
Unlike the other graph-based methods, the proposed method contains a novel learning strategy to train a deep neural network for automatically predicting a graph structure of each RS image in the archive. 他のグラフベース手法とは異なり、提案手法は、アーカイブ内の各RS画像のグラフ構造を自動的に予測するディープニューラルネットワークをトレーニングするための新しい学習戦略を含む。 0.83
This strategy employs a region representation learning loss function to characterize the image content based on its multi-label co-occurrence relationship. この戦略は、領域表現学習損失関数を用いて、そのマルチラベル共起関係に基づいて画像コンテンツを特徴付ける。
訳抜け防止モード: この戦略は地域表現学習損失関数を用いる マルチラベルco−出現関係に基づいて画像コンテンツを特徴付ける。
0.87
Experimental results show the effectiveness of the proposed method for retrieval problems in RS compared to state-of-the-art deep representation learning methods. 実験により,RSにおける検索問題に対する提案手法の有効性を,最先端の深層表現学習法と比較した。 0.66
The code of the proposed method is publicly available at https: //git.tu-berlin.de/r sim/GT-DRL-CBIR. 提案手法のコードはhttps: //git.tu-berlin.de/r sim/GT-DRL-CBIRで公開されている。 0.45
Index Terms— Multi-label image retrieval, graph-theoretic Index Terms - マルチラベル画像検索、グラフ理論 0.74
representation learning, deep learning, remote sensing 表現学習、ディープラーニング、リモートセンシング 0.64
1. INTRODUCTION Multi-label content-based image retrieval (CBIR) methods aim to retrieve remote sensing (RS) images similar to a given query image by exploiting training images annotated by multi-labels. 1. 導入 CBIR(Multi-label Content-based Image Search)法は,マルチラベルで注釈付けされたトレーニング画像を利用して,所定のクエリ画像に似たリモートセンシング(RS)画像を検索することを目的としている。 0.64
Development of effective CBIR methods has recently attracted great attention in RS. 近年,効率的なCBIR法の開発が注目されている。 0.70
As an example, in [1] a sparse reconstruction-based multi-label RS image retrieval method that considers a measure of label likelihood is introduced. 例えば[1]では、ラベル可能性の尺度を考慮したスパース再構成に基づくマルチラベルRS画像検索法が導入された。 0.73
In [2], fully convolutional networks are introduced for multi-label RS images to extract descriptors of image regions in the content of CBIR. [2]では、CBIRの内容に含まれる画像領域の記述子を抽出するために、多ラベルRS画像に対して完全な畳み込みネットワークを導入する。
訳抜け防止モード: 2]では、マルチラベルrs画像に完全畳み込みネットワークが導入される cbirのコンテンツ中の画像領域の記述子を抽出する。
0.79
Recently, deep representation learning (DRL) methods based on a triplet loss function are found very popular for CBIR problems due to their intrinsic characteristic to model similarities of images. 近年,3重項損失関数に基づく深部表現学習(DRL)法は,画像のモデル類似性に固有の特徴があるため,CBIR問題に非常に人気がある。 0.87
These methods employ image triplets (each of which includes anchor, positive and negative images), aiming to learn a metric space where the distance between the positive and the anchor images is minimized while that between the negative and anchor これらの方法は、画像トリプレット(それぞれがアンカー、正、負のイメージを含む)を用いて、正のイメージとアンカーの間の距離が最小化された距離空間を学習することを目的としている。 0.69
images is maximized. 画像は最大化される。 0.60
In [3], triplet loss is employed with convolutional neural networks (CNN) to learn an embedding space for hash code generation of RS images. [3]では、三重項損失は畳み込みニューラルネットワーク(cnn)と共に、rs画像のハッシュコード生成のための埋め込み空間を学ぶために用いられる。
訳抜け防止モード: 3]では、三重項損失は畳み込みニューラルネットワーク(CNN)で使用される RS画像のハッシュコード生成のための埋め込み空間を学習する。
0.86
The use of triplet loss function requires an accurate selection of image triplets. 三重項損失関数の使用には、画像三重項の正確な選択が必要である。 0.61
A simple strategy is to define triplets from an existing training set of labeled images. 単純な戦略は、既存のラベル付き画像のトレーニングセットからトリプレットを定義することである。
訳抜け防止モード: 単純な戦略は ラベル付き画像の既存のトレーニングセットから三つ子を定義する。
0.78
However, such strategy does not guarantee the selection of the most informative images to the anchor, and thus can result in limited CBIR performance particularly when images annotated by multi-labels are available. しかし、このような戦略は、アンカーへの最も情報性の高い画像の選択を保証しないため、特にマルチラベルで注釈付けされた画像が利用できる場合にCBIR性能が制限される可能性がある。 0.61
In addition, the triplet selection based DLR methods do not take into account the co-occurrence relationships of landcover classes present in an RS image. さらに、3重項選択に基づくDLR法は、RS画像に存在するランドカバークラスの共起関係を考慮していない。 0.72
However, modeling these relationships is crucial for an accurate CBIR. しかし、これらの関係をモデル化することは正確なCBIRにとって重要である。 0.54
This problem can be addressed by using graphs, which capture both region characteristics and the spatial relationships among the regions. この問題は、領域の特性と領域間の空間的関係の両方をキャプチャするグラフを用いて解決することができる。 0.74
In [4], a semi-supervised graph-theoretic method is introduced to model inherent correlation of multi-labels by a correlated label propagation algorithm. 4]では,マルチラベルの固有相関を相関ラベル伝播アルゴリズムによりモデル化するために,半教師付きグラフ理論を導入する。 0.73
The performance of this approach depends on the hand-crafted features to represent each image region. このアプローチの性能は、各画像領域を表す手作りの特徴に依存する。 0.77
Recently, in [5] region graph-based image representations are utilized to model the similarity of image pairs via a siamese graph CNN in the context of DRL. 近年,[5]領域のグラフに基づく画像表現を用いて,DRLの文脈におけるシアムグラフCNNによる画像対の類似性をモデル化している。 0.80
This method learns a metric space based on only pairwise image similarities, which may not be sufficient to model the complex information content of RS images for CBIR problems. 本手法は,CBIR問題に対するRS画像の複雑な情報内容のモデル化には不十分な,対画像類似性のみに基づいて距離空間を学習する。 0.82
To address the above-mentioned issues, 上記の問題に対処する。 0.62
in this paper we propose a graph-theoretic deep representation learning method that does not require image pairs and triplets. 本稿では,画像ペアや三重項を必要としないグラフ理論の深層表現学習法を提案する。 0.78
The proposed method models multi-label co-occurrence relationships based on a novel region representation learning loss function. 提案手法は,新しい領域表現学習損失関数に基づく複数ラベル共起関係をモデル化する。 0.77
2. THE PROPOSED GRAPH-THEORETIC DEEP 2. The Propositioned Graph-theoretic Deep 0.65
REPRESENTATION LEARNING METHOD Let X ={x1, . 表現学習方法 X ={x1, とする。 0.64
. . , xI} be an archive that includes I images, where xj is the jth RS image in the archive X . . . xi} は i 画像を含むアーカイブであり、xj はアーカイブ x の jth rs 画像である。 0.78
We assume that a training set T ⊂ X that consists of labeled images is available. ラベル付き画像からなるトレーニングセット T > X が利用可能であると仮定する。 0.70
Each image in T is associated to pixel-based labels from a label set B = {l1, ..., lC}. T内の各画像は、ラベル集合B = {l1, ..., lC} から画素ベースのラベルに関連付けられる。 0.80
Let mi be the land-cover map of the image xi ∈ T (mi and xi have the same pixel sizes and thus each pixel in mi represents the label of the mi を像 xi ∈ t (mi と xi は同じピクセルサイズを持つ) の土地被覆写像とすると、mi の各ピクセルはそのラベルを表す。 0.76
英語(論文から抽出)日本語訳スコア
Fig. 1. Illustration of the proposed graph-theoretic deep representation learning method. フィギュア。 1. グラフ理論を用いた深層表現学習法の提案 0.63
corresponding pixel in xi). xi のピクセルに対応する)。 0.67
The set of all labels associated to xi are defined by a binary vector yi ∈ {0, 1}C, where each element of yi indicates the presence or absence of label ln ∈ B. xi に付随するすべてのラベルの集合は二元ベクトル yi ∈ {0, 1}c によって定義され、yi の各元はラベル ln ∈ b の有無を示す。 0.75
The proposed method aims to model co-occurrence relationship of multiple classes present in each image in the archive. 提案手法は,アーカイブ内の各画像に存在する複数クラスの共起関係をモデル化することを目的としている。
訳抜け防止モード: 提案手法は アーカイブ内の各イメージに存在する複数のクラスのco - 発生関係をモデル化する。
0.80
To this end, each training image xi is represented with a graph structure, which provides region-based image representation (where each region is associated with a landcover class). この目的のために、各訓練画像xiは、領域ベースの画像表現(各領域がランドカバークラスに関連付けられている)を提供するグラフ構造で表現される。 0.77
The proposed method includes a novel learning strategy to automatically predict the corresponding graph structure of any image in the archive, while describing the complex content of each image. 提案手法は、アーカイブ内の任意の画像の対応するグラフ構造を自動的に予測し、各画像の複雑な内容を記述する新しい学習戦略を含む。 0.83
To this end, we exploit a convolutional neural network (CNN). この目的のために、畳み込みニューラルネットワーク(CNN)を利用する。 0.70
However, the proposed learning strategy can be injected to any deep neural network. しかし、提案された学習戦略はどんな深層ニューラルネットワークにも注入できる。 0.78
Fig. 1 shows a general overview of the proposed method, which is explained in detail in the following. フィギュア。 1 では,提案手法の概要を概説する。 0.36
During training, to describe regions associated to classes present in each training image, the proposed method first constructs a graph structure, where the nodes represent the image region properties and the edges represent the spatial relationship among the regions. 学習中,各訓練画像に存在するクラスに関連する領域を記述するために,まず,ノードが画像領域特性を表し,エッジが領域間の空間関係を表すグラフ構造を構築する。 0.76
Let Gi = (Ei, Vi, Wi) be the graph associated to the image xi. Gi = (Ei, Vi, Wi) を像 xi に関連するグラフとする。 0.78
Ei is the set of graph edges, Vi is the set of nodes and Wi ∈ RC×C is the weight matrix of the graph. グラフエッジの集合、Vi はノードの集合、Wi ∈ RC×C はグラフの重み行列である。 0.61
Each node represents a region associated to a class of the image (i.e., ln ∈ yi). 各ノードは、画像のクラス(ln ∈ yi)に関連付けられた領域を表す。 0.75
The weight Wp,q between lp and lq Wp,q lpとlqWp,qの間の重量Wp,q 0.78
i = 1 if lp ∈ yi, lq ∈ yi, and otherwise Wp,q By this way, all the class relationships of xi are modeled with same importance. i = 1 if lp ∈ yi, lq ∈ yi, and else Wp,q このようにして、xi のすべてのクラス関係は同じ重要性でモデル化される。 0.92
However, class relationships can be subject to different levels of importance based on the characteristics of each region and its spatial relationship with the other regions. しかし,類縁関係は,各地域の特徴と他の地域との空間的関係に基いて,異なるレベルの重要度を受けることができる。 0.86
As an example, the relationships between an image region and its neighbors are more important than those between non-neighbor regions. 例えば、画像領域と隣接領域の間の関係は、非neighbor領域間の関係よりも重要である。 0.77
In detail, if two neighbor regions cover most of the image content, their relationship plays the most significant role for accurately modeling the multilabel co-occurrence relationship. 詳しくは、2つの隣接領域が画像内容の大部分をカバーしている場合、それらの関係は複数ラベルの共起関係を正確にモデル化する上で最も重要な役割を果たす。 0.62
To address this issue, we この問題に対処するために 0.66
i = 0. i define a weight for the edge Wp,q s(lp; mi) × s(lq; mi) i = 0。 私は エッジ Wp,q s(lp; mi) × s(lq; mi) に対してウェイトを定義する 0.68
i as follows: × (1 − d(lp, lq; mi) 私は × (1 − d(lp, lq; mi) 0.55
i ) Ns Nd i = 私は ) N Nd i = 0.77
Wp,q (1) where s : B (cid:55)→ N is a function that maps a class label into the size of the region associated to the class, d : B × B (cid:55)→ N is a function that maps the pairs of class labels into the distance between the centers of their regions associated to the corresponding classes. wp,q (1) ここで s : b (cid:55)→ n はクラスラベルをクラスに関連する領域のサイズに写像する関数、d : b × b (cid:55)→ n はクラスラベルのペアを対応するクラスに関連付けられた領域の中心間の距離にマッピングする関数である。 0.76
Ns and Nd are the maximum values of the functions s and d, respectively. Ns と Nd はそれぞれ関数 s と d の最大値である。 0.72
By this way, if the regions are close to each other and their sizes are large, the weights assigned to the corresponding edges in the graph Gi will be high. このようにして、各領域が互いに近接し、その大きさが大きければ、グラフ Gi の対応するエッジに割り当てられる重みは高い。 0.65
After obtaining a graph for each training image, the characteristics and spatial arrangements of image regions are represented with an adjacency matrix Ai ∈ RC×C where Ap,q i = Wp,q i and V q in the graph Gi, Ap,q 各トレーニング画像に対するグラフを得た後、画像領域の特性と空間配置は、グラフgi,ap,qqにおけるap,q i = wp,q i,vq の隣接行列 ai ∈ rc×c で表現される。 0.76
if an edge exists between the nodes V p ノード v p の間に辺が存在する場合 0.82
i = 0 otherwise. i = 0 である。 0.85
To model multi-label co-occurrence relationship of any image in the archive, the proposed learning strategy consists of region-based image representation learning and image characterization. アーカイブ内の画像の複数ラベル共起関係をモデル化するために,提案する学習戦略は,領域ベースの画像表現学習と画像キャラクタリゼーションから構成される。 0.76
Let φ : θ,X (cid:55)→ Rγ be any type of CNN that maps the image xi to γ-dimensional image descriptor, where θ is the set of CNN parameters. φ : θ, X (cid:55) → Rγ を像 xi を γ-次元画像記述子に写す CNN の任意の型とし、θ を CNN パラメータの集合とする。 0.89
The region-based image representation learning is achieved by the prediction of the adjacency matrix based on the image descriptor. 領域ベースの画像表現学習は、画像記述子に基づく隣接行列の予測により達成される。 0.72
To this end, the characterization of xi is performed based on the considered CNN to model the multi-label co-occurrence relationship of xi in the adjacency matrix Ai. この目的のために、隣接行列Aiにおけるxiのマルチラベル共起関係をモデル化するために、検討されたCNNに基づいてxiのキャラクタリゼーションを行う。
訳抜け防止モード: この目的のために、検討されたCNNに基づいてxiのキャラクタリゼーションを行う。 to model the multi- label co- occurrence relationship of xi in the adjacency matrix Ai。
0.72
The prediction of the adjacency matrix is achieved by a fully connected layer that takes the image descriptor φ(xi) and produces the vectorized form of the reconstructed adjacency matrix. 隣接行列の予測は、画像記述子 φ(xi) を取り、再構成された隣接行列のベクトル化形式を生成する完全連結層によって達成される。 0.66
To train the proposed method, we define a novel region representation learning loss LRRL function as follows: (Ap,q 提案手法を学習するために,新しい領域表現型学習損失LRRL関数を次のように定義する。 0.71
p,q)2 (cid:88) p,q)2。 (cid:88) 0.87
C(cid:88) C(cid:88) c(cid:88) c(cid:88) 0.81
i LRRL = xi∈T 私は LRRL = xi- + T 0.55
p=1 1=1 i − A∗ C 2 p=1。 1=1 i − A∗ C 2 0.68
i . (2) The proposed loss function allows to describe the content of 私は . (2) 提案する損失関数は、その内容を記述することができる 0.74
CNNRegion-Based Image RepresentationModeli ng Multi-Label Co-occurrence Relationships while Describing Image Content 複数ラベル共起関係を考慮したcnn領域に基づく画像表現モデル 0.52
英語(論文から抽出)日本語訳スコア
Table 1. Mean average precision (mAP) obtained for the DLRSD and BigEarthNet-S2 archives. 表1。 DLRSDとBigEarthNet-S2アーカイブで得られた平均平均精度(mAP)。 0.74
Benchmark Archive ベンチマークアーカイブ 0.72
BigEarthNet-S2 BigEarthNet-S2 0.47
Method SNN (random) [11] SNN (batch-all) [11] SNN (hard) [11] SGCN [5] Proposed Method 方法 SNN (random) [11] SNN (batch-all) [11] SNN (hard) [11] SGCN [5] Proposed Method 0.84
DLRSD 66.5% 68.0% 70.7% 70.1% 84.3% DLRSD 66.5% 68.0% 70.7% 70.1% 84.3% 0.64
83.9% 88.6% 88.3% 87.8% 92.1% 83.9% 88.6% 88.3% 87.8% 92.1% 0.62
an RS image based on the multi-label co-occurrence information to achieve the region-based image representation learning. 地域ベースの画像表現学習を実現するための多ラベル共起情報に基づくRS画像。 0.73
After an end-to-end training of the whole neural network by minimizing the region representation learning loss and thus learning the network parameters θ∗ = arg minθ LRRL, the proposed method extracts the descriptors {φ(xj; θ∗)} of the images in the archive X . 領域表現学習損失を最小化し、ネットワークパラメータ θ∗ = arg minθ lrrl を学習することにより、ニューラルネットワーク全体のエンドツーエンドトレーニングを行った後、提案手法はアーカイブx内の画像の記述子 {φ(xj; θ∗)} を抽出する。 0.81
To perform CBIR, the proposed method retrieves RS images from the archive similar to a given query image xq by comparing φ(xq) with each element of the set {φ(xj; θ∗)}. CBIRを実現するため,提案手法は, φ(xq) と集合 {φ(xj; θ∗)} の各要素を比較することにより, 所定のクエリ画像 xq と同様のアーカイブから RS 画像を取得する。 0.90
It is worth noting that the proposed method considers mi of xi ∈ T (i.e., pixel-level labels of training images) is available for the training phase. 提案手法は, xi ∈ T (トレーニング画像の画素レベルラベル) の mi をトレーニングフェーズで利用できると考えている点に注意が必要である。 0.76
In the case that training images are annotated by image-level multi-labels instead of pixel-level labels, mi can be obtained by using a weakly-supervised semantic segmentation that exploits only image-level annotations as explained in [6]. 訓練画像がピクセルレベルラベルではなく画像レベルマルチラベルによってアノテートされる場合、[6]で説明されているように画像レベルのアノテーションのみを利用する弱い教師付き意味セグメンテーションを用いてmiを得ることができる。 0.65
3. EXPERIMENTAL RESULTS Experiments were conducted on the DLRSD [7] and the BigEarthNet-S2 [8] benchmark archives. 3. 実験結果 DLRSD[7]とBigEarthNet-S2[8]ベンチマークアーカイブで実験を行った。 0.72
The DLRSD archive is the extension of the UC Merced archive [9] that includes 2,100 aerial images, each of which has the size of 256 × 256 pixels with a spatial resolution of 30 cm. DLRSDアーカイブは、2,100の空中画像を含むUC Mercedアーカイブ[9]の拡張であり、それぞれが256×256ピクセルで空間解像度は30cmである。 0.71
The DLRSD archive also includes pixel labels defined in [4]. DLRSDアーカイブには[4]で定義されたピクセルラベルも含まれている。 0.66
To perform experiments, we split the DLRSD archive into training (80%) and test (20%) sets. 実験を行うために,dlrsdアーカイブをトレーニング(80%)とテスト(20%)に分割した。
訳抜け防止モード: 実験を行う。 DLRSDアーカイブをトレーニング(80%)に分割しました。 and test ( 20 % ) set .
0.85
The large-scale BigEarthNet-S2 benchmark archive consists of 590,326 Sentinel-2 images. 大規模なBigEarthNet-S2ベンチマークアーカイブは590,326のSentinel-2イメージで構成されている。 0.44
Each image in BigEarthNet-S2 has been annotated with multilabels from the 2018 CORINE Land Cover (CLC) database. BigEarthNet-S2の各画像は、2018年のCORINE Land Cover (CLC)データベースのマルチラベルで注釈付けされている。 0.62
In this paper, we first extracted the CLC land cover map of each image and then exploited it based on the 19 classes nomenclature presented in [10]. 本稿ではまず,各画像のCLCランドカバーマップを抽出し,[10]に示す19種類の命名法に基づいて利用した。 0.71
To perform experiments, we first selected the 74,716 BigEarthNet-S2 images acquired over Serbia and then divided them into training (52%), validation (24%) and test (24%) sets. まず,セルビアで取得した74,716のbigearthnet-s2画像を選択し,トレーニング(52%),検証(24%),テスト(24%)に分類した。 0.68
To select query images, the training set of the DLRSD archive and the validation set of the BigEarthNet-S2 archive were used, while images were retrieved from the test set for both archives. DLRSDアーカイブのトレーニングセットとBigEarthNet-S2アーカイブの検証セットを使用して、両方のアーカイブのテストセットから画像を取得する。
訳抜け防止モード: dlrsdアーカイブのトレーニングセットであるクエリイメージを選択する そして、bigearthnet - s2アーカイブの検証セットが使用された。 画像は両方のアーカイブのテストセットから取り出されました。
0.73
In the experiments, we exploited the DenseNet model [12] at the depth of 121. 実験では,DenseNetモデル[12]を深さ121で利用した。 0.71
We trained our method for 100 epochs by using the Adam optimizer. 我々はアダムオプティマイザを用いて100エポックの手法を訓練した。 0.59
We compared our method with 私たちは方法と比較した 0.69
siamese neural networks (SNNs) trained with triplet loss [11] and siamese graph convolution network (SGCN) trained with contrastive loss [5]. siamese neural networks (snns) は三重項損失 [11] と siamese graph convolution network (sgcn) で訓練され、コントラスト損失 [5] で訓練された。 0.79
For SNN, we utilized random, batchall and hard sampling techniques in the experiments. SNNでは,ランダム,バッチ,ハードサンプリングの手法を用いて実験を行った。 0.73
The results are denoted as SNN (random), SNN (batch-all) and SNN (hard). 結果はSNN(ランダム)、SNN(バッチオール)、SNN(ハード)と表記される。 0.82
The reader is referred to [13] for the details of these techniques. 読者はこれらの技術の詳細について[13]に言及する。 0.73
The same training procedure and the same backbone with the proposed method were used for all experiments. 提案手法と同一のトレーニング手順と同一のバックボーンを全ての実験に使用した。 0.79
For SGCN, we employed the same graph formation and parameter values given in [5]. SGCNでは, [5] で与えられたグラフの生成とパラメータ値が同じである。 0.75
To obtain CBIR results, chi-square distance is utilized to compare image descriptors. CBIR結果を得るには、チ二乗距離を用いて画像記述子を比較する。 0.64
Experimental results are provided in terms of normalized discounted cumulative gains (NDCG), mean average precision (mAP) and average cumulative gains (ACG) [14]. 実験結果は、正規化割引累積ゲイン(NDCG)、平均平均精度(mAP)、平均累積ゲイン(ACG)[14]で提供される。 0.65
Table 1 shows the mAP results obtained on both archives. 表1は、両方のアーカイブで得られたmAP結果を示す。 0.69
By assessing the table, one can observe that the proposed method leads to the highest mAP scores compared to the SNN with all types of sampling techniques and SGCN. このテーブルを評価することにより,提案手法が全てのサンプリング手法とsgcnを用いたsnnと比較して最も高いマップスコアが得られることを観察できる。 0.70
As an example, the proposed method provides almost 18% higher and more than 8% higher mAP scores for DLRSD and BigEarthNet-S2 archives, respectively, compared to the SNN (random). 提案手法は, DLRSD と BigEarthNet-S2 のアーカイブに対して, SNN (random) と比較して約18%高い mAP スコアと8%以上のmAPスコアを提供する。 0.71
This shows that modeling multi-label co-occurrence of an RS image by the proposed method improves the CBIR performance compared to the SNN, in which multi-label dependencies present in an image have not been considered. 提案手法により,RS画像のマルチラベル共起をモデル化することで,画像に存在するマルチラベル依存が考慮されていないSNNと比較してCBIR性能が向上することを示す。 0.78
As an other example, the proposed method provides almost 14% higher mAP score for the DLRSD archive compared to the SNN (hard). 別の例として、提案手法は、SNN(hard)と比較して、DLRSDアーカイブに対して約14%高いmAPスコアを提供する。 0.63
In addition, the proposed method leads to more than 14% higher and almost 5% higher mAP scores for DLRSD and BigEarthNet-S2 archives, respectively, compared to the SGCN, which is one of the state-of-the-art graph-based DRL methods for CBIR. さらに、提案手法は、CBIRの最先端グラフベースDRL法であるSGCNと比較して、DLRSDとBigEarthNet-S2アーカイブのmAPスコアが14%以上高く、約5%高くなる。
訳抜け防止モード: さらに,提案手法はDLRSDに対して14 %以上,約5 %以上のmAPスコアをもたらす。 BigEarthNet - S2アーカイブは、それぞれSGCNと比較している。 これはCBIRのための---アートグラフ-ベースのDRLメソッドの1つです。
0.65
These results show that, without a need for pair or triplet selection, the proposed method characterizes the image similarity much more accurately compared to the triplet and contrastive loss based DRL methods. これらの結果から,提案手法は,対選択や三重項選択を必要とせず,三重項およびコントラスト損失法に比べて画像類似性をはるかに正確に特徴付ける。 0.81
Fig 2 shows the mAP, ACG and NDCG results for the DLRSD archive under different numbers of retrieved images. 図2は、DLRSDアーカイブのmAP、ACG、NDCGの結果を異なる数の検索画像で表示する。 0.73
By analyzing the figure, one can see that increasing the number of retrieved images does not change our conclusion. 図を解析することで、検索した画像の数が増加すると結論が変わらないことが分かる。 0.79
As an example, the proposed method outperforms SCNN and SGCN by almost 20% in NDCG for the DLRSD archive when the number of retrieved images is 100. 提案手法は,検索した画像の数が100である場合,DLRSDアーカイブのNDCGにおいてSCNNとSGCNを約20%上回っている。 0.79
It is worth noting that the promising CBIR performance of our method relies on: i) accurately predicting the graph structures of images in the archive; and ii) defining image descriptors based on the co-occurrence relationship of land-cover classes present in each image. 提案手法の有望なCBIR性能は,アーカイブ内の画像のグラフ構造を正確に予測すること,および各画像に存在する土地被覆クラスの共起関係に基づいて画像記述子を定義することに依存することに注意する必要がある。 0.85
4. CONCLUSION In this paper, we have presented a novel graph-theoretic deep representation learning method for multi-label RS image retrieval problems. 4. 結論 本稿では,多ラベルRS画像検索問題に対するグラフ理論の深部表現学習手法を提案する。 0.70
The effectiveness of our method relies on the efficient use of a novel learning strategy that contains a region representation learning loss function (which allows 本手法の有効性は,領域表現型学習損失関数を含む新しい学習戦略を効果的に活用することに依存する。 0.79
英語(論文から抽出)日本語訳スコア
(a) (b) (c) (a) (b) (c) 0.85
Fig. 2. (a) Mean average precision (mAP); (b) Average cumulative gains (ACG) and (c) Normalized discounted cumulative gains (NDCG) versus the number of retrieved images obtained for the DLRSD archive. フィギュア。 2. (a)平均精度(map)、(b)平均累積ゲイン(acg)、(c)正規化ディスカウント累積ゲイン(ndcg)、dlrsdアーカイブで得られた検索画像数。
訳抜け防止モード: フィギュア。 2. (a)平均平均精度(mAP)、(b)平均累積利得(ACG) and (c ) normalized discounted cumulative gains (NDCG) vs the retrieveed image obtained for the DLRSD Archive。
0.67
to model an RS image content based on the multi-label cooccurrence relationships). マルチラベル共起関係に基づくRS画像の内容のモデル化)。 0.66
Experimental results show the success of the proposed method compared to state-of-art deep representation learning methods. 実験により,最先端の深層表現学習法と比較して,提案手法が成功したことを示す。 0.64
It is worth noting that the proposed method requires training images annotated by pixel-level labels. 提案手法では,ピクセルレベルラベルでアノテートされた画像をトレーニングする必要がある。 0.65
Such class labels can be attained through publicly available thematic products. このようなクラスラベルは、公開可能なテーマ製品を通じて達成することができる。 0.54
However, class labels available through the thematic products can be noisy (incomplete, outdated, etc. しかし、テーマ商品を通じて利用可能なクラスラベルは、ノイズ(不完全、時代遅れなど)になりうる。 0.57
), and thus their direct use may result in an uncertainty in the DL models and thus uncertainty in the CBIR performance. その結果, DLモデルに不確実性が生じ, CBIR性能に不確実性が生じる可能性が示唆された。 0.65
As a future work, we plan to develop label-noise robust graph-theoretic deep representation learning methods. 今後の研究として,ラベル雑音のロバストなグラフ理論的深層表現学習手法の開発を計画する。 0.56
5. ACKNOWLEDGEMENTS 5. ACKNOWLEDGements 0.79
This work was supported by the European Research Council under the ERC Starting Grant BigEarth-759764. この研究は欧州研究評議会(ECC starting Grant BigEarth-759764)が支援した。 0.75
6. REFERENCES [1] O. E. Dai, B. Demir, B. Sankur, and L. Bruzzone, “A novel system for content-based retrieval of single and multi-label highdimensional remote sensing images,” IEEE J. Sel. 6. 参考 O.E. Dai, B. Demir, B. Sankur, L. Bruzzoneは、“シングルおよびマルチラベルの高次元リモートセンシング画像のコンテンツベース検索のための新しいシステム”だ、とIEEE J. Selは語る。 0.68
Top. Appl. Earth Obs. トップ。 アプリ。 地球服。 0.56
Remote Sens., vol. リモートセンス、vol. 0.53
11, no. 7, pp. 11時11分 7, pp。 0.60
2473–2490, 2018. 2473–2490, 2018. 0.84
[2] Z. Shao, W. Zhou, X. Deng, M. Zhang, and Q. Cheng, “Multilabel remote sensing image retrieval based on fully convolutional network,” IEEE J. Sel. Z. Shao, W. Zhou, X. Deng, M. Zhang, Q. Cheng, “Multilabelのリモートセンシング画像検索は完全な畳み込みネットワークをベースとしている”、とIEEE J. Selは語る。
訳抜け防止モード: [2 ]Z. Shao, W. Zhou, X. Deng, M. Zhang, Q. Cheng, “完全な畳み込みネットワークに基づくマルチラベルリモートセンシング画像検索”。 IEEE J. Sel を参照。
0.84
Top. Appl. Earth Obs. トップ。 アプリ。 地球服。 0.56
Remote Sens., vol. リモートセンス、vol. 0.53
13, pp. 318–328, 2020. 13、p。 318–328, 2020. 0.73
[3] S. Roy, E. Sangineto, B. Demir, and N. Sebe, [3] s. roy, e. sangineto, b. demir, n. sebe 0.77
“Metriclearning-based deep hashing network for content-based retrieval of remote sensing images,” IEEE Geosci. IEEE Geosciは、“リモートセンシング画像のコンテンツに基づく検索のためのメトリックラーニングベースのディープハッシュネットワーク”だ。 0.65
Remote Sens. リモートセンシング。 0.66
Lett., vol. Lett., vol. 0.85
18, no. 2, pp. 18 だめだ 2、p。 0.57
226–230, 2021. 226–230, 2021. 0.84
[4] B. Chaudhuri, B. Demir, S. Chaudhuri, and L. Bruzzone, “Multilabel remote sensing image retrieval using a semisupervised graph-theoretic method,” IEEE Trans. B. Chaudhuri, B. Demir, S. Chaudhuri, L. Bruzzone, “Multilabel remote sensor image retrieve using a semisupervised graph-theoretic method”, IEEE Trans。 0.79
Geosci. Remote Sens., vol. 地理学。 リモートセンス、vol. 0.54
56, no. 2, pp. 1144–1158, 2018. 56だ 2、p。 1144–1158, 2018. 0.62
[5] U. Chaudhuri, B. Banerjee, and A. Bhattacharya, “Siamese graph convolutional network for content based remote sensing image retrieval,” Comput. U. Chaudhuri, B. Banerjee, A. Bhattacharya, “Siamese graph convolutional network for content based remote sensor image retrieve”[5] Comput.com(英語) 0.84
Vis. Image Understand., vol. Vis Image Understand., vol. 0.68
184, pp. 22–30, 2019. 184, pp。 22–30, 2019. 0.82
[6] L. Chan, M. S. Hosseini, and K. N. Plataniotis, “A comprehensive analysis of weakly-supervised semantic segmentation in different image domains,” Int. 6] L. Chan, M. S. Hosseini, K. N. Plataniotis, “画像領域における弱教師付きセマンティックセグメンテーションの包括的分析”。 0.78
J. Comput. Vis., 2020. J.Comput 2020年。 0.63
[7] Z. Shao, K. Yang, and W. Zhou, “Performance evaluation of single-label and multi-label remote sensing image retrieval using a dense labeling dataset,” Remote Sens., vol. [7]Z. Shao,K. Yang,W. Zhou, “高密度ラベル付けデータセットを用いたシングルラベルおよびマルチラベルリモートセンシング画像検索の性能評価”。 0.70
10, no. 6:964, 2018. 10だ 6:964, 2018. 0.61
[8] G. Sumbul, M. Charfuelan, B. Demir, and V. Markl, “BigEarthNet: A large-scale benchmark archive for remote IEEE Intl. 8] g. sumbul, m. charfuelan, b. demir, v. markl, “bigearthnet: a large-scale benchmark archive for remote ieee intl”。 0.82
Geosci. Remote sensing image understanding,” Sens. 地理学。 リモートセンシング画像の理解”。 0.56
Symp., pp. 5901–5904, 2019. 同上、p.。 5901–5904, 2019. 0.73
[9] Y. Yang and S. Newsam, “Geographic image retrieval using local invariant features,” IEEE Trans. IEEE Trans.[9] Y. Yang, S. Newsam, “Geographic image search using local invariant features, IEEE Trans。 0.82
Geosci. Remote Sens., vol. 地理学。 リモートセンス、vol. 0.54
51, no. 2, pp. 818–832, 2013. 51だ 2、p。 818–832, 2013. 0.62
[10] G. Sumbul, A. d. Wall, T. Kreuziger, F. Marcelino, H. Costa, P. Benevides, M. Caetano, B. Demir, and V. Markl, “BigEarthNet-MM: A large scale multi-modal multi-label benchmark archive for remote sensing image classification and retrieval,” arXiv preprint arXiv:2105.07921, 2021. G. Sumbul, A. d. Wall, T. Kreuziger, F. Marcelino, H. Costa, P. Benevides, M. Caetano, B. Demir, and V. Markl, “BigEarthNet-MM: A large scale multi-modal multi-label benchmark archive for remote sensor image classification and acquisition” arXiv preprint arXiv:2105.07921, 2021”。 0.88
[11] Florian S., Dmitry K., and James P., “Facenet: A unified embedding for face recognition and clustering,” in IEEE Conf. Florian S., Dmitry K., James P., “Facenet: A unified embeddedding for face recognition and clustering”. IEEE Conf.com.com.com.com (英語) 0.86
Comput. Vis. Comput Vis 0.50
Pattern Recog., 2015, pp. 原書、2015年、p.。 0.34
815–823. [12] G. Huang, Z. Liu, L. v. d. Maaten, and K. Q. Weinberger, “Densely connected convolutional networks,” in IEEE Conf. 815–823. 12] g. huang、z. liu、l. v. d. maaten、k. q. weinberger、ieee confの“densely connected convolutional networks”。
訳抜け防止モード: 815–823. [12 ]G. Huang, Z. Liu, L. v. d. Maaten. そしてK.Q. Weinberger氏はIEEE Confで“Densely connected convolutional network, .”と評した。
0.72
Comput. Vis. Comput Vis 0.50
Pattern Recog., 2017, pp. 岩手、2017年、p.。 0.45
2261–2269. 2261–2269. 0.71
[13] A. Hermans, L. Beyer, and B. Leibe, 13] A. Hermans, L. Beyer, B. Leibe 0.79
Triplet Loss for Person Re-Identification,” arXiv:1703.07737, 2017. Triplet Loss for Person Re-Identification”. arXiv:1703.07737, 2017 0.79
“In Defense of the arXiv preprint 『arXiv プレプリントの防衛』 0.48
[14] Z. Zhang, Q. Zou, Y. Lin, L. Chen, and S. Wang, “Improved deep hashing with soft pairwise similarity for multi-label image retrieval,” IEEE Trans. 14] zhang, q. zou, y. lin, l. chen, s. wang, “マルチラベル画像検索のためのソフトペアワイズな類似性を備えたディープハッシュを改善した”、とieee transは述べている。
訳抜け防止モード: [14 ]Z. Zhang, Q. Zou, Y. Lin, L. Chen, S. Wang, “Multi- label image retrieve, IEEE Transでは、ソフトなペアの類似性によってディープハッシュを改善した。
0.73
Multimedia, vol. マルチメディア、Vol。 0.68
22, no. 2, pp. 540–553, 2020. 22歳。 2、p。 540–553, 2020. 0.63
         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。