論文の概要、ライセンス

# (参考訳) 協調物体検出におけるパケット損失の遅延空間インペインティング [全文訳有]

Latent-Space Inpainting for Packet Loss Concealment in Collaborative Object Detection ( http://arxiv.org/abs/2102.00142v1 )

ライセンス: CC BY 4.0
Ivan V. Baji\'c(参考訳) カメラや移動機などのエッジデバイスは、従来の信号の感知と通信の任務に加えて、高度な計算を行う能力が増している。 本論文では,入力画像からエッジデバイス上で計算された深い特徴をクラウドに送信し,さらに処理を行う協調オブジェクト検出に焦点をあてる。 パケット損失が送信した特徴に与える影響を考察し、欠落したデータを回復する方法をいくつか検討する。 特に, 理論と実験により, 偏微分方程式に基づく画像インペインティング手法が潜在空間における欠落特徴の回復に有効であることを示す。 得られた結果は,協調物体検出におけるデータ回復の欠如に関する新たな技術である。

Edge devices, such as cameras and mobile units, are increasingly capable of performing sophisticated computation in addition to their traditional roles in sensing and communicating signals. The focus of this paper is on collaborative object detection, where deep features computed on the edge device from input images are transmitted to the cloud for further processing. We consider the impact of packet loss on the transmitted features and examine several ways for recovering the missing data. In particular, through theory and experiments, we show that methods for image inpainting based on partial differential equations work well for the recovery of missing features in the latent space. The obtained results represent the new state of the art for missing data recovery in collaborative object detection.
公開日: Sat, 30 Jan 2021 03:32:19 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Extended version of the paper “Latent Space Inpainting for Loss-Resilient Collaborative Object Detection,” to be presented at ロスレジリエント・コラボレーティブ・オブジェクト検出のためのLatent Space Inpainting」論文の拡張版が紹介される。 0.72
the IEEE International Conference on Communications (ICC), Montreal, Canada, June 14-23, 2021. IEEE国際通信会議(ICC)、モントリオール、カナダ、2021年6月14-23日。 0.76
Latent-Space Inpainting for Packet Loss パケットロスの遅延空間インペインティング 0.62
Concealment in Collaborative Object Detection 協調物体検出における隠蔽 0.69
1 2 0 2 n a J 1 2 0 2 n a J 0.85
0 3 ] V C . 0 3 ] V C。 0.81
s c [ 1 v 2 4 1 0 0 sc [ 1 v 2 4 1 0 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Ivan V. Baji´c Ivan V. Baji 。 0.75
School of Engineering Science Simon Fraser University Burnaby, BC, Canada 工学部 Simon Fraser University Burnaby, BC, Canada (英語) 0.57
Abstract Edge devices, such as cameras and mobile units, are increasingly capable of performing sophisticated com- 概要 カメラやモバイル機器などのエッジデバイスは、ますます高度なコンプリートを実行できます。 0.51
putation in addition to their traditional roles in sensing and communicating signals. 信号を感知し、伝達する従来の役割に加えて置くこと。 0.66
The focus of this paper is on collaborative object detection, where deep features computed on the edge device from input images are transmitted この論文の焦点は 入力画像からエッジデバイス上で計算された深い特徴を伝達する協調オブジェクト検出 0.69
to the cloud for further processing. さらなる処理のためにクラウドへ。 0.70
We consider the impact of packet loss on the transmitted features and examine パケット損失が伝送特性に与える影響を考慮し,検討する。 0.75
several ways for recovering the missing data. 行方不明のデータを回復する方法がいくつかあります 0.55
In particular, through theory and experiments, we show that methods 特に、理論と実験を通して、我々は、方法を示す。 0.74
for image inpainting based on partial differential equations work well for the recovery of missing features in the 偏微分方程式に基づく画像の塗り絵は、欠落した特徴の回復に有効である 0.83
latent space. The obtained results represent the new state of the art for missing data recovery in collaborative object 潜在空間。 得られた結果は,協調オブジェクトにおけるデータ復元の新たな技術である。 0.73
detection. Collaborative object detection, collaborative intelligence, latent space, missing data recovery, loss resilience 検出 コラボレーティブなオブジェクト検出、コラボレーティブなインテリジェンス、潜在空間、データ回復の欠如、レジリエンス 0.59
Index Terms I. INTRODUCTION In video surveillance and monitoring systems, input video is usually sent to the cloud for temporary 索引項 私。 導入 ビデオ監視・監視システムでは,入力映像は通常,一時的にクラウドに送信される 0.65
storage or further visual analysis. 記憶またはさらなる視覚分析。 0.69
With the emergence of “smart cameras,” simpler forms of visual analysis スマートカメラ」の登場により、よりシンプルな視覚分析が可能に 0.80
can now be performed on-board, without the need to incur costs related to video transmission to the ビデオ伝送に関連するコストを負担することなく、オンボードで実行できるようになりました。 0.64
cloud or potential privacy breaches. クラウドや 潜在的なプライバシー侵害です 0.68
Still, computational resources available in the cloud far outmatch それでもクラウドで利用可能な計算資源は 0.76
those available at the edge, enabling much more sophisticated analysis in the cloud compared to what is エッジで利用できるもので、クラウドでより洗練された分析を可能にします 0.71
possible in edge devices. エッジデバイスで可能。 0.56
This work was supported in part by the Natural Sciences and Engineering Research Council (NSERC) of Canada. この研究はカナダのNature Sciences and Engineering Research Council(NSERC)によって支援された。 0.78
英語(論文から抽出)日本語訳スコア
Fig. 1. Collaborative intelligence over a lossy channel フィギュア。 1. 損失チャネル上の協調的インテリジェンス 0.67
In between the two extremes mentioned above – cloud-based and edge-based analytics – stands col- 上記の2つの極端 - クラウドベースとエッジベースの分析 - の間にある。 0.64
laborative intelligence (CI) [1]–[3], a framework in which a machine learning model, usually a deep 研究知性(CI)[1]-[3] 機械学習モデル、通常深い枠組み 0.46
model, is split between the edge and the cloud. モデルは、エッジとクラウドの間で分割されます。 0.72
The front-end of the model is deployed at the edge and モデルのフロントエンドはエッジにデプロイされ、そして 0.83
computes intermediate features, which are sent to the back-end in the cloud to complete the inference 推論を完了させるためにクラウドのバックエンドに送信される中間機能を計算する 0.82
task, as shown in Fig. 図に示すように、タスク。 0.62
1. The CI approach has shown potential for better energy efficiency and lower 1. CIアプローチはエネルギー効率と低エネルギー化の可能性を示している 0.81
latency compared to cloud-based or edge-based analytics [1]. 遅延は、クラウドベースまたはエッジベースの分析と比較します[1]。 0.56
Moreover, CI is better suited to privacy さらに、CIはプライバシーに適している 0.66
protection than the cloud-based approach, because the original input signal never leaves the edge device 元々の入力信号がエッジデバイスを離れないため、クラウドベースのアプローチよりも保護される 0.77
– only the intermediate features are sent to the cloud. 中間機能だけがクラウドに送信されます。 0.61
To make efficient use of the communication channel in CI, intermediate features need to be compressed. CIにおける通信チャネルを効率的に利用するには、中間機能を圧縮する必要がある。 0.78
There has been increasing interest in feature compression recently, both in the academic [4]–[12] and 近年,[4]–[12]と[12]の両方で特徴圧縮への関心が高まっている。 0.66
standardization community [13]. 標準化コミュニティ [13] 0.75
Our focus here is on another aspect of the communication channel, ここでの焦点は、コミュニケーションチャネルの別の側面です。 0.80
namely its imperfections. At the network/transport layer, channel imperfections will manifest themselves その不完全さです ネットワーク/トランスポート層では、チャネルの欠陥が現れる。 0.57
as packet loss, leading to missing feature values. パケット損失として 特徴値の欠落につながります 0.79
This is illustrated by dark regions in the feature tensor これは特徴テンソルの暗い領域によって示される 0.82
shown in Fig. 1. For successful inference, this data loss in the feature tensors needs to be mitigated. 図に示す。 1. 推論を成功させるためには、機能テンソルのこのデータ損失を緩和する必要がある。 0.70
Yet, there has been very limited amount of work on this topic. しかし、このトピックに関する作業は非常に限られています。 0.71
The authors in [14], [15] studied joint 14] [15]の著者がジョイントを研究しました 0.79
source-channel coding of intermediate features to improve their robustness against bit errors. ビット誤りに対するロバスト性を改善するための中間機能のソースチャネル符号化。 0.71
In [16], 16]では、 0.66
英語(論文から抽出)日本語訳スコア
simple interpolation methods (e.g., nearest neighbor and bi-linear) were explored for recovering missing 単純補間法(例えば、近傍と双線形)は欠落を回復するために検討された 0.68
features, while [17] proposed low-rank tensor completion for this purpose. 特徴は、[17]はこの目的のために低ランクテンソル補完を提案した。 0.56
All the aforementioned studies focused on image classification models. 上記の研究はすべて 画像分類モデルに焦点を合わせました 0.79
In this paper we focus on the task of object detection, where the model needs to simultaneously localize 本稿では、モデルが同時にローカライズする必要があるオブジェクト検出のタスクに焦点を当てる。 0.81
multiple objects within an input image and classify each one of them. 入力画像内の複数のオブジェクトを分類し、それぞれを分類します。 0.77
This is arguably more challenging これはおそらくもっと難しいことです 0.69
than image classification, where one label per input image needs to be produced, and the corresponding 入力画像ごとに1つのラベルを生成する必要があり、対応する画像分類よりも 0.80
detection models may be expected to be more sensitive to errors and feature loss than image classification 検出モデルは画像分類よりもエラーや特徴損失に敏感であることが期待される 0.90
models. Indeed, as will be seen in the results, object detection accuracy drops quickly as the packet loss モデル。 実際、結果に見られるように、オブジェクト検出の精度はパケットの損失とともに急速に低下する。 0.76
increases, unless something is done to recover lost features: with only 5% loss, detection accuracy drops 失われた機能を取り戻すために何かをしなければ、増加: わずか5%の損失で、検出精度は低下する 0.69
by about 20%, whereas the results in [16], [17] show that for classification models, 5% loss leads up 約20%,[16],[17]の結果は,分類モデルでは5%の損失が増加することを示している。 0.73
to about 5% loss in accuracy, depending on the model. モデルによって、正確さの約5%の損失に。 0.81
Hence, missing feature recovery is crucial for したがって、機能回復の欠如は重要です。 0.69
collaborative object detection. In order to recover lost features, we borrow an idea from image inpainting [18], specifically the Partial 共同目的の検出。 失われた特徴を回復するために、画像インペインティング[18]、特にPartialからアイデアを借ります。 0.69
Differential Equation (PDE)-based inpainting [19]–[21]. 微分方程式(PDE)に基づく着色 [19]–[21]。 0.65
Such methods operate by solving a PDE-based このような手法はPDEに基づく解法によって機能する 0.58
model of surface flow, as briefly described in Section II. 第2節で簡単に説明するように、表面流れのモデル。 0.63
In order to understand what is the equivalent 何と同等かを理解するために 0.80
of image surface flow in the latent space of features, in Section III we analyze the effects of typical 特徴空間における画像表面の流れについて 第3節では、典型的効果について分析する 0.80
operations found in deep convolutional models on the PDE describing the surface flow. 表面の流れを記述するPDEの深い畳み込みモデルで見られる操作。 0.80
The conclusion is that latent-space flow is described by the same PDE as the input flow, but with an appropriately scaled 結論 潜在空間フローは入力フローと同じPDEによって記述されるが、適切にスケールされている 0.63
flow field. This analysis is put to the test in Section IV, where we compare the efficacy of latent-space フローフィールド。 この分析はセクションIVでテストされ、潜時空間の有効性を比較します。 0.68
inpainting against the current state-of-the-art for missing feature recovery. 機能回復の欠如に対する現在の最先端に対する塗装。 0.54
Finally, the paper is concluded 最後に論文は締めくくられる 0.66
in Section V. A. Surface flow 第5節で。 A。 表面の流れ 0.65
II. PRELIMINARIES II。 プレリミナリス 0.61
Image inpainting is the problem of filling in the missing details of an image. 画像インペインティングは、画像の欠落した詳細を埋める問題である。 0.75
PDE-based methods have PDE ベースのメソッド 0.80
been prominent in this area, initially developed as models that attempt to mimic the techniques used by この分野で顕著で、最初はテクニックを模倣しようとするモデルとして開発された 0.73
professional painting restorators [18]. プロの絵画修復者[18]. 0.77
Several PDE formulations have been used for this purpose, but この目的のためにいくつかのPDE定式化が用いられているが、 0.54
our focus here is on a particular formulation from [19], [21] that we will refer to as “surface flow.” ここでの焦点は、「サーフェスフロー」と呼ばれる[19]、[21]の特定の定式化です。
訳抜け防止モード: ここでの焦点は[19]の特定の定式化です。 【21】「表面流」と呼ぶ。
0.57
This formulation allows image surface to “flow” into the missing area as the inpainting progresses. この定式化により、塗装が進むにつれて、画像表面が失われる領域に“流れ込む”ことができる。 0.62
Let はじめに 0.31
英語(論文から抽出)日本語訳スコア
I(x, y, t) denote pixel intensity at time t, at spatial position (x, y), then the surface flow can be expressed I(x, y, t) は時間 t におけるピクセル強度を表し、空間位置 (x, y) で表すことができる。
訳抜け防止モード: I(x, y, t ) は時刻 t における画素強度を表す。 空間的位置 ( x , y ) では、表面の流れを表現できる
0.87
as [19], [21]: 19], [21]として: 0.77
∂I ∂x vx + ∂I ∂x vx + 0.78
∂I ∂y vy + ∂I ∂y vy + 0.78
∂I ∂t = 0, ∂I ∂t = 0, 0.78
(1) where (vx, vy) represents the flow vector. (1) ここで (vx, vy) はフローベクトルを表す。 0.85
Here, spatial coordinates (x, y) and iterations t are expressed ここでは空間座標 (x, y) と反復 t が表現される 0.87
as continuous quantities to allow PDE-based formulation, but in practice they are discrete. 連続量として PDE ベースの定式化を許可しますが、実際には離散的です。 0.51
We also note that (1) is the same equation as optical flow [22], but there, (vx, vy) represents motion between video 留意すべき点 その (1) は光流 [22] と同じ方程式ですが、そこに (vx, vy) はビデオ間の動きを表します 0.58
frames. This analogy is not surprising, because both surface flow and optical flow represent conservation フレーム 表面の流れと光の流れの両方が保存を表わしているので、この類似性は驚きではない 0.50
laws for image intensity. 画像強度に関する法律。 0.77
In fact, latent space motion analysis based on optical flow has recently been 実際、光の流れに基づく潜時空間運動解析が最近行われている。 0.78
performed in [23]. 23]で実行されます 0.65
In Section III we will explore what happens to (1) as the image I passes through セクションIIIでは、私が通過するイメージとして(1)に何が起こるかを調べます。 0.64
common operations found in deep convolutional models. 深い畳み込みモデルで見られる共通の操作。 0.64
B. Feature packetization B。 特徴パケット化 0.76
In order to transmit the feature tensor produced by the edge sub-model over a packet network, tensor パケットネットワーク上でエッジサブモデルによって生成された特徴テンソルを送信するために、テンソル 0.68
elements need to be packetized. 要素をパケット化する必要があります 0.71
There is currently no “standard” way of doing this, and there are many 現在、この方法には「標準」の方法がなく、多くのものがあります。 0.70
possible ways of forming packets. パケットの形成の可能な方法。 0.71
For the purposes of this study, we adopt the following approach. 本研究の目的は,以下のアプローチを採用することである。 0.81
First, tensor channels are tiled into an image, as in [4]. まずは。 テンソルチャネルは[4]のように画像にタイル化されます。 0.68
Then packets are formed by taking eight rows at a time そして、一度に8列のパケットが生成される。 0.66
from such a tiled image. そんなタイル張りのイメージから。 0.56
This is similar to how packets are usually formed in video streaming [24], and これは、通常ビデオストリーミング[24]でパケットが形成される方法に似ている。 0.80
also resembles the way packets are formed from feature tensors in [16], [17]. また、[16], [17]の特徴テンソルからパケットを形成する方法にも似ている。 0.75
With such a packetization このようなパケット化で 0.72
scheme, each lost packet creates an 8-row gap in the channels of the feature tensor, which needs to be filled スキームは、各失われたパケットは、満たされる必要がある特徴テンソルのチャネルに8列のギャップを作成します。 0.68
in. An example will be seen in Fig. 入って 例が図に示される。 0.48
4 in Section IV. Note that the analysis in Section III is independent 4条第4項。 第3節の分析は独立であることに注意。 0.68
of the packetization scheme and none of the feature recovery methods examined here crucially depend パケット化方式とここで検討された特徴回復方法のいずれも 0.64
on it. However, numerical results may change if a different packetization scheme is used. そこに ただし、異なるパケット化方式を用いると数値が変わることがあります。 0.58
III. LATENT-SPACE SURFACE FLOW III。 潜在空間表面流れ 0.62
The success of PDE-based image inpainting has demonstrated that (1) represents a good model for PDEによる画像インパインティングの成功は、(1)が良いモデルであることを示した。 0.75
natural images, so it can be used to fill in the gaps in such images. 自然画像は、そのような画像の隙間を埋めるのに使用できる。 0.67
If that is the case, what would もしそうなら、何でしょう? 0.54
be a good analogous model for latent-space feature tensors, whose gaps we need to fill in? 潜在的な空間特徴テンソルの類似モデルであり、そのギャップを埋める必要がありますか?
訳抜け防止モード: to be a good analogous model for latent - space feature tensors, 誰のギャップを埋める?
0.77
This is not immediately clear, since latent-space feature tensors may look quite different from natural images, as will これは違う 潜在空間的特徴テンソルは自然画像と全く異なるように見えるので、すぐに明確になる 0.66
be seen in Fig. fig (複数形 figs) 0.50
4. In this section, our goal is to find the latent-space equivalent of input-space surface 4. 本節では,入力空間曲面の潜在空間同値を求めることを目標としている。 0.76
flow, as illustrated in Fig. 図に示すように、フロー。 0.70
2. 2. 0.85
英語(論文から抽出)日本語訳スコア
Fig. 2. What is the latent-space equivalent of input-space surface flow? フィギュア。 2. 入力空間表面の流れの潜在空間等価性は何か? 0.66
To do this, we look at the processing pipeline between the input image and a given channel of a feature これを実現するために、入力画像と特徴の所定のチャネルとの間の処理パイプラインを考察する。 0.81
tensor in an edge sub-model. エッジサブモデルにおけるテンソル。 0.62
In most deep convolutional networks, this processing pipeline consists of a ほとんどの深い畳み込みネットワークでは、この処理パイプラインは 0.66
sequence of basic operations: convolutions, nonlinear pointwise activations, and pooling. 基本的な操作のシーケンス:畳み込み、非線形なポイントワイドアクティベーション、プーリング。 0.66
We will analyze the effect of each of these operations on (1). 我々は分析する これらの各操作が(1)に及ぼす影響。 0.81
A. Convolution A. コンボリューション 0.64
Let f be a (spatial) filter kernel, then the surface flow after convolution can be described by f を(空間的)フィルタカーネルとすると、畳み込み後の表面の流れを記述することができる。 0.76
∂ ∂x (f ∗ I)v(cid:48) ∂x (f ∗ I)v(cid:48) 0.88
x + ∂ ∂y x + ∂y (複数形 ∂ys) 0.54
(f ∗ I)v(cid:48) (f ∗ I)v(cid:48) 0.98
y + ∂ ∂t y + ・・・・・・ 0.55
(f ∗ I) = 0, (f ∗ i) = 0 である。 0.85
(2) where ∗ represents convolution and (v(cid:48) differentiation are linear operations, we have (2) ∗ は畳み込みを表し、(v(cid:48) の微分は線形演算であり、 0.77
x, v(cid:48) x, v(cid:48) 0.92
y) is the flow after the convolution. y) 畳み込み後の流れである。 0.60
Since the convolution and (cid:19) 革命・革命以来 (cid:19) 0.56
= 0. v(cid:48) x + = 0. v(cid:48) x + 0.88
∂I ∂y v(cid:48) y + ∂I ∂y v(cid:48) y + 0.81
∂I ∂t (3) (cid:18) ∂I ∂I ∂t (3) (cid:18)∂i 0.76
∂x f ∗ Hence, a solution to the surface flow after the convolution satisfies the same type of equation as (1). ∂x f ∗ したがって、畳み込み後の表面の流れに対する解は、(1)と同じタイプの方程式を満たす。 0.79
This means that if we had a method for solving (1), the same method would be able to find a solution to the これ つまり、(1) を解く方法があれば、同じ方法が解決方法を見つけることができるということです。 0.70
post-convolution flow (3). 畳み込み後の流れ(3) 0.63
英語(論文から抽出)日本語訳スコア
B. Nonlinear activation Nonlinear activations such as sigmoid, tanh, ReLU, etc., are usually applied on the output of B.非線形活性化 Sigmoid、Tanh、ReLUなどの非線形活性化は通常、出力に適用される。 0.66
convolutions in deep models [25]. 深層モデルでの畳み込み[25]。 0.63
These are point-wise operations, applied to each sample separately. これらは各サンプルに個別に適用される点演算である。 0.67
Let σ(·) denote such a nonlinear activation, then the surface flow after this operation is described by the following PDE: そのような非線形活性化をσ(·) とすると、この操作後の表面の流れは以下の PDE で説明される。 0.84
∂ ∂x [σ(I)] v(cid:48) ∂x [σ(I)] v(cid:48) 0.85
x + ∂ ∂y x + ∂y (複数形 ∂ys) 0.54
[σ(I)] v(cid:48) [σ(I)] v(cid:48) 0.93
y + ∂ ∂t y + ・・・・・・ 0.55
[σ(I)] = 0, [σ(I)] = 0, 0.76
(4) where (v(cid:48) above equation can be rewritten as (4) ここで (v(cid:48) 上の方程式は 0.76
x, v(cid:48) x, v(cid:48) 0.92
y) is the flow after the nonlinear activation. y) は非線形活性化後の流れである。 0.84
By using the chain rule of differentiation, the 分化の連鎖則を使用することによって。 0.64
(cid:18) ∂I (cid:18)∂i 0.71
∂x v(cid:48) x + ∂x v(cid:48) x + 0.85
∂I ∂y v(cid:48) y + ∂I ∂y v(cid:48) y + 0.81
∂I ∂t (cid:19) ∂I ∂t (cid:19) 0.75
= 0. (5) σ(cid:48)(I) · = 0. (5) σ(cid:48)(I)· 0.87
Hence, again, (v(cid:48) flow (1) should be able to find a solution to post-activation flow (5). したがって、(v(cid:48) フロー (1) は、アクティベーション後のフロー (5) に対する解決策を見つけることができるべきである。 0.70
x, v(cid:48) x, v(cid:48) 0.92
y) satisfies the same type of equation as (1), and a method that solves pre-activation y)(1)と同一の式を満たすこと、及び事前活性化を解決する方法 0.80
Note that (5) may also have other solutions, not just those that satisfy the surface flow equation (1). (5) は、表面フロー方程式 (1) を満たすものだけでなく、他の解を持つこともある。 0.78
For example, consider the ReLU activation defined by σ(x) = max(0, x). 例えば、σ(x) = max(0, x) で定義される ReLU の活性化を考える。 0.80
In the regions of I where the values are are negative, the corresponding outputs of ReLU will be zero, so σ(I) = 0, and its derivative is also zero, σ(cid:48)(I) = 0. iの地域では 値は負であり、ReLUの対応する出力はゼロとなるので、σ(I) = 0 であり、その微分も 0 であり、σ(cid:48)(I) = 0 である。 0.64
Hence, in those regions, (5) can be satisfied for arbitrary flow (v(cid:48) y). したがって、これらの領域では、(5) は任意のフロー (v(cid:48) y) を満たすことができる。 0.73
However, in practice this does not matter, because in regions where the signal is constant, propagating signal values しかし実際には、信号が一定である領域では信号値が伝播するので、これは問題ではない。 0.72
x, v(cid:48) x, v(cid:48) 0.92
in any direction will produce the same result. どの方向でも同じ結果が得られます。 0.75
C. Pooling Various forms of pooling are used in deep models [25], such as max-pooling, mean-pooling, learnt C.プール 最大プール、平均プール、学習など、ディープモデル[25]で様々な形式のプールが使用される 0.75
pooling via strided convolutions, etc. 歪んだ畳み込み、等によるプール。 0.49
All these forms of pooling can be decomposed into a sequence of これら全ての形式のプーリングは、一連の配列に分解することができる 0.61
two operations as follows (cid:124) 以下の2つの操作 (cid:124) 0.74
spatial operation → scale change 空間的操作 → スケール変化 0.92
(cid:123)(cid:122) (cid:123)(cid:122) 0.75
pooling (cid:125) プール (cid:125) 0.71
In the case of mean pooling or learnt pooling, spatial operation is a convolution. 平均プールや学習プールの場合、空間操作は畳み込みである。 0.54
In the case of max- pooling, spatial operation is a local maximum operation. max の場合- プール 空間操作は 局所的な最大操作です。 0.64
Scale change is simply implemented using regular スケール変更は単にレギュラーを使って実装される 0.66
downsampling. Since the effect of convolution on surface flow was discussed in Section III-A, here we ダウンサンプリング 第III節-A節では, 畳み込みが表面流動に及ぼす影響について論じられている。 0.55
further discuss the effect of local maximum and scale change on (1). さらに,局所的最大化とスケール変化が与える影響について論じる(1)。 0.68
英語(論文から抽出)日本語訳スコア
1) Local maximum: Consider the maximum of function I(x, y, t) over a local spatial region 1)局所最大値:局所空間領域上の関数 I(x, y, t) の最大値を考える。 0.82
Rh = [x0 − h, x0 + h] × [y0 − h, y0 + h], Rh = [x0 − h, x0 + h] × [y0 − h, y0 + h], 0.96
at a given time t. We can approximate I(x, y, t) over this region as a locally-linear function, whose slope ∂y I. ある時間 t において、この領域上の i(x, y, t) を局所線型函数として近似することができる。 0.77
Depending on the sign of these derivatives, the local maximum of I over Rh will be somewhere on the boundary of Rh. これらの微分の符号に応じて、Rh 上の I の局所最大値は Rh の境界のどこかにある。 0.79
In is determined by the spatial derivatives of I at (x0, y0), namely ∂ 内 i の (x0, y0) における空間微分、すなわち ∂ によって決定される 0.69
∂x I and ∂ ∂x i および ∂ 0.90
the special case where both derivatives are zero, I is constant over Rh and any point in Rh, including 両方の微分が 0 であり、I が Rh 上定数であり、Rh の任意の点を含む特別な場合 0.75
boundary points, is a local maximum. 境界点は 局所的な最大値です 0.75
From the first-order Taylor series expansion of I(x, y, t) around (x0, y0, t) we have I(x, y, t) の (x0, y0, t) 周りの一階テイラー級数展開から
訳抜け防止モード: 最初の段階から I(x, y, y,) のテイラー級数拡大。 t ) 周り (x0 , y0 , t )
0.81
I(x0 + x, y0 + y, t) ≈ I(x0, y0, t) I(x0 + yx, y0 + yy, t) I(x0, y0, t) 0.94
+ + ∂ ∂x ∂ ∂y + + ∂ ∂x ∂ ∂y 0.85
I(x0, y0, t) · x I(x0, y0, t) · y, I(x0, y0, t) ·-xI(x0, y0, t) ·-y, 0.94
(6) for |x|,|y| ≤ h. With such linear approximation, the local maximum of I(x, y, t) over Rh (which, as we saw above, is somewhere on the boundary of Rh) can be approximated as (6) このような線形近似では、Rh 上の I(x, y, t) の局所最大値(上記のように、Rh の境界のどこかにある)は近似することができる。 0.80
max (x,y)∈Rh max (x,y)∈Rh 0.96
I(x, y, t) ≈ I(x0, y0, t) I(x, y, t) > I(x0, y0, t) 0.90
(cid:18) ∂ (cid:18) ∂ (cid:18)-(cid:18)- 0.83
∂x ∂y (cid:19) (cid:19) ∂x ∂y (cid:19)(cid:19) 0.77
+ sign + sign I(x0, y0, t) +サイン +サイン I(x0, y0, t) 0.78
I(x0, y0, t) I(x0, y0, t) 0.96
· ∂ ∂x · ∂ ∂y · ∂ ∂x · ∂ ∂y である。 0.58
I(x0, y0, t) · h I(x0, y0, t) · h. I(x0, y0, t) · h I(x0, y0, t) · h。 0.96
(7) Let (7) be the definition of M (x0, y0, t), the function that takes on local maximum values of I(x, y, t) over spatial windows of size 2h× 2h. (7) 7) を m (x0, y0, t) の定義とし、i(x, y, t) の局所最大値を 2h× 2h の空間的ウィンドウ上で取る関数とする。 0.81
The surface flow after such a local maximum operation is described by このような局所的な最大操作後の表面流動を述べる。 0.77
∂M ∂x v(cid:48) x + ∂m ∂x v(cid:48) x + 0.80
∂M ∂y v(cid:48) y + ∂m ∂y v(cid:48) y + 0.78
∂M ∂t = 0, ∂m ∂t = 0, 0.76
where (v(cid:48) ここで (v(cid:48) 0.61
x, v(cid:48) x, v(cid:48) 0.92
y) represents the flow after local spatial maximum operation. y)は局所空間最大操作後の流れを表す。 0.83
From (7) we have から (7) があります。 0.69
∂M ∂x ∂M ∂y ∂M ∂t ∂m ∂x ∂m ∂y ∂m ∂t 0.59
= = = ∂I ∂x ∂I ∂y ∂I ∂t = = = ∂i ∂x ∂i ∂y ∂i ∂t 0.79
+ sign + sign + sign +サイン +サイン +サイン 0.69
(cid:18) ∂I (cid:18) ∂I (cid:18) ∂I (cid:18)-(cid:18)-(c id:18)-(cid:18)-) 0.71
∂x ∂x (cid:19) ∂2I (cid:19) ∂2I (cid:19) ∂2I ∂x ∂x (cid:19) ∂2i(cid:19) ∂2i(cid:19) ∂2i 0.71
∂x∂y ∂x ∂x∂t シュクシー ∂x ∂x∂t 0.52
∂x2 h + sign ∂x2 h + sign 0.84
h + sign (cid:18) ∂I (cid:19) ∂2I (cid:19) ∂2I (cid:18) ∂I (cid:18) ∂I (cid:19) ∂2I h + sign (cid:18) ∂i (cid:19) ∂2i (cid:19) ∂2i (cid:18) ∂i (cid:18) ∂i (cid:19) ∂2i 0.73
∂x∂y ∂y ∂y シュクシー ∂y ∂y 0.62
∂y2 h, h, ∂y2 h, H, H. 0.65
h + sign ∂y h + sign ∂y 0.82
∂y∂t h, ∂y∂t H, H. 0.49
(8) (9) (8) (9) 0.85
英語(論文から抽出)日本語訳スコア
and substituting (9) in (8) gives the following PDE 9 を (8) に置換すると、次の PDE が得られる。 0.74
∂I ∂x v(cid:48) x + ∂I ∂x v(cid:48) x + 0.81
∂I ∂y + sign ∂I ∂y +サイン 0.70
+ sign ∂y v(cid:48) y + +サイン ∂y v(cid:48) y + 0.80
(cid:18) ∂I (cid:18) ∂I (cid:18) ∂i(cid:18) ∂i 0.69
∂x ∂I ∂t (cid:19) (cid:19) ∂x ∂I ∂t (cid:19)(cid:19) 0.74
(cid:18) ∂I (cid:18) ∂I (cid:18) ∂i(cid:18) ∂i 0.69
∂x ∂x · ∂ ∂x · ∂ ∂y ∂x ∂x · ∂ ∂x · ∂ ∂y である。 0.72
v(cid:48) x + v(cid:48) x + 0.92
v(cid:48) x + v(cid:48) x + 0.92
∂I ∂y ∂I ∂y ∂i ∂y ∂i ∂y 0.62
v(cid:48) y + v(cid:48) y + 0.92
v(cid:48) y + v(cid:48) y + 0.92
∂I ∂t ∂I ∂t ∂i ∂t ∂i ∂t 0.63
(cid:19) (cid:19) (cid:19)(cid:19) 0.73
· h · h = 0. ·h · h = 0 である。 0.78
Note that if ∂I ∂x 注意すべきは ∂I ∂x 0.62
v(cid:48) x + v(cid:48) x + 0.92
∂I ∂y v(cid:48) y + ∂I ∂y v(cid:48) y + 0.81
∂I ∂t = 0, ∂I ∂t = 0, 0.78
(10) (11) then (10) will automatically be satisfied. (10) (11) すると(10)が自動的に満たされる。 0.81
But (10) is the same PDE as (1), with (v(cid:48) y) now playing the role of (vx, vy). しかし、 (10) は (1) と同じ PDE であり、 (v(cid:48) y) は (vx, vy) の役割を担っている。 0.83
Hence, if (v(cid:48) y) satisfies the same type of surface flow equation as (1), it will also satisfy (10). したがって、(v(cid:48) y) が (1) と同じ種類の表面流動方程式を満たすと、(10) も満たされる。 0.79
So a method that solves (1) should be able to find, at least approximately, the surface flow したがって、(1)を解く方法は、少なくとも、表面の流れを見つけることができるはずです。 0.75
x, v(cid:48) x, v(cid:48) 0.92
x, v(cid:48) x, v(cid:48) 0.92
after the local maximum operation. ローカルの最大操作の後。 0.77
2) Scale change: Finally, consider the change of spatial scale by factors sx and sy in x- and y-directions, such that the new signal is I(cid:48)(x, y, t) = I(sx · x, sy · y, t). 2) スケール変化: 最後に、新しい信号が I(cid:48)(x, y, t) = I(sx · x, sy · y, t) となるように、x および y 方向における sx および sy による空間スケールの変化を考える。 0.86
The surface flow equation after spatial scaling is 空間スケーリング後の表面流動方程式は 0.83
∂I(cid:48) ∂x ∂y , and ∂I(cid:48) ∂i(cid:48) ∂x ∂y , ∂i(cid:48) 0.71
v(cid:48) x + v(cid:48) x + 0.92
∂I(cid:48) ∂y ∂i(cid:48) ∂y 0.69
v(cid:48) y + v(cid:48) y + 0.92
∂I(cid:48) ∂t ∂i(cid:48) ∂t 0.69
= 0. (12) ∂x = sx · ∂I = 0. (12) ∂x = sx · ∂I 0.86
Since ∂I(cid:48) ∂t , it is easy to see that post-scaling flow satisfies the same equation as (1), but with the correspondingly scaled flow field: (v(cid:48) y) = (vx/sx, vy/sy), where (vx, vy) is the pre-scaling flow. ∂i(cid:48) ∂t であるため、スケール後のフローが (1) と同じ方程式を満たすことは容易に分かるが、対応するスケールされたフローフィールド: (v(cid:48) y) = (vx/sx, vy/sy) ここで (vx, vy) はスケール前のフローである。 0.70
In deep convolutional models, scaling factors of sx = sy = 2 are commonly found, 深層畳み込みモデルでは、sx = sy = 2 のスケーリング係数が一般的である。 0.75
∂x, ∂I(cid:48) ∂x, ∂i(cid:48) 0.75
∂t = ∂I ∂y = sy · ∂I ∂t = ∂i ∂y = sy · ∂I 0.83
x, v(cid:48) x, v(cid:48) 0.92
so the surface flow in the downscaled signal is correspondingly scaled by a factor of 2 as well. したがって、ダウンスケールされた信号の表面フローは、対応する2倍にスケールされる。 0.77
The analysis presented above suggests that the surface flow equation is largely left intact by the common 上述の分析は、表面流方程式が一般にほとんど無傷であることが示唆されている。 0.67
operations found in deep convolutional models, such as convolutions, nonlinear activations, and pooling. 畳み込み、非線形アクティベーション、プールといった深い畳み込みモデルに見られる操作。 0.51
In the case of max-pooling, the conclusion is only approximate, but over small windows such as 2 × 2, which are common, it is expected to be a good approximation. 最大プーリングの場合、結論は近似的であるが、2 × 2 のような小さな窓ではよく見られるが、近似としてよいと期待されている。 0.73
Hence, a method that solves the surface したがって、表面を解く方法。 0.71
flow PDE (1) should be a good solution to the latent-space surface flow as well. フロー PDE (1) は、潜在的な空間表面の流れにも良いソリューションであるべきです。 0.78
We put this conclusion to この結論を出しました。 0.47
the test in the next section, where we deploy two algorithms for finding surface flow, from [19] and [20], 次のセクションのテストでは、[19]と[20]から表面フローを見つけるための2つのアルゴリズムをデプロイします。 0.84
to recover missing features in the latent space. 潜伏空間に欠けている特徴を回復するためです 0.66
英語(論文から抽出)日本語訳スコア
TABLE I EXPERIMENTAL TESTBED テーブルI 実験試験 0.53
Intel(R) Core(TM) i7-6700K @ 4.00GHz NVIDIA GeForce GTX Titan X 10.2 64 GB Intel(R) Core(TM) i7-6700K @ 4.00GHz NVIDIA GeForce GTX Titan X 10.2 64 GB 0.81
CPU GPU CUDA RAM CPU GPU CUDA RAM 0.85
Language Tensorflow 言語tensorflow 0.75
Oprating system Ubuntu 18.04 LTS オプレーティングシステムUbuntu 18.04 LTS 0.87
Keras OpenCV Python 3.5.6 2.2.0 2.3.1 3.1.0 ケラ OpenCV Python 3.5.6 2.2.0 2.3.1 3.1.0 0.58
A. Setup IV. EXPERIMENTS A。 設定 IV。 実験 0.68
The experiments are carried out on the YOLOv3 object detector [26]. 実験はYOLOv3オブジェクト検出器[26]で実施される。 0.77
Specifically, a Python implemen- 具体的にはPythonのインプレッメンです。 0.50
tation of this model1 based on Keras and Tensorflow was used. KerasとTensorflowに基づくこのモデル1のtationが使用された。 0.77
Details of the experimental testbed are shown in Table I. YOLOv3 has a complex architecture2 with a number of skip connections. 実験ベッドの詳細は YOLOv3は複雑なアーキテクチャ2を持ち、多くのスキップ接続がある。 0.60
Depending on where the model is split, one or more tensors needs to be transmitted. によっては モデルが分割された場所では、1つ以上のテンソルを送信する必要があります。 0.43
If one wishes to transmit only 送信のみを希望する場合 0.70
a single tensor per input image, there are two points where a sensible split can be made - layer 12 and 入力画像ごとに1つのテンソルがあり、意味のある分割ができる2つの点がある、層12と層12 0.71
layer 36. In this paper we picked the deeper of these two split points, namely layer 36, so that layers 36層 本論文では,この2つの分割点の奥深く,すなわち36層を層として選択した。 0.65
1-36 form the edge sub-model in Fig. 1-36は図のエッジサブモデルを形成します。 0.61
1 and the remaining layers 37-105 constitute the cloud sub-model. 残りの37-105層はクラウドサブモデルを構成する。 0.63
Input images were resized to 512×512 before feeding them to the edge sub-model. 入力画像はエッジサブモデルに供給する前に512×512にリサイズされた。 0.63
With this input size, the feature tensor produced by the edge sub-model is 64 × 64 × 256, i.e., 256 channels of size 64 × 64. この入力サイズにより、エッジサブモデルによって生成される特徴テンソルは64 × 64 × 256、すなわち64 × 64の256チャンネルである。 0.82
These were tiled into a square image of size 1024 × 1024, and quantized to 8-bit precision, similarly to [4], [6]. これらはサイズ1024×1024の正方形画像にタイル化され、[4],[6]と同様に8ビット精度に量子化された。 0.83
No further compression of feature values was employed. 特徴値のさらなる圧縮は行われなかった。 0.80
We used two methods for solving surface flow (1): one, from [19], will be referred to as “Navier- 表面流れの解法には2つの方法を用いた。(1) [19]から1つをNavierと呼ぶ。 0.69
Stokes,” and the other, from [20], will be referred to as “Telea.” These methods were compared against Stokes”と、[20]から“Telea”と呼ばれるメソッドが比較された。
訳抜け防止モード: Stokes, ”, and the other, from [20 ], will be called " Telea ". これらの方法が比較された
0.80
the current state of the art in missing feature recovery [17]. 特徴回復の欠如した技術の現状[17] 0.53
In [17], several tensor completion methods 17]では、いくつかのテンソル補完法 0.66
were used to recover tensor features missing due to packet loss. パケットロスによる テンソルの特徴の回復に使われました 0.63
These tensor completion methods make no これらのテンソル補完法は 0.63
assumptions on how the feature tensor is produced. 特徴テンソルの生成方法に関する仮定。 0.43
The only underlying assumption is that the tensor lies 唯一の根底にある仮定はテンソルが 0.46
in a low-rank manifold which the completion method tries to reach. 完成方法が到達しようとする低ランク多様体で。 0.60
In [17], tensor completion methods 17]において,テンソル完備法 0.66
were tested on recovering features from image classification models VGG-16 [27] and ResNet-34 [28], VGG-16 [27] および ResNet-34 [28] の画像分類モデルから特徴を回復する試験を行った。 0.77
1https://github.com/ experiencor/keras-yo lo3 2https://towardsdata science.com/yolo-v3- object-detection-53f b7d3bfe6b 1https://github.com/ experiencor/keras-yo lo3 2https://towardsdata science.com/yolo-v3- object-detection-53f b7d3bfe6b 0.20
英語(論文から抽出)日本語訳スコア
Fig. 3. mAP vs. loss for various feature recovery methods フィギュア。 3.mAP vs. 各種機能回復方法の損失 0.65
and found to offer relatively similar performance. 比較的似たパフォーマンスを実現しました 0.70
As a representative of these methods, we use Simple これらの方法の代表として 私たちは 0.65
Low-Rank Tensor Completion (SiLRTC) [29]. 低ランクテンソル補完(SiLRTC) [29] 0.68
It is an iterative method that refines its estimates of missing 欠落の推定を精査する反復的手法です。 0.57
values at each iteration. それぞれのイテレーションの値です 0.76
B. Quantitative results Recovery of missing features was tested on the 2017 version of the validation set from the COCO B. 定量結果 欠落した機能の回復は、COCOのバリデーションセットの2017バージョンでテストされた。 0.78
dataset [30]. データセット[30]。 0.71
This set contains 5,000 images with 80 object classes represented in the set. このセットには、セットに表現された80のオブジェクトクラスを持つ5000のイメージが含まれている。 0.55
Independent packet loss was simulated with loss probabilities p ∈ {0.05, 0.10, 0.15, 0.20, 0.25, 0.30}. 独立パケット損失は損失確率 p ∈ {0.05, 0.10, 0.15, 0.20, 0.25, 0.30} でシミュレートされた。 0.65
For each input image, the loss was applied to the tiled feature tensor, and the missing values were recovered by various 各入力画像に対して,タイル特徴テンソルに損失が適用され,欠落値が各種で復元された。 0.84
methods. Model accuracy was measured in terms of the mean Average Precision (mAP) [26] at the 方法。 モデル精度は平均平均精度 (mAP) [26] で測定しました。 0.68
Intersection over Union (IoU) threshold of 0.5. iou(intersection over union)しきい値0.5。 0.72
These are common settings in the literature for quantifying これらは定量化のための文献の一般的な設定です 0.61
object detection accuracy. The results are shown in Fig. 物体検出精度。 結果は図に示されています。 0.70
3. In the figure, the blue line represents the case where no feature recovery is performed, and the missing 3. 図では、青い線は、特徴回復が行われず、欠落している場合を表します 0.78
values are simply set to zero. 値は単に 0 に設定される。 0.78
As shown by this curve, the accuracy of object detection quickly drops この曲線で示すように、物体検出の精度は急速に低下する 0.82
from its loss-free value of 0.56 down to about 0.36 with just 5% loss. 損失のない0.56からわずか5%の損失で約0.36まで。 0.85
The curve labeled SiLRTC-50 SiLRTC-50 の曲線 0.77
is the performance obtained when missing features are recovered using SiLRTC with 50 iterations. SiLRTCを使用して50回のイテレーションで機能不足が回復したときに得られるパフォーマンスです。 0.61
This provides some improvement. これ 改善の余地がある 0.72
Much better accuracy is obtained when running SiLRTC with 250 iterations, 250イテレーションでSiLRTCを実行すると、はるかに精度が向上する。 0.71
英語(論文から抽出)日本語訳スコア
as shown by the curve labeled SiLRTC-250. 曲線で示すように、SiLRTC-250。 0.73
It should be noted that in [17], 50 iterations of SiLRTC were 17]では、SiLRTCの50のイテレーションは、であったことに注意してください。 0.60
found to be sufficient to provide solid accuracy for VGG-16 and ResNet-34, whereas here, with YOLOv3, VGG-16とResNet-34の確固たる精度を提供するには十分であることが判明しました。 0.59
a larger number of iterations is needed. より多くのイテレーションが必要になります 0.60
One factor that may play a role in this is tensor size; here we are dealing with tensors of size 64 × 64 × 256, whereas in [17], tensors were much smaller: 14 × 14 × 512 for VGG-16 and 28 × 28 × 128 for ResNet-34. ここでは、64 × 64 × 256のテンソルを扱うが、[17]では、テンソルははるかに小さく、VGG-16では14 × 14 × 512、ResNet-34では28 × 28 × 128であった。
訳抜け防止モード: この役割を果たす可能性のある要因の1つはテンソルサイズである ここでは、64×64×256のテンソルを扱う。 一方、[17 ]ではテンソルはずっと小さく、VGG-16では14 × 14 × 512 ResNet-34 では 28 × 28 × 128 である。
0.76
The best accuracy in Fig. figの精度は最高です。 0.69
3 is obtained by the two PDE-based inpainting methods, Navier-Stokes and 3はPDEによる2種類の塗布法, Navier-Stokesにより得られた。 0.59
Telea. Their performance in the figure is virtually indistinguishable, which is not surprising considering テレア。 この図での彼らのパフォーマンスは、事実上区別がつかないものです。 0.62
that they are based on the same principles. 同じ原則に基づいています 0.50
As seen in the figure, PDE-based inpainting methods are able 図に示すように、PDEベースの塗装法は、 0.77
to achieve significant improvement in object detection accuracy over tensor completion methods. テンソル完成法よりも物体検出精度を大幅に向上させる。 0.71
Part of the reason for this is that they reasonably manage to capture the structure of the tensor via surface 一部 その理由の1つは、テンソルの構造を表面を通して合理的に捉えることです。 0.61
flow (1), whereas tensor completion methods do not use any such insight and try to discover this structure Flow (1), while tensor completion method does not use any such insights and try to find this structure 0.77
iteratively. In the second column of Table II we summarize the average mAP gain from Fig. 反復的に 表IIの2番目のコラムでは、Figからの平均mAPゲインを要約する。 0.59
3 of various methods over the case of no recovery. 各種方法の3つ 回復していない場合です 0.73
These values are obtained by numerically integrating the area between これらの値は、面積を数値的に積分することで得られる 0.61
the “No recovery” curve and the curve corresponding to a particular method using the trapezoidal rule, 回復しない」曲線と、台形規則を使用して特定の方法に対応する曲線。 0.72
and then dividing this value by the range of packet loss probabilities, which is 0.3. そして、この値をパケット損失確率の範囲(0.3)で割る。
訳抜け防止モード: そして、この値をパケット損失確率の範囲に分割します。 0.3 です。
0.82
Hence, these values したがってこれらの価値は 0.66
represents the average mAP gain over this range of packet loss probabilities. パケット損失確率のこの範囲上の平均 mAP の利益を表します。 0.80
As seen in the table, the two PDE-based inpainting methods provide significant average mAP improvement of over 0.38. 表に示すように、 2つのPDEベースの塗装法は0.38の有意な平均mAP改善をもたらす。 0.58
SiLRTC is also able to provide solid gains of about 0.31, if executed for 250 iterations. SiLRTC 250回のイテレーションで実行した場合、約0.31の堅実な利得を提供することもできます。 0.71
The last column in Table II shows the average execution time per tensor of various methods. 表IIの最後の列は、様々なメソッドのテンソルあたりの平均実行時間を示している。 0.73
As seen here, the PDE-based methods are not only more accurate, but much faster than SiLRTC - over 100× faster than SiLRTC-50 and almost 600× faster than SiLRTC-250. ここで見られるように、PDEベースのメソッドはSiLRTCよりも正確であるだけでなく、SiLRTC-50よりも100×高速で、SiLRTC-250よりもほぼ600×高速です。 0.75
The reason for this is that SiLRTC performs a global decomposition of the tensor using Singular Value Decomposition (SVD), which is quite この理由は、SiLRTCがSingular Value Decomposition(SVD)を使用してテンソルのグローバル分解を実行するためです。 0.68
expensive computationally. Meanwhile, the PDE-based inpainting methods operate locally. 計算コストが高い。 一方、PDEベースの塗装方法はローカルで動作します。 0.58
While it might be possible for SiLRTC to reach the accuracy provided by the PDE-based methods using more iterations, もしかして SiLRTCは、より多くのイテレーションを使用してPDEベースのメソッドによって提供される精度に達することができる。 0.56
this would run counter to the goals of collaborative intelligence, where latency is an important aspect; これは、遅延が重要な側面である協調インテリジェンスの目標に反して実行されます。 0.58
with 250 iterations, it is already much slower than the PDE-based methods. 250回のイテレーションでは、すでにPDEベースのメソッドよりもずっと遅い。 0.75
C. Visual examples Finally, we show several visual examples in Fig. C. 視覚例 最後に、図にいくつかの視覚的な例を示す。 0.70
4. The top row in the figure shows object detections 4. 図の上の行はオブジェクト検出を示しています。 0.74
overlaid on the original image, and the bottom row shows nine channels from the feature tensor produced 元のイメージにオーバーレイし 下の行は 生成した特徴テンソルから9つのチャンネルを示します 0.70
英語(論文から抽出)日本語訳スコア
Fig. 4. Top row: object detections overlaid on the original image. フィギュア。 4. top row: オブジェクト検出が元のイメージにオーバーレイする。 0.70
Bottom row: part of the latent space (9 tensor channels) corresponding to the object detections in the top row. Bottom row: トップ行のオブジェクト検出に対応する潜伏空間(9つのテンソルチャネル)の一部。 0.71
Tensor channels have been mapped to grayscale and enhanced for visualization purposes. テンソルチャネルはグレースケールにマッピングされ、視覚化目的で強化されている。 0.59
From left to right: (1) Without any data recovery (locations of lost data indicated as black), no detections are made; SiLRTC-50 (not shown) also does not provide sufficient recovery for any detections to be made. 左から右へ:(1)データリカバリ(黒で示される失われたデータの配置)がなければ、検出は行われず、SiLRTC-50(表示されない)は検出を行うのに十分なリカバリを提供していない。 0.74
(2) With SiLRTC-150, one STOP sign is detected with confidence 0.52. 2) SiLRTC-150では、信頼率0.52で1つのSTOP符号を検出する。 0.62
(3) With SiLRTC-250, two STOP signs are detected, and the confidence for the smaller sign is improved to 0.82. (3)SiLRTC-250では,2つのSTOP符号が検出され,より小さい符号に対する信頼性が0.82に向上する。 0.67
(4) With Navier-Stokes [19] and Telea [20] inpainting, two STOP signs are detected, and the confidence for the smaller sign is improved to 0.91. (4) Navier-Stokes[19]およびTelea[20]の塗布により、2つのSTOP符号を検出し、より小さな符号に対する信頼度を0.91に向上させる。 0.67
(5) Without any loss, a truck is also detected, and the confidence for the smaller STOP sign is 0.94. (5) 損失がなければトラックも検出され、より小さなSTOP符号に対する信頼度は0.94である。 0.79
AVERAGE MAP GAIN AND EXECUTION TIME OF VARIOUS FEATURE RECOVERY METHODS 平均地図ゲインと各種特徴回収方法の実行時間 0.55
TABLE II Method Avg. テーブルII 方法 Avg。 0.70
mAP gain Time per tensor (sec.) mAP gain Time per tensor (sec.) 0.85
SiLRTC-50 SiLRTC-250 Navier-Stokes SiLRTC-50 SiLRTC-250 Navier-Stokes 0.47
Telea 0.1028 0.3101 0.3823 0.3837 テレア 0.1028 0.3101 0.3823 0.3837 0.54
17.0793 83.2044 0.1408 0.1356 17.0793 83.2044 0.1408 0.1356 0.45
by the edge sub-model. エッジサブモデルによる。 0.63
Note that the entire tensor contains 256 channels, so the nine channels in the テンソル全体に256のチャンネルがあるので、9つのチャンネルがある。 0.69
figure are only a small part of the latent space. 図は潜在空間のほんの一部に過ぎない。 0.55
The leftmost images in the figure correspond to the case where no feature recovery is performed. 図の左端の画像は、機能回復が行われない場合に相当します。 0.72
One can see the black lines in the tensor channels, indicating the locations of the missing packets. 一 欠けているパケットの位置を示すテンソルチャネルの黒い線を見ることができます。 0.67
No objects are detected when such a tensor is fed to the cloud sub-model. オブジェクトなし このようなテンソルがクラウドサブモデルに供給されると検出される。 0.70
The next case to the right is SiLRTC-50, 次のケースは SiLRTC-50 である。 0.77
which manages to provide some recovery to the missing features, resulting in the detection of a small 欠けている機能への回復を提供し、その結果、小さなものの検出につながります。 0.67
STOP sign in the background, which is barely detected with confidence of 0.52. 背景の標識は0.52の信頼性でほとんど検出されない。 0.71
In the next case to the right, SiLRTC-250 provides somewhat better recovery and the resulting tensor allows detection of the large 次のケースでは 右、SiLRTC-250はやや良い回復を提供し、その結果テンソルは大きな検出を可能にします。 0.59
STOP sign in the foreground, as well as the small sign in the background, now with increased confidence 前景のSTOPサインと背景の小さなサインが、自信を増しました。
訳抜け防止モード: 前景の標識と背景の小さな看板を止めなさい。 自信の高まりとともに
0.44
英語(論文から抽出)日本語訳スコア
of 0.82. Finally, Telea inpainting provides even better feature recovery, with increased confidence of 0.91 0.82です 最後に、Teleaの塗装により機能回復がさらに改善し、信頼性は0.91に向上した。 0.68
for the small STOP sign. 小さいSTOPのサインのために。 0.54
the Navier-Stokes inpainting gave almost the same results. Navier-Stokesのインペインティングはほぼ同じ結果をもたらしました。 0.58
The rightmost image corresponds to the case when there are no lost features; in this case, the confidence about the small STOP 一番右の画像 失われた機能がない場合に対応します。この場合、小さなSTOPに関する自信があります。 0.71
sign is 0.94, and a small truck is also detected in the background. 標識は0.94で、小さなトラックもバックグラウンドで検出されます。 0.68
V. CONCLUSIONS V.コンキュレーション 0.76
In this paper, the problem of missing feature recovery in collaborative object detection was studied. 本稿では,協調物体検出における特徴回復の問題について検討した。 0.74
Starting with the surface flow model of natural images, which is known to work well for image inpainting, 画像インペインティングでよく機能することが知られている自然画像の表面フローモデルから始まります。 0.80
we analyzed the effect of various processing steps used in deep convolutional models on such flow, and 深層畳み込みモデルに用いる各種処理工程がこれらの流れに及ぼす影響を分析した。 0.81
concluded that the flow equation remains approximately intact under such operations. フロー方程式はそのような操作の下でほぼ無傷のままであると結論づけられた。 0.40
Hence, methods that work well for image inpainting should work well for latent-space inpainting as well. そのため、方法 イメージインペインティングでもうまく機能し、潜在空間インペインティングでもうまく機能します。 0.70
This conclusion was tested on the YOLOv3 object detector. この結論は YOLOv3オブジェクト検出器でテストされた。 0.74
The results showed that the resulting latent-space inpainting その結果, 潜在空間のインペインティングが得られた。 0.51
methods provide significant improvement over existing tensor completion-based methods for missing 既存のテンソル完備化手法の欠落に対する大幅な改善を提供する方法 0.62
feature recovery, in both accuracy and speed. 精度とスピードの両方で、機能回復。 0.70
REFERENCES [1] Y. Kang, J. Hauswald, C. Gao, A. Rovinski, T. Mudge, J. Mars, and L. Tang, “Neurosurgeon: Collaborative intelligence between the 参考 Y.Kang, J. Hauswald, C. Gao, A. Rovinski, T. Mudge, J. Mars, L. Tang, “Neurosurgeon: Collaborative Intelligence between the clan” 0.68
cloud and mobile edge,” in Proc. Proc.comの「クラウドとモバイルのエッジ」。 0.69
22nd ACM Int. 22nd ACM Int。 0.89
Conf. Arch. Support Programming Languages and Operating Syst., 2017, pp. Conf アーチ。 プログラミング言語とオペレーティングシストのサポート, 2017年, pp。 0.64
615–629. [2] A. E. Eshratifar, A. Esmaili, and M. Pedram, “Towards collaborative intelligence friendly architectures for deep learning,” in 20th Int. 615–629. [2] A. E. Eshratifar, A. Esmaili, M. Pedram, “Towards collaborative intelligence friendly architectures for Deep Learning” in 20th Int。 0.79
Symp. Quality Electronic Design (ISQED), 2019, pp. シンプ。 質の電子設計(ISQED)、2019年、PP。 0.64
14–19. [3] 14–19. [3] 0.78
I. V. Baji´c, W. Lin, and Y. Tian, “Collaborative intelligence: Challenges and opportunities,” in Proc. I.V. Baji ́c, W. Lin, Y. Tian, “Collaborative Intelligence: Challenges and opportunity”. Proc. 0.95
IEEE ICASSP, 2021, to appear. IEEE ICASSP、2021年登場。 0.59
[4] H. Choi and I. V. Baji´c, “Deep feature compression for collaborative object detection,” in Proc. 4] H. Choi と I.V. Baji ’c は Proc で "Deep feature compression for collaboration object detection" を発表した。 0.78
IEEE ICIP, 2018, pp. IEEE ICIP, 2018, pp。 0.81
3743–3747. 3743–3747. 0.71
[5] A. E. Eshratifar, A. Esmaili, and M. Pedram, “BottleNet: a deep learning architecture for intelligent mobile cloud computing services,” a5] A. E. Eshratifar, A. Esmaili, M. Pedram, “BottleNet: インテリジェントなモバイルクラウドコンピューティングサービスのためのディープラーニングアーキテクチャ”。 0.85
in 2019 IEEE/ACM Int. 2019年IEEE/ACM Int。 0.76
Symp. Low Power Electr. シンプ。 低電力帯電器。 0.63
Design (ISLPED), 2019. デザイン(islped)、2019年。 0.71
[6] H. Choi and I. V. Baji´c, “Near-lossless deep feature compression for collaborative intelligence,” in Proc. Procによると、[6]H. ChoiとI.V. Baji ́cは“Near-lossless Deep Feature compression for collaborative Intelligence”だ。
訳抜け防止モード: 6 ] H. ChoiとI.V. Baji ’c, “Near - Losless Deep feature compression for collaboration Intelligence”。 Procで。
0.81
IEEE MMSP, 2018, pp. IEEE MMSP, 2018, pp。 0.81
1–6. [7] Z. Chen, K. Fan, S. Wang, L. Duan, W. Lin, and A. C. Kot, “Toward intelligent sensing: Intermediate deep feature compression,” IEEE 1–6. 7] Z. Chen, K. Fan, S. Wang, L. Duan, W. Lin, and A. C. Kot, “Toward Intelligent Sensor: Intermediate Deep feature compression” IEEE 0.81
Trans. Image Processing, vol. トランス。 Image Processing, vol。 0.72
29, pp. 2230–2243, 2019. 29, pp。 2230–2243, 2019. 0.82
[8] L. Duan, J. Liu, W. Yang, T. Huang, and W. Gao, “Video coding for machines: A paradigm of collaborative compression and intelligent [8]L. Duan, J. Liu, W. Yang, T. Huang, W. Gao, “機械のためのビデオコーディング:協調圧縮とインテリジェントのパラダイム” 0.89
analytics,” IEEE Trans. とIEEE Transは言う。 0.42
Image Processing, vol. Image Processing, vol。 0.78
29, pp. 8680–8695, 2020. 29, pp。 8680–8695, 2020. 0.82
[9] S. R. Alvar and I. V. Baji´c, “Multi-task learning with compressible features for collaborative intelligence,” in Proc. Procでは[9]S.R. AlvarとI.V. Baji ́c, “Multi-task learning with compressible features for collaborative Intelligence”と題されている。 0.71
IEEE ICIP, Sep. IEEE ICIP、9月。 0.85
2019, pp. 1705–1709. 2019年、p。 1705–1709. 0.75
[10] H. Choi, R. A. Cohen, and I. V. Baji´c, “Back-and-forth prediction for deep tensor compression,” in Proc. [10] H. Choi, R. A. Cohen, I. V. Baji ́c, “Back-and-forth prediction for Deep tensor compression”, Proc. 0.89
IEEE ICASSP, 2020, pp. IEEE ICASSP, 2020, pp。 0.81
4467–4471. 4467–4471. 0.71
[11] S. R. Alvar and I. V. Baji´c, “Bit allocation for multi-task collaborative intelligence,” in Proc. 11] s. r. alvar と i. v. baji ́c はprocの "bit allocation for multi-task collaborative intelligence" である。 0.67
IEEE ICASSP, May 2020, pp. IEEE ICASSP, May 2020, pp。 0.82
4342–4346. 4342–4346. 0.71
[12] R. A. Cohen, H. Choi, and I. V. Baji´c, “Lightweight compression of neural network feature tensors for collaborative intelligence,” in 12] R. A. Cohen, H. Choi, I. V. Baji ’c, 「協調知能のためのニューラルネットワーク特徴テンソルの軽量圧縮」 0.84
Proc. IEEE ICME, Jul. Proc IEEE ICME、Jul。 0.64
2020, pp. 1–6. 2020年、p。 1–6. 0.77
英語(論文から抽出)日本語訳スコア
[13] ISO/IEC, “Draft call for evidence for video coding for machines,” Jul. [13] ISO/IEC, “Draftは、機械のためのビデオコーディングの証拠を求めている”、とJulは語る。 0.71
2020, ISO/IEC JTC 1/SC 29/WG 11 W19508. 2020年、ISO/IEC JTC 1/SC 29/WG 11 W19508。 0.59
[14] K. Choi, K. Tatwawadi, A. Grover, T. Weissman, and S. Ermon, “Neural joint source-channel coding,” in Proc. [14] K. Choi, K. Tatwawadi, A. Grover, T. Weissman, S. Ermon, "Neural joint source-channel code" がProcで紹介された。
訳抜け防止モード: [14 ]K. Choi,K. Tatwawadi,A. Grover, T. Weissman, S. Ermon, “Neural joint source - channel coding” Procでは。
0.88
ICML, Jun. 2019, pp. ICML、Jun。 2019年、p。 0.76
1182–1192. 1182–1192. 0.71
[15] J. Shao and J. Zhang, “Bottlenet++: An end-to-end approach for feature compression in device-edge co-inference systems,” in Proc. J. Shao 氏と J. Zhang 氏は Proc で,“Bottlenet++: デバイスエッジコ推論システムにおける機能圧縮のためのエンドツーエンドアプローチ” と説明している。 0.65
IEEE ICC Workshops, 2020, pp. IEEE ICC Workshops, 2020, pp。 0.80
1–6. [16] H. Unnibhavi, H. Choi, S. R. Alvar, and I. V. Baji´c, “DFTS: Deep feature transmission simulator,” in IEEE MMSP, 2018, demo. 1–6. [16] H. Unnibhavi、H. Choi、S.R. Alvar、I.V. Baji ́c、IEEE MMSP、2018年のデモで「DFTS:深部機能伝達シミュレーター」。
訳抜け防止モード: 1–6. He 16 ] H. Unnibhavi, H. Choi, S. R. Alvar I.V. Baji ́c, “DFTS : Deep Feature Transmission simulator” in IEEE MMSP , 2018 , demo .
0.81
[17] L. Bragilevsky and I. V. Baji´c, “Tensor completion methods for collaborative intelligence,” IEEE Access, vol. 17] l. bragilevsky と i. v. baji ́c, “tensor completion methods for collaborative intelligence”, ieee access, vol。 0.84
8, pp. 41 162–41 174, 8, pp。 41 162–41 174, 0.82
2020. [18] M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester, “Image inpainting,” in Proc. 2020. 18] M. Bertalmio、G. Sapiro、V. Caselles、C. Ballester、Procの “Image inpainting”。 0.81
SIGGRAPH, Jul. SIGGRAPH、Jul。 0.70
2000, pp. 417–424. 2000年、p。 417–424. 0.72
[19] M. Bertalmio, A. L. Bertozzi, and G. Sapiro, “Navier-Stokes, fluid dynamics, and image and video inpainting,” in Proc. Procによると、[19]M. Bertalmio, A. L. Bertozzi, G. Sapiro, “Navier-Stokes, fluid dynamics, and image and video inpainting”。 0.92
IEEE CVPR, IEEE CVPR。 0.75
vol. 1, Dec. 2001, pp. Vol. 1、2001年12月、p。 0.70
I–355–I–362. 355-I-362。 0.44
[20] A. Telea, “An image inpainting technique based on the fast marching method,” J. J. A. Telea, “A image inpainting technique based on the fast marching method” 0.65
Graphics Tools, vol. Graphics Tools, vol。 0.81
9, no. 1, pp. 9、いいえ。 1、p。 0.68
23–34, Jan. 2004. 2004年1月23-34日。 0.52
[21] M. Bertalm´ıo, V. Caselles, G. Haro, and G. Sapiro, “PDE-based image and surface inpainting,” in Handbook of Mathematical Models 21] M. Bertalm ́ıo, V. Caselles, G. Haro, G. Sapiro, "PDE-based image and surface inpainting", Handbook of Mathematical Models 0.94
in Computer Vision, N. Paragios, Y. Chen, and O. Faugeras, Eds. Computer Visionでは、N. Paragios、Y. Chen、O. Faugeras、Eds。 0.87
Boston, MA: Springer US, 2006, pp. Boston, MA: Springer US, 2006. 0.69
33–61. [22] B. K. P. Horn and B. G. Schunck, “Determining optical flow,” Artificial Intelligence, vol. 33–61. 22] b.k.p. horn と b.g. schunck, “ determining optical flow”, artificial intelligence, vol. 。 0.78
17, no. 1, pp. 17、いいえ。 1、p。 0.68
185 – 203, 1981. 185 – 203, 1981. 0.85
[23] M. Ulhaq and I. V. Baji´c, “Latent space motion analysis for collaborative intelligence,” in Proc. 23] m. ulhaqとi. v. baji ́c, “latent space motion analysis for collaborative intelligence” in proc。 0.78
IEEE ICASSP, 2021, to appear. IEEE ICASSP、2021年登場。 0.59
[24] Y. Wang, J. Ostermann, and Y.-Q. [24] Y. Wang, J. Ostermann, Y.-Q。 0.89
Zhang, Video Processing and Communications. Zhang、ビデオ処理およびコミュニケーション。 0.77
Upper Saddle River, NJ, USA: Prentice-Hall, 2002. アッパー・サドル川, NJ, USA: Prentice-Hall, 2002年。 0.76
[25] I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning. [25] I.Goodfellow、Y. Bengio、A. Courville、Deep Learning。 0.86
MIT Press, 2016. 2016年MITプレス入社。 0.66
[26] J. Redmon and A. Farhadi, “YOLOv3: an incremental improvement,” arXiv preprint arXiv:1804.02767, 2018. [26] J. Redmon と A. Farhadi, “YOLOv3: an incremental improvement” arXiv preprint arXiv:1804.02767, 2018 0.95
[27] K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” in Proc. 27] K. SimonyanとA. ZissermanはProcで「大規模な画像認識のための非常に深い畳み込みネットワーク」と述べています。
訳抜け防止モード: K. Simonyan and A. Zisserman, “大規模画像認識のための非常に深い畳み込みネットワーク”。 Procでは。
0.79
ICLR, May 2015. 2015年5月、ICLR。 0.70
[28] K. He, X. Zhang, S. Ren, and J. [28]K.He,X.Zhang,S. Ren,J. 0.81
Sun, “Deep residual learning for image recognition,” in Proc. sun, “deep residual learning for image recognition” in proc。 0.67
IEEE CVPR, Jun. IEEE CVPR、Jun。 0.76
2016, pp. 770–778. 2016年、p。 770–778. 0.71
[29] J. Liu, P. Musialski, P. Wonka, and J. Ye, “Tensor completion for estimating missing values in visual data,” IEEE Trans. 29] J. Liu、P. Musialski、P. Wonka、J. Ye、"視覚データにおける欠落値の推定のためのテンソル完了"、IEEE Trans。 0.75
Pattern Analysis and Machine Intelligence, vol. パターン 分析とマシン・インテリジェンス、vol.1。 0.72
35, no. 1, pp. 208–220, Jan. 2013. 35だ 1、p。 208-220, 2013年1月。 0.54
[30] T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Doll´ar, and C. L. Zitnick, “Microsoft COCO: common objects 30] T.-Y。 Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Doll ́ar, C. L. Zitnick, “Microsoft COCO: 共通オブジェクト。 0.86
in context,” in Proc. とprocで述べている。 0.53
ECCV, 2014, pp. ECCV、2014年、pp。 0.64
740–755. 740–755. 0.71
                             ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。