論文の概要、ライセンス

# (参考訳) 主要なビット分析: Schur-Concave Lossによる自動エンコーディング [全文訳有]

Principal Bit Analysis: Autoencoding with Schur-Concave Loss ( http://arxiv.org/abs/2106.02796v2 )

ライセンス: CC BY 4.0
Sourbh Bhadane, Aaron B. Wagner, Jayadev Acharya(参考訳) 我々は、潜在変数が量子化され、ノイズによって劣化する線形自己エンコーダを考察し、潜在変数の集合における制約はシュル・コンケーブである。 この設定で最適なエンコーダ/デコーダペアを見つけることは非凸最適化問題であるが、ソースを主成分に分解することが最適であることを示す。 制約が厳密で経験的共分散行列が単純な固有値しか持たない場合、任意の最適なエンコーダ/デコーダはこの方法でソースを分解しなければならない。 1つのアプリケーションとして、固定レートエンコーディングの下で潜伏変数を表すのに必要なビット数を推定する厳密なSchur-concave制約を考え、これを \emph{Principal Bit Analysis (PBA) と呼ぶ。 これにより、既存のアルゴリズムを上回る実用的で汎用的な固定レート圧縮機が得られる。 第2の応用として,原型的なオートエンコーダベースの可変レート圧縮器では,ソースを主成分に分解することが保証されている。

We consider a linear autoencoder in which the latent variables are quantized, or corrupted by noise, and the constraint is Schur-concave in the set of latent variances. Although finding the optimal encoder/decoder pair for this setup is a nonconvex optimization problem, we show that decomposing the source into its principal components is optimal. If the constraint is strictly Schur-concave and the empirical covariance matrix has only simple eigenvalues, then any optimal encoder/decoder must decompose the source in this way. As one application, we consider a strictly Schur-concave constraint that estimates the number of bits needed to represent the latent variables under fixed-rate encoding, a setup that we call \emph{Principal Bit Analysis (PBA)}. This yields a practical, general-purpose, fixed-rate compressor that outperforms existing algorithms. As a second application, we show that a prototypical autoencoder-based variable-rate compressor is guaranteed to decompose the source into its principal components.
公開日: Tue, 8 Jun 2021 16:16:13 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
1 2 0 2 n u J 1 2 0 2 n u J 0.85
8 ] T I . s c [ 8 ]t.i. sc [ 0.68
2 v 6 9 7 2 0 2 v 6 9 7 2 0 0.85
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Principal Bit Analysis: Autoencoding with Schur-Concave Loss 主なビット分析: Schur-Concave Lossによる自動符号化 0.65
Sourbh Bhadane* Cornell University snb62@cornell.edu Sourbh Bhadane* Cornell University snb62@cornell.edu 0.88
Aaron B. Wagner* Cornell University wagner@cornell.edu Aaron B. Wagner* Cornell University wagner@cornell.edu 0.90
Jayadev Acharya* Cornell University Jayadev Acharya* Cornell University 0.85
acharya@cornell.edu acharya@cornell.edu 0.78
June 9, 2021 Abstract 2021年6月9日 概要 0.58
We consider a linear autoencoder in which the latent variables are quantized, or corrupted by noise, and the constraint is Schur-concave in the set of latent variances. 我々は、潜在変数が量子化され、ノイズによって劣化する線形自己エンコーダを考察し、潜在変数の集合における制約はシュル・コンケーブである。 0.65
Although finding the optimal encoder/decoder pair for this setup is a nonconvex optimization problem, we show that decomposing the source into its principal components is optimal. この設定で最適なエンコーダ/デコーダペアを見つけることは非凸最適化問題であるが、ソースを主成分に分解することが最適であることを示す。 0.74
If the constraint is strictly Schur-concave and the empirical covariance matrix has only simple eigenvalues, then any optimal encoder/decoder must decompose the source in this way. 制約が厳密で経験的共分散行列が単純な固有値しか持たない場合、任意の最適なエンコーダ/デコーダはこの方法でソースを分解しなければならない。 0.68
As one application, we consider a strictly Schur-concave constraint that estimates the number of bits needed to represent the latent variables under fixed-rate encoding, a setup that we call Principal Bit Analysis (PBA). 1つのアプリケーションとして、固定レートエンコーディングの下で潜伏変数を表すのに必要なビット数を推定する厳密なSchur-concave制約(Principal Bit Analysis (PBA)と呼ぶ設定)を考える。 0.75
This yields a practical, general-purpose, fixed-rate compressor that outperforms existing algorithms. これにより、既存のアルゴリズムを上回る実用的で汎用的な固定レート圧縮機が得られる。 0.55
As a second application, we show that a prototypical autoencoder-based variable-rate compressor is guaranteed to decompose the source into its principal components. 第2の応用として,原型的なオートエンコーダベースの可変レート圧縮器では,ソースを主成分に分解することが保証されている。 0.59
1 Introduction Given a centered dataset x1, x2, . はじめに 中央データセット x1, x2, . 0.69
. . , xn ∈ Rd (i.e.,(cid:80) . . , xn ∈ Rd(すなわち(cid:80) 0.86
Autoencoders are an effective method for representation learning and dimensionality reduction. オートエンコーダは表現学習と次元還元に有効な方法である。 0.69
i xi = 0), an autoencoder (with latent dimension k ≤ d) consists of an encoder f : Rd (cid:55)→ Rk and a decoder g : Rk (cid:55)→ Rd. i xi = 0) オートエンコーダ (潜在次元 k ≤ d) は、エンコーダ f : rd (cid:55)→ rk とデコーダ g : rk (cid:55)→ rd からなる。
訳抜け防止モード: i xi = 0 ) オートエンコーダ(後続次元 k ≤ d )はエンコーダ f : Rd ( cid:55) → Rk からなる。 そしてデコーダ g : Rk ( cid:55) → Rd である。
0.81
The goal is to select f and g from prespecified classes Cf and Cg respectively such that if a random point x is picked from the data set then g(f (x)) is close to x in some sense, for example in mean squared error. その目的は、予め指定されたクラスcfとcgからそれぞれfとgを選択することで、データセットからランダムな点xが選択されると、例えば平均二乗誤差のように、g(f(x))はxに近い。 0.75
If Cf and Cg consist of linear mappings then the autoencoder is called a linear autoencoder. cf と cg が線形写像からなる場合、オートエンコーダは線形オートエンコーダと呼ばれる。 0.72
Autoencoders have achieved striking successes when f and g are selected through training from the class of functions realized by multilayer perceptrons of a given architecture [HS06]. 与えられたアーキテクチャ(hs06)の多層パーセプトロンによって実現される関数のクラスから f と g を訓練することで、オートエンコーダは大きな成功を収めた。 0.67
Yet, the canonical autoencoder formulation described above has a notable failing, namely that for linear autoencoders, optimal choices of f and g do not necessarily identify the principal components of the dataset; they merely identify the principal subspace [BK88, BH89]. しかし、上述の標準オートエンコーダの定式化は注目すべき失敗であり、リニアオートエンコーダの場合、f と g の最適選択は必ずしもデータセットの主成分を識別しない。
訳抜け防止モード: しかし、上述の標準オートエンコーダの定式化には注目すべき失敗がある。 すなわち、リニアオートエンコーダの場合、f と g の最適選択は必ずしもデータセットの主要成分を識別しない。 それらは主部分空間 [bk88, bh89 ] をただ識別するだけである。
0.61
That is, the *This research was supported by the US National Science Foundation under grants CCF-2008266, CCF-1934985, つまり... ※この研究は米国国立科学財団がCCF-2008266、CCF-1934985の助成を受けた。 0.56
CCF-1617673, CCF-1846300, CCF-1815893 and the US Army Research Office under grant W911NF-18-1-0426. ccf-1617673、ccf-1846300、ccf-1815893およびグラントw911nf-18-1-0426下のアメリカ陸軍研究局。 0.49
1 1 0.85
英語(論文から抽出)日本語訳スコア
components of f (x) are not necessarily proportional to projections of x against the eigenvectors of the covariance matrix f(x) の成分は必ずしも共分散行列の固有ベクトルに対して x の射影に比例するとは限らない 0.72
(1) n(cid:88) (1) n(cid:88) 0.85
i=1 K def= i=1 K def= 0.74
1 n xi · x(cid:62) i , 1n xi · x(cid:62) i , 0.86
which we assume without loss of generality is full rank. 一般性を失うことなく 完全な階級であると仮定します 0.61
Thus, linear autoencoders do not recover Principal Component Analysis (PCA). したがって、線形オートエンコーダは主成分分析(PCA)を回復しない。 0.73
The reason for this is that both the objective (the distortion) and the constraint (the dimensionality of the latents) are invariant to an invertible transformation applied after the encoder with its inverse applied before the decoder. この理由は、目的(歪み)と制約(潜伏者の次元)の両方がエンコーダの後に適用される可逆変換に不変であり、デコーダの前にその逆が適用されるからである。 0.81
It is desirable for linear autoencoders to recover PCA for two reasons. 線形オートエンコーダは2つの理由からPCAを回復することが望ましい。 0.71
First, from a representation learning standpoint, it guarantees that the autoencoder recovers uncorrelated features. まず、表現学習の観点から、オートエンコーダが非相関的な特徴を回復することを保証する。 0.56
Second, since a conventional linear autoencoder has a large number of globally optimal solutions corresponding to different bases of the principal subspace, it is preferable to eliminate this indeterminism. 第二に、従来の線形自己エンコーダは、主部分空間の異なる基底に対応する多くの大域的最適解を持つため、この非決定性を排除することが好ましい。 0.69
Autoencoders are sometimes described as “compressing” the data [San12, BK88, LZW+21, Bis06], even though f can be invertible even when k < d. We show that by embracing this compression-view, one can obtain autoencoders that are able to recover PCA. オートエンコーダは、k < d であっても f が可逆であるにもかかわらず、データ [San12, BK88, LZW+21, Bis06] を「圧縮する」と表現されることがある。
訳抜け防止モード: オートエンコーダはデータ[san12]を“圧縮する”と表現されることもある。 bk88, lzw+21, bis06 ], しかし f は k < d であっても可逆である。 この圧縮を取り入れることで、pcaを回復できるオートエンコーダを得ることができる。
0.65
Specifically, we consider linear autoencoders with quantized (or, equivalently, noisy) latent variables with a constraint on the estimated number of bits required to transmit the quantized latents under fixedrate coding. 具体的には、固定レート符号化下で量子化された潜在子を伝送するために必要なビット数に制約のある量子化(または等価なノイズ)した線形オートエンコーダについて検討する。 0.63
We call this problem Principal Bit Analysis (PBA). この問題をPrincipal Bit Analysis (PBA)と呼ぶ。 0.72
The constraint turns out to be a strictly Schur-concave function of the set of variances of the latent variables (see the supplementary for a review of Schur-concavity). 制約は、潜在変数の分散の集合の厳密なシュール凹関数であることが判明した(シュール凹性のレビューのための補足項を参照)。 0.72
Although finding the optimal f and g for this loss function is a nonconvex optimization problem, we show that for any strictly Schur-concave loss function, an optimal f must send projections of the data along the principal components, assuming that the empirical covariance matrix of the data has only simple eigenvalues. この損失関数の最適 f と g は非凸最適化問題であるが、厳密なシュル・コンケーブ損失関数に対して、データの経験的共分散行列が単純な固有値しか持たないと仮定して、最適 f が主成分に沿ってデータの射影を送らなければならないことを示す。 0.78
That is, imposing a strictly Schur-concave loss in place of a simple dimensionality constraint suffices to ensure recovery of PCA. すなわち、PCAの回復を確実にするために、単純な次元制約の代わりに厳密なシュル・コンケーブ損失を課す。 0.67
The idea is that the strict concavity of the loss function eliminates the rotational invariance described above. この考え方は、損失関数の厳密な凹凸が上記の回転不変性を排除するというものである。 0.67
As we show, even a slight amount of “curvature” in the constraint forces the autoencoder to spread the variances of the latents out as much as possible, resulting in recovery of PCA. 我々が示すように、制約のわずかな「曲率」であっても、オートエンコーダは潜伏者の分散を可能な限り拡散させ、pcaの回復に繋がる。 0.50
If the loss function is merely Schur-concave, then projecting along the principal components is optimal, but not necessarily uniquely so. 損失関数が単にシュル凹であるなら、主成分に沿って射影することは最適であるが必ずしも一意的ではない。 0.65
Using this theorem, we can efficiently solve PBA. この定理を用いて、PBAを効率的に解くことができる。 0.59
We validate the solution experimentally by using it to construct a fixed-rate compression algorithm for arbitrary vector-valued data sources. 任意のベクトル値データソースに対して固定レート圧縮アルゴリズムを構築するために,この解を実験的に検証する。 0.73
We find that the PBA-derived compressor beats existing linear, fixed-rate compressors both in terms of mean squared error, for which it is optimized, and in terms of the structural similarity index measure (SSIM) and downstream classification accuracy, for which it is not. PBA由来の圧縮機は、最適化された平均二乗誤差と、最適化されていない構造類似度指数測度(SSIM)と下流分類精度の両方で、既存の線形固定レート圧縮機に打ち勝つ。 0.75
A number of variable-rate multimedia compressors have recently been proposed that are either related to, or directly inspired by, autoencoders [TAL18, TVJ+17, BLS16, TOH+16, TSCH17, RB17, HRTC19, AMT+17, BMS+18, ZCG+18, ATM+19, BCM+20]. 近年、多数の可変レートマルチメディア圧縮機(TAL18, TVJ+17, BLS16, TOH+16, TSCH17, RB17, HRTC19, AMT+17, BMS+18, ZCG+18, ATM+19, BCM+20)が提案されている。 0.83
As a second application of our result, we show that for Gaussian sources, a linear form of such a compressor is guaranteed to recover PCA. この結果の第二の応用として、ガウス情報源に対して、そのような圧縮機の線形形式がPCAを復元することを保証していることを示す。 0.62
Thus we show that ideas from compression can be fruitfully fed back into the original autoencoder problem. したがって、圧縮によるアイデアは、元のオートエンコーダ問題に実りよくフィードバックできることを示す。 0.72
The contributions of the paper are • We propose a novel linear autoencoder formulation in which the constraint is Schur-concave. 論文の貢献は • 制約がSchur-concaveとなる新しい線形オートエンコーダの定式化を提案する。 0.62
We show that this generalizes conventional linear autoencoding. 従来の線形自動符号化を一般化することを示す。 0.52
• If the constraint is strictly Schur-concave and the covariance matrix of the data has only •制約が厳密にシュール凹であり、データの共分散行列が唯一の場合 0.87
2 2 0.85
英語(論文から抽出)日本語訳スコア
simple eigenvalues, then we show that the autoencoder provably recovers PCA, providing a new remedy for a known limitation of linear autoencoders. 単純な固有値から、オートエンコーダはPCAを確実に回復し、線形オートエンコーダの既知の制限に対する新しい対策を提供する。 0.67
• We use the new linear autoencoder formulation to efficiently solve a fixed-rate compres- •新しい線形オートエンコーダを用いて、固定レートの計算を効率的に解く。 0.66
sion problem that we call Principal Bit Analysis (PBA). 主ビット解析 (principal bit analysis, pba) と呼ぶ sion 問題。 0.67
• We demonstate experimentally that PBA outperforms existing fixed-rate compressors on a •pbaが既存の固定レート圧縮機を上回ることを実験的に証明する 0.63
variety of data sets and metrics. さまざまなデータセットとメトリクスです 0.70
• We show that a linear, variable-rate compressor that is representative of many autoencoderbased compressors in the literature effectively has a strictly Schur-concave loss, and therefore it recovers PCA. • 文献中の多くの自己エンコーダベースの圧縮機を代表する線形可変レート圧縮機は、厳密なシュルコンケーブ損失を有しており、PCAを回復することを示す。 0.80
Related Work. Several recent works have examined how linear autoencoders can be modified to guarantee recovery of PCA. 関連作品。 近年、PCAの回復を保証するために、線形オートエンコーダをどのように修正できるかが研究されている。 0.54
Most solutions involve eliminating the invariant global optimal solutions by introducing regularization of some kind. ほとんどの解は、ある種の正則化を導入することによって不変大域的最適解を排除することを含む。 0.46
[OSWS20] propose a loss function which adds k penalties to recover the k principal directions, each corresponding to recovering up to the first i ≤ k principal directions. [osws20] は、k 主方向を回復するための k ペナルティを付加する損失関数を提案し、それぞれが最初の i ≤ k 主方向まで回復する。 0.65
[KBGS19] show that (cid:96)2 regularization helps reduce the symmetry group to the orthogonal group. [KBGS19] は (cid:96)2 の正則化が対称群を直交群に還元することを示した。 0.63
[BLSG20] further break the symmetry by considering non-uniform (cid:96)2 regularization and deterministic dropout. [blsg20]非一様(cid:96)2正規化と決定論的ドロップアウトを考慮し、対称性をさらに破る。 0.59
[LNP19] consider a nonlinear autoencoder with a covariance loss term to encourage finding orthogonal directions. [LNP19] は直交方向の発見を促進するために共分散損失項を持つ非線形オートエンコーダを考える。 0.68
Recovering PCA is an important problem even in the stochastic counterpart of autoencoders. PCAの復元は、オートエンコーダの確率的対応においても重要な問題である。 0.55
[LTGN19] analyze linear variational autoencoders (VAEs) and show that the global optimum of its objective is identical to the global optimum of log marginal likelihood of probabilistic PCA (pPCA). [LTGN19] は線形変分オートエンコーダ (VAE) を解析し、その目的の大域的最適性は確率的PCA (pPCA) の対数限界確率の大域的最適性と同一であることを示す。 0.74
[RZM19] analyze an approximation to the VAE loss function and show that the linear approximation to the decoder is orthogonal. [RZM19]は、VAE損失関数に対する近似を分析し、デコーダに対する線形近似が直交であることを示す。 0.80
Our result on variable-rate compressors is connected to the sizable recent literature on compression using autoencoder-like architectures. 可変レート圧縮機に関する結果は,オートエンコーダライクなアーキテクチャを用いた圧縮に関する最近のかなりの文献と結びついている。 0.58
Representative contributions to the literature were noted above. 文献への代表的貢献は上記のとおりである。 0.68
Those works focus mostly on the empirical performance of deep, nonlinear networks, with a particular emphasis on finding a differentiable proxy for quantization so as to train with stochastic gradient descent. これらの研究は主に、深い非線形ネットワークの実証的な性能に焦点を当てており、特に確率勾配勾配でトレーニングするために量子化のための微分可能なプロキシを見つけることに重点を置いている。
訳抜け防止モード: これらの研究は主に、ディープ非線形ネットワークの実証的な性能に焦点を当てている。 特に強調して 確率勾配降下で訓練するために 量子化の異なるプロキシを見つけること。
0.66
In contrast, this work considers provable properties of the compressors when trained perfectly. 対照的に、この研究は、完全に訓練されたときに圧縮機の証明可能な特性を考慮する。 0.45
Notation. We denote matrices by bold capital letters e g M , and vectors by bold small, e g v. The jth column of a matrix M is denoted by mj and the jth entry of a vector v by [v]j. 表記。 行列 m の j 番目の列は mj で表され、ベクトル v の j 番目のエントリは [v]j で表される。
訳抜け防止モード: 表記。 行列を大胆な大文字 e g m で表す。 行列 m の j 列は mj で表される。 v]j によるベクトル v の j 番目のエントリ。
0.54
We denote the set {1, 2,··· d} by [d]. 集合 {1, 2,··· d} を [d] で表す。 0.56
A sequence a1, a2,··· an is denoted by {ai}n i=1. 配列 a1, a2,··· an は {ai}n i=1 で表される。 0.83
We denote the zero column by 0. ゼロ列を 0 で表す。 0.62
Logarithms without specified bases denote natural logarithms. 特定の基底を持たない対数は自然対数を表す。 0.47
Organization. The balance of the paper is organized as follows. 組織。 紙のバランスは以下の通りである。 0.65
We describe our constrained linear autoencoder framework in Section 2. 第2節では制約付き線形オートエンコーダフレームワークについて述べる。 0.61
This results in an optimization problem that we solve for any Schur-concave constraint in Section 2.1. これにより、第2.1節のschur-concave制約に対して解く最適化問題が発生する。 0.62
In Section 3, we recover linear autoencoders and PBA under our framework. 第3節では,線形オートエンコーダとPBAをフレームワーク下で復元する。 0.61
We apply the PBA solution to a problem in variable-rate compression of Gaussian sources in Section 4. 第4節のガウス音源の可変レート圧縮における問題に対して、PBA解を適用する。 0.64
Section 5 contains experiments comparing the performance of the PBA-based fixed-rate compressor against existing fixed-rate linear compressors on image and audio datasets. 第5節は、画像およびオーディオデータセット上の既存の固定レート線形圧縮機とpbaベースの固定レート圧縮機の性能を比較する実験を含む。 0.65
3 3 0.85
英語(論文から抽出)日本語訳スコア
2 Linear Autoencoding with a Schur-Concave Constraint Throughout this paper we consider Cf and Cg to be the class of linear functions. この論文を通して、Cf と Cg を線型関数のクラスと考える。
訳抜け防止モード: 2 Schur-Concave Constraint を用いた線形自動符号化について Cf と Cg は線型関数の類である。
0.74
The functions f ∈ Cf and g ∈ Cg can then be represented by d-by-d matrices, respectively, which we denote by W and T , respectively. 関数 f ∈ Cf と g ∈ Cg はそれぞれ d-by-d 行列で表すことができ、それぞれ W と T で表す。 0.64
Thus we have (2) (3) We wish to design W and T to minimize the mean squared error when the latent variables W (cid:62)x are quantized, subject to a constraint on the number of bits needed to represent the quantized latents. だから私たちは 2) (3) 潜伏変数 W (cid:62)x が量子化されたときの平均二乗誤差を最小限に抑えるために、量子化された潜伏変数を表すのに必要なビット数に制約を加えるように、W と T を設計したい。 0.71
We accomplish this via two modifications of the canonical autoencoder. これを正準オートエンコーダの2つの修正によって実現した。 0.52
First, we perturb the d latent variables with zero-mean additive noise with covariance matrix σ2I, which we denote by ε. まず、共分散行列 σ2i とゼロ平均加法ノイズを持つ d の潜在変数を摂動させ、これは ε で表される。 0.65
Thus the input to the decoder is したがってデコーダへの入力は 0.77
f (x) = W (cid:62)x g(x) = T x. f (x) = w (cid:62)x g(x) = t x である。 0.95
and our objective is to minimize the mean squared error 我々の目標は 平均二乗誤差を最小化し 0.81
n(cid:88) i=1 n(cid:88) i=1 0.71
1 n (cid:20)(cid:13)(cid :13)(cid:13)xi − T 1n (cid:20)(cid:13)(cid :13)(cid:13)xi − T 0.77
(cid:16) Eε (cid:16) Eε 0.78
W (cid:62)xi + ε W (cid:62)xi + ε 0.94
W (cid:62)x + ε W (cid:62)x + ε 0.94
(cid:21) (cid:17)(cid:13)(cid :13)(cid:13)2 (cid:21) (cid:17)(cid:13)(cid :13)2 0.87
2 . (4) (5) 2 . (4) (5) 0.85
This is equivalent to quantizing the latents, in the following sense [ZF92]. これは、下記の意味で、潜伏者の定量化と等価である [zf92]。 0.48
Let Q(·) be the function that maps any real number to its nearest integer and ε be a random variable uniformly distributed over [−1/2, 1/2]. Q(·) を任意の実数とその最も近い整数に写像し、ε を [−1/2, 1/2] 上に一様分布する確率変数とする。 0.83
Then for X independent of ε, the quantities Q(X + ε) − ε and X + ε have the same joint distribution with X. このとき、 ε から独立な X に対して、量 Q(X + ε) − ε と X + ε は X と同じ結合分布を持つ。 0.87
Thus (5) is exactly the mean squared error if the latents are quantized to the nearest integer and σ2 = 1 12, assuming that the quantization is dithered. したがって (5) がちょうど平均二乗誤差(英語版)であるとは、潜在元が最も近い整数に量子化され σ2 = 1 12 が量子化されるときである。 0.64
The overall system is depicted in Fig 1. 全体システムは図1に示されています。 0.77
xi Linear Encoder xi リニアエンコーダ 0.77
(W ) W (cid:62)xi (W) W (cid:62)xi 0.85
Quantizer W (cid:62)xi + ε 量子化器 W (cid:62)xi + ε 0.64
Linear Decoder (T ) リニアデコーダ (T) 0.74
Figure 1: Compression Block Diagram 図1:圧縮ブロック図 0.75
T(cid:0)W (cid:62)xi + ε(cid:1) T(cid:0)W(cid:62)xi + ε(cid:1) 0.84
where a > 0 is a hyperparameter and the covariance matrix K is as defined in (1). a > 0 は超パラメータであり、共分散行列 K は(1) で定義される。 0.76
The idea is that for sufficiently large a, the interval 十分大きな a に対して、その間隔は 0.50
(cid:16)−a (cid:16)−a 0.74
(cid:113) w(cid:62) j Kwj, a (cid:113) w(cid:62) j Kwj, a 0.87
w(cid:62) j Kwj w(cid:62) j Kwj 0.92
(cid:105) We wish to constrain the number of bits needed to describe the latent variables. (cid:105) 我々は潜伏変数を記述するのに必要なビット数を制限したい。 0.77
We assume that the jth quantized latent is clipped to the interval 私たちは jth量子化された潜伏が間隔に切り取られること 0.66
(cid:113) − (cid:113) − 0.78
(2a)2w(cid:62) j Kwj + 1 2 (2a)2w(cid:62)j Kwj + 1 2 0.89
, (2a)2w(cid:62) j Kwj + 1 2 , (2a)2w(cid:62)j Kwj + 1 2 0.87
 , (cid:113)  , (cid:113) 0.82
(cid:113) 4 (cid:113) 4 0.82
英語(論文から抽出)日本語訳スコア
We arrive at our optimization problem: 私たちは最適化の問題にたどり着きます。 0.57
contains the latent with high probability, and adding 1 accounts for the expansion due to the dither. 高い確率の潜伏剤を含み、ダイザーによる拡張のために1のアカウントを追加する。 0.59
The number of bits needed for the jth latent is then すると j 番目の潜入に必要なビット数は 0.72
log 4a2w(cid:62) ログ 4a2w(cid:62) 0.65
j Kwj + 1 4a2w(cid:62) j Kwj + 1 4a2w(cid:62) 0.72
j Kwj + 1 (cid:16)(cid:113) j Kwj + 1 (cid:16)(cid:113) 0.80
1 n Eε inf W ,T 1n Eε inf W,T 0.79
n(cid:88) subject to R ≥ d(cid:88) j=1 (cid:55)→ d(cid:88) R ≥ d(cid:88) j=1(cid:55)→ d(cid:88) 0.87
j Kwj}d {w(cid:62) j Kwj}d {w(cid:62) 0.87
1 2 j=1 i=1 1 2 j=1 i=1 0.68
j=1 (cid:17) (cid:21) j=1 (cid:17)(cid:21) 0.66
(cid:17)(cid:13)(cid :13)(cid:13)2 (cid:17) (cid:17)(cid:13)(cid :13)(cid:13)2(cid:17 ) 0.73
2 . (cid:16) (cid:16) 2 . (cid:16)(cid:16) 0.81
= 1 2 log (cid:17) (cid:20)(cid:13)(cid :13)(cid:13)xi − T (cid:16) = 1 2 ログ (cid:17) (cid:20)(cid:13)(cid :13)(cid:13)xi − T (cid:16) 0.79
log W (cid:62)xi + ε ログ W (cid:62)xi + ε 0.83
4a2w(cid:62) 4a2w(cid:62) 0.59
i Kwi + 1 (cid:16) i Kwi + 1 (cid:16) 0.82
1 2 log 4a2w(cid:62) 1 2 ログ 4a2w(cid:62) 0.72
i Kwi + 1 (cid:17) i Kwi + 1 (cid:17) 0.82
. (6) (7) Note that the function . (6) (7) 注意すべき点は 0.75
is strictly Schur-concave (see Appendix A for a brief review of Schur-concavity). 厳密には Schur-concave である(Schur-concavity の簡単なレビューは Appendix A を参照)。 0.65
Our first result only requires that the constraint is Schur-concave in the set of latent variances, so we will consider the more general problem 最初の結果は、制約が潜在分散の集合においてシュール凹であることのみを要求するので、より一般的な問題を考える。 0.59
inf W ,T 1 n inf W,T 1n 0.79
subject to R ≥ ρ where ρ(·) is any Schur-concave function. R ≥ ρ で ρ(·) は任意のシュル-凹函数である。 0.80
inf W ,T tr (K) − 2tr inf W,T tr (K) − 2tr 0.91
(cid:18)(cid:110) (cid:18)(cid:110) 0.75
subject to R ≥ ρ r ≥ ρ に従属する 0.79
w(cid:62) j Kwj w(cid:62) j Kwj 0.92
(cid:21) (cid:17)(cid:13)(cid :13)(cid:13)2 (cid:21) (cid:17)(cid:13)(cid :13)2 0.87
2 W (cid:62)xi + ε 2 W (cid:62)xi + ε 0.90
(cid:19) n(cid:88) (cid:19) n(cid:88) 0.81
i=1 Eε (cid:20)(cid:13)(cid :13)(cid:13)xi − T (cid:18)(cid:110) KW T (cid:62)(cid:17) (cid:19) (cid:111)d i=1 Eε (cid:20)(cid:13)(cid :13)(cid:13)xi − T (cid:18)(cid:110)KW T (cid:62)(cid:17) (cid:19) (cid:111)d 0.71
w(cid:62) j Kwj w(cid:62) j Kwj 0.92
+ tr (cid:16) +tr (cid:16) 0.75
(cid:16) (cid:111)d (cid:16) (cid:16) (cid:111)d (cid:16) 0.76
T . j=1 j=1 T . j=1 j=1 0.72
(cid:16) W (cid:62)KW + σ2I (cid:16) W (cid:62)KW + σ2I 0.78
(cid:17) T (cid:62)(cid:17) (cid:17) T (cid:62)(cid:17) 0.78
Expressing the objective in (8) in terms of K, the optimization problem reduces to 8) の目的を k の項で表すと、最適化問題は減少する 0.73
Since T does not appear in the rate constraint, the optimal T can be viewed as the Linear Least Squares Estimate (LLSE) of a random x given W (cid:62)x + ε. T はレート制約に現れないので、最適 T は W (cid:62)x + ε を与えられたランダム x の線形最小平方 Estimate (LLSE) と見なすことができる。 0.79
Therefore, the optimal decoder, T ∗ for a given encoder W is (e g [Kay98]): したがって、与えられたエンコーダ W に対する最適デコーダ T ∗ は (e g [Kay98]) である。 0.80
T ∗ = KW (W (cid:62)KW + σ2I)−1. T ∗ = KW (W (cid:62) KW + σ2I)−1。 0.84
Substituting for T in (9) yields an optimization problem over only W T in (9) の置換は W のみに対する最適化問題をもたらす 0.88
tr(K) − tr(KW (W (cid:62)KW + σ2I)−1W (cid:62)K) tr(K) − tr(KW (W (cid:62)KW + σ2I)−1W (cid:62)K) 0.88
inf W subject to R ≥ ρ inf W r ≥ ρ に従属する 0.82
w(cid:62) j Kwj w(cid:62) j Kwj 0.92
(cid:18)(cid:110) (cid:18)(cid:110) 0.75
(cid:111)d (cid:111)d 0.84
j=1 (cid:19) j=1 (cid:19) 0.69
. This problem is nonconvex in general. . この問題は概して非凸である。 0.73
In the following subsection, we prove a structural result about the problem for a Schur-concave ρ. Namely, we show that the nonzero rows of W must be eigenvectors of K. In Section 3, we solve the problem for the specific choice of ρ in (7). すなわち、w の非零行は k の固有ベクトルであることを示し、第3節では ρ in (7) の特定の選択に関する問題を解く。
訳抜け防止モード: 次の節では、Schur-concave ρ の問題に関する構造的な結果を示す。 つまり、私たちは W の非零行は K の固有ベクトルでなければならない。 ρ in ( 7 ) の特定の選択の問題を解く。
0.68
We also show how this generalizes conventional linear autoencoders. また,従来の線形オートエンコーダの一般化についても述べる。 0.59
5 (8) (9) (10) 5 (8) (9) (10) 0.85
(11) (11) 0.85
英語(論文から抽出)日本語訳スコア
2.1 Optimal Autoencoding with a Schur-Concave Constraint 2.1 schur-concave制約付き最適オートエンコーディング 0.69
The following is the main theoretical result of the paper. 以下は、論文の主要な理論的結果である。 0.76
Theorem 1. For Schur-concave ρ : Rd≥0 → R≥0 and R > 0, the set of matrices whose nonzero columns are eigenvectors of the covariance matrix K is optimal for (11). 理論1。 Schur-concave ρ : Rd≥0 → R≥0 および R > 0 に対して、非零列が共分散行列 K の固有ベクトルである行列の集合は (11) に対して最適である。 0.66
If ρ is strictly Schurconcave and K contains distinct eigenvalues, this set contains all optimal solutions of (11). ρ が厳密にシュルコンケーブで k が異なる固有値を含むならば、この集合は (11) のすべての最適解を含む。 0.70
Proof. Let the eigenvalues of K be {σ2 i }d i=1 with σ2 d. Let the eigendecomposition of K be given by K = U ΣU(cid:62) where U is an orthogonal matrix whose columns are the 証明。 k の固有値 {σ2 i }d i=1 を σ2 d とすると、k の固有分解は k = u σu(cid:62) で与えられる。
訳抜け防止モード: 証明。 K の固有値は { σ2 i } d i=1 で σ2 d とする。 K の固有分解を K = U ΣU (cid:62 ) とする。 U は列が直交行列である
0.74
eigenvectors of K and Σ is a diagonal matrix with entries(cid:8)σ2 diagonal matrix. k と σ の固有ベクトルは(cid:8)σ2 対角行列を持つ対角行列である。 0.73
Let (cid:102)W = W Q where Q is the orthogonal matrix obtained from the eigende- Q を固有値から得られる直交行列とする (cid:102)W = W Q とする。 0.69
We first prove that the optimal value of (11) can be achieved by a W such that W (cid:62)KW is a まず (11) の最適値は W (cid:62)KW が a であるような W によって達成できることを示す。 0.84
2 ≥ . . . ≥ σ2 2 ≥ . . . ≥ σ2 0.86
1 ≥ σ2 (cid:9)d 1 ≥ σ2 (cid:9)d 0.89
i=1. i composition of W (cid:62)KW i.e., i=1。 私は W (cid:62)KW i.e.の組成 0.66
W (cid:62)KW = QΛQ(cid:62), W (cid:62)KW = Q Q (cid:62) 0.85
where Λ is a diagonal matrix formed from the eigenvalues of W (cid:62)KW . ここで は W (cid:62)KW の固有値から生成される対角行列である。 0.68
Note that (cid:18) K(cid:102)W 注意 (cid:18)K(cid:102)W 0.62
tr (cid:16)(cid:102)W (cid:62)K(cid:102)W + σ2I tr (cid:16)(cid:102)W(c id:62)K(cid:102)W + σ2I 0.80
(cid:17)−1(cid:102)W (cid:62)K (cid:17)−1(cid:102)W(cid:62)K 0.76
(cid:19) (cid:16) KW Q(cid:0)Λ + σ2I(cid:1)−1 (cid:18) (cid:19) (cid:16) KW Q(cid:0) = + σ2I(cid:1)−1 (cid:18) 0.76
QΛQ(cid:62) + σ2QQ(cid:62)(cid:17)−1 Q(cid:62) + σ2QQ(cid:62)(cid:17)−1 0.70
(cid:16) KW (cid:16) KW 0.82
Q(cid:62)W (cid:62)K Q(cid:62)W (cid:62)K 0.84
(cid:17) W (cid:62)K (cid:17) W (cid:62)K 0.83
(cid:19) . (cid:19) . 0.82
= tr = tr Since QΛQ(cid:62) = W (cid:62)KW and QQ(cid:62) = I, the objective remains the same. =tr =tr QQ(cid:62) = W(cid:62)KW と QQ(cid:62) = I であるため、目的は同じである。 0.68
We now show that the constraint is only improved. 現在、制約は改善されているだけである。 0.58
Denoting the eigenvalues of W (cid:62)KW by {νj}d νj}d による W (cid:62)KW の固有値を表す 0.80
j=1, we have (cid:18)(cid:110)(ci d:101)w(cid:62) j K(cid:101)wj j=1です (cid:18)(cid:110)(ci d:101)w(cid:62)jk(ci d:101)wj 0.74
(cid:111)d (cid:111)d 0.84
ρ (cid:19) ρ (cid:19) 0.82
= ρ j=1 (cid:18)(cid:110) = ρ j=1 (cid:18)(cid:110) 0.73
(cid:111)d (cid:111)d 0.84
(cid:19) j=1 (cid:19) j=1 0.69
(cid:16){νj}d (cid:16){νj}d 0.86
(cid:17) = ρ (cid:17) = ρ 0.82
j=1 . Now since the eigenvalues of a Hermitian matrix majorize its diagonal elements by the Schur- j=1 . 今、エルミート行列の固有値がその対角元をシュルによって乗算しているから- 0.67
Horn theorem [HJ13, Theorem 4.3.45],(cid:110) (cid:19) (cid:111)d ホーン定理[HJ13, Theorem 4.3.45], (cid:110) (cid:19) (cid:111)d 0.68
Since ρ is Schur-concave, this implies ρ は Schur-concave であるため、これは意味する。 0.54
(cid:18)(cid:110) (cid:18)(cid:110) 0.75
ρ w(cid:62) j Kwj ρ w(cid:62) j Kwj 0.88
≥ ρ j=1 w(cid:62) j Kwj ≥ ρ j=1 w(cid:62) j Kwj 0.78
j=1 . j W (cid:62)KW qj q(cid:62) (cid:111)d (cid:16){νj}d j=1。 j W (cid:62)KW qj q(cid:62) (cid:111)d (cid:16){νj}d 0.74
≺ {νj}d νj (複数形νjs またはνj) 0.24
(cid:17) = ρ (cid:17) = ρ 0.82
j=1 j=1 (cid:18)(cid:110)(ci d:101)w(cid:62) j K(cid:101)wi j=1 j=1 (cid:18)(cid:110)(ci d:101)w(cid:62)j K(cid:101)wi 0.65
(cid:111)d (cid:111)d 0.84
j=1 (cid:19) j=1 (cid:19) 0.69
. Therefore, if ρ is Schur-concave, the rate constraint can only improve. . したがって、ρ がシュル・コンケーブであれば、レート制約は改善できる。 0.77
This implies an optimal solution can be attained when W is such that W (cid:62)KW is diagonal. これは、W が W (cid:62)KW が対角的であるようなときに最適解が得られることを意味する。 0.60
If ρ is strictly Schur-concave, the rate constraint strictly improves implying that the optimal W must be such that W (cid:62)KW is diagonal. ρ が厳密にシュール凹であれば、レート制約は w (cid:62)kw が対角的であるような最適 w でなければならないことを意味する。
訳抜け防止モード: ρ が厳密ならば -対訳 利率制約は厳格に改善する 最適 W は W ( cid:62)KW が対角的であるようにしなければならない。
0.74
This implies that (cid:18) これが意味する。 (cid:18) 0.66
(cid:16) (cid:17)−1 (cid:16) (cid:17)−1 0.76
(cid:19) (cid:16) (cid:19) (cid:16) 0.78
(cid:17)−1(cid:19) (cid:17)−1(cid:19) 0.72
tr KW W (cid:62)KW + σ2I tr KW W (cid:62)KW + σ2I 0.83
W (cid:62)K W (cid:62)K 0.88
= tr W (cid:62)K2W =tr W (cid:62)K2W 0.67
W (cid:62)KW + σ2I W (cid:62)KW + σ2I 0.78
(cid:18) d(cid:88) (cid:18)d(cid:88) 0.78
i=1 = 6 w(cid:62) i K2wi i=1 = 6 w(cid:62) i K2wi 0.76
σ2 + w(cid:62) σ2 + w(cid:62) 0.82
i Kwi . I Kwi . 0.82
英語(論文から抽出)日本語訳スコア
Note that minimizing the objective in (11) is equivalent to maximizing the above expression. 11) における目的の最小化は、上記の表現を最大化することと同値である。 0.71
Perform the change of variable 変数の変更を実行する 0.87
 (cid:16) K1/2wj ||K1/2wj|| ,||K1/2wj||2(cid:17) (cid:16) k1/2wj ||k1/2wj|| ,||k1/2wj||2(cid:17) 0.39
(0, 0) wj (cid:55)→ (0, 0) wj (cid:55)→ 0.87
if K1/2wj (cid:54)= 0 if K1/2wj = 0 K1/2wj (cid:54) = 0 ならば K1/2wj = 0 0.60
The assumption that W (cid:62)KW is diagonal and the normalization in the definition of yj implies that w (cid:62)kw が対角的であるという仮定は yj の定義における正規化が意味する。 0.69
Y = [y1y2,··· , yd] Y = [y1y2,··· , yd] 0.98
= (yj, yj). = (yj, yj)。 0.80
is a matrix whose nonzero columns form an orthonormal set. 非零列が正則集合を形成する行列である。 0.68
Rewriting the objective in terms of the (yj, yj), we have 目的を (yj, yj) という用語で書き直すと 0.44
d(cid:88) i=1 d(cid:88) i=1 0.71
d(cid:88) i=1 d(cid:88) i=1 0.71
w(cid:62) i K2wi w(cid:62) i K2wi 0.75
σ2 + w(cid:62) σ2 + w(cid:62) 0.82
i Kwi = y(cid:62) i Kyi I Kwi = y(cid:62) i Kyi 0.85
yi σ2 + yi ユイ σ2 + yi 0.77
= y(cid:62) i Kyimi, = y (cid:62) i Kyimi 0.88
(12) d(cid:88) (12) d(cid:88) 0.85
i=1 σ2+yi . i=1 σ2+yi . 0.64
Observe that under this new parametrization, the constraint only depends i=1. この新しいパラメトリゼーションでは、制約はi=1のみに依存する。 0.76
Without loss of generality, we assume that y1 ≥ y2 ≥ ··· ≥ yd, implying that m1 ≥ i=1, choosing the yi along the eigenvectors of K 一般性を失うことなく、y1 ≥ y2 ≥ ····· ≥ yd と仮定し、m1 ≥ i=1 と仮定し、k の固有ベクトルに沿って yi を選択する。
訳抜け防止モード: 一般性を失うことなく、y1 ≥ y2 ≥ · · · ≥ yd と仮定する。 m1 ≥ i=1, K の固有ベクトルに沿った yi を選択する
0.79
where mi = yi on {yi}d m2 ≥ ··· ≥ md. ここで m = yi は {yi}d m2 ≥ ···· ≥ md である。 0.73
We now prove that for given {yi}d is optimal. 与えられた {yi}d が最適であることを証明する。 0.59
i=1 denote the same diagonal elements arranged in descending order. i=1 は下降順に配置された同じ対角要素を表す。 0.66
Denote the eigenvalues of Y (cid:62)KY by {µ2 i}d where µ1 ≥ µ2 ≥ ··· ≥ µd. μ1 ≥ μ2 ≥ ····· ≥ μd で y (cid:62)ky の固有値を表す。 0.87
Again invoking the Schur-Horn theorem, the eigenvalues of Y (cid:62)KY majorize its diagonal entries 再びシュア・ホーンの定理を呼び出すと、y (cid:62)ky の固有値はその対角成分を主要なものにする 0.45
i,↓}d i=1 Substituting λ2 と答えた。 i=1 λ2 の置換 0.50
i=1 i=1 λ2 i mi i=1 i=1 λ2 i mi 0.71
i i=1 . d(cid:88) 私は i=1。 d(cid:88) 0.66
i = y(cid:62) i = y(cid:62) 0.92
i,↓mi = λ2 λ2 λ2 = λ2 λ2 0.88
(a)≤ d(cid:88) (a)≤ d(cid:88) 0.94
i i Kyi in (12), we have i i Kyi in (12) 0.54
(cid:9)d i=1 ≺(cid:8)µ2 (cid:8)λ2  i(cid:88) d(cid:88) i(cid:88) d(cid:88) (cid:9)d i=1 >(cid:8)μ2 (cid:8)λ2 > i(cid:88)d(cid:88)i( cid:88)d(cid:88) 0.73
i}d Denote the diagonal elements of Y (cid:62)KY by {λ2 i=1 and let {λ2 (cid:9)d  mi j,↓ − i−1(cid:88) i−1(cid:88) j,↓ − d(cid:88)  +  d(cid:88) d−1(cid:88)  +  d(cid:88) d−1(cid:88)  +  d(cid:88) d−1(cid:88) i}d は Y (cid:62)KY の対角元を {λ2 i=1 で表し、 {λ2 (cid:9) d > mi j, > − i−1(cid:88) i−1(cid:88) j, > − d(cid:88) > + > d(cid:88) d−1(cid:88) > + > d(cid:88) d−1(cid:88) > + > d(cid:88) d−1(cid:88) d−1(cid:88) d−1(cid:88) d−1(cid:88) とする。
訳抜け防止モード: i}d λ2 i=1 による Y ( cid:62)KY の対角元に注意。 そして { λ2 ( cid:9)d > mi j, > − i−1 (cid:88 ) i−1 (cid:88 ) j, > − d(cid:88 ) > + > d(cid:88 ) d−1 (cid:88 ) + > d(cid:88 ) d−1(cid:88 ) > > d(cid:88 ) d−1(cid:88 )
0.74
1,↓(m1 − m2) + md 1.(m1 − m2) + md 0.80
1(m1 − m2) + md 1(m1 − m2) + md 0.96
1,↓m1 + = λ2 1/m1+ = λ2 0.78
1,↓m1 + (c)≤ σ2 1/m1+ (c)≤σ2 0.73
(b)≤ µ2 i=2 (b)≤ μ2 i=2 0.72
j=1 i=2 j=1 j=1 i=2 j=1 0.59
i=2 j=1 = λ2 i=2 j=1 = λ2 0.69
λ2 j,↓ j=1 λ2 j である。 j=1 0.64
i=2 µ2 j σ2 j i=2 μ2j σ2 j 0.77
λ2 j,↓ mi λ2 j である。 ミ 0.62
λ2 j=1 i=2 λ2 j=1 i=2 0.65
λ2 j=1 mi λ2 j,↓ λ2 j=1 ミ λ2 j である。 0.65
(mi − mi+1) (mi − mi+1) 0.88
(mi − mi+1) (mi − mi+1) 0.88
(mi − mi+1) (mi − mi+1) 0.88
j=1 i(cid:88) i(cid:88) i(cid:88) j=1 i(cid:88) i(cid:88) i(cid:88) 0.70
j=1 µ2 j σ2 j j=1 μ2j σ2 j 0.77
(13) λ2 j,↓ (13) λ2 j である。 0.77
1(m1 − m2) + md d(cid:88) 1(m1 − m2) + md d(cid:88) 0.90
σ2 i mi, = σ2 i mi, = 0.92
i=1 7 j=1 i=2 i=1 7 j=1 i=2 0.65
j=1 j=1 0.59
英語(論文から抽出)日本語訳スコア
where inequality (a) follows from the assumption that m1 ≥ m2 ≥ ··· ≥ md, and (b) from the definition in (13). 不等式 (a) は m1 ≥ m2 ≥ ··· ≥ md の仮定から成り、 (b) は (13) の定義から成り立つ。 0.78
Since Y ’s nonzero columns form an orthonormal set, the eigenvalues of Y (cid:62)KY , when arranged in descending order, are at most the eigenvalues of K from Corollary 4.3.37 in [HJ13], and therefore (c) follows. Y の非零列は正規直交集合を形成するので、Y の固有値 (cid:62)KY は、下向きに配置されたとき、[HJ13] の Corollary 4.3.37 の K の固有値のほとんどであり、したがって (c) は従う。 0.68
This upper bound is attained when yi = ui for nonzero yi, where ui is the normalized eigenvector of K corresponding to eigenvalue σ2 i . この上限は、yi = ui for nonzero yi, ここで ui は固有値 σ2 i に対応する K の正規化固有ベクトルである。 0.74
To see this, note that when yi = ui, λ2 i = σ2 i . これを見るためには、yi = ui, λ2 i = σ2 i である。 0.74
√ From the definition of yi, wi = K−1/2ui . yi の定義から wi = K−1/2ui となる。 0.70
Therefore, for a Schur-concave ρ, the yi = ui set of matrices whose nonzero columns are eigenvectors of K is optimal. したがって、シュール凸 ρ に対して、非零列が k の固有ベクトルである行列の yi = ui 集合は最適である。 0.77
We now prove that for a strictly Schur-concave ρ, if K has distinct eigenvalues, this set contains all of the optimal solutions W . 厳密なシュール凸 ρ に対して、k が異なる固有値を持つならば、この集合は最適解 w を全て含むことを証明できる。 0.62
We know that for a fixed y1 ≥ y2 ≥ ··· ≥ yd, (implying a fixed m1 ≥ m2 ≥ ··· ≥ md) the upper σ2 bound i mi is attained by the previous choice of yi. 固定された y1 ≥ y2 ≥ ····· ≥ yd(つまり固定された m1 ≥ m2 ≥ ······ ≥ md) に対して、上 σ2 の束縛 i mi は yi の以前の選択によって達成される。
訳抜け防止モード: 固定された y1 ≥ y2 ≥ · · · ≥ yd のとき (固定 m1 ≥ m2 ≥ · · · ≥ md ) 上の σ2 境界 i mi は、以前の yi の選択によって達成される。
0.84
Note that if all nonzero mi are distinct, equality in (b) and (c) is attained if and only if the nonzero diagonal elements of Y (cid:62)KY equal the corresponding eigenvalues of K. This implies that, if all nonzero mi are distinct, the upper bound is attained if and only if yi = ui for nonzero yi. 注意すべきは、すべての非零 mi が異なるとき、(b) と (c) の等式が達成されるのは、y (cid:62)ky の非零対角元が対応する k の固有値と等しいときである。
訳抜け防止モード: すべての 0 でない mi が異なるならば、 ( b ) と ( c ) の等式は、もしも成立する。 そして、Y の非零対角元 (cid:62)KY が K の対応する固有値と等しいときのみである。 すべての 0 でない mi が異なる場合、上界が到達する。 yi = ui for nonzero yi の場合のみです。
0.75
Therefore, it is sufficient to prove that for the following optimization problem したがって、以下の最適化問題に対する証明は十分である。 0.80
i = µ2 d(cid:80) i = μ2 d(cid:80) 0.89
√ yi σi i=1 はい yi σi i=1 0.61
d(cid:88) i=1 d(cid:88) i=1 0.71
sup {yi≥0} sup {yi≥0} 0.84
subject to R ≥ ρ r ≥ ρ に従属する 0.79
σ2 i yi σ2 + yi σ2 i ユイ σ2 + yi 0.81
(cid:16){yi}d (cid:16){yi}d 0.94
i=1 (cid:17) i=1 (cid:17) 0.69
, (14) any optimal {yi} must be such that the nonzero yi are distinct. , (14) 任意の最適な {yi} は、非ゼロの yi が区別されるようにしなければならない。 0.76
Firstly, note that since σ2 1 > σ2 2 > d, we must have y1 ≥ y2 ≥ ··· ≥ yd. まず、σ2 1 > σ2 2 > d であるため、y1 ≥ y2 ≥ ··· ≥ yd でなければならない。 0.77
Assume to the contrary that for an optimal {yi}d ··· > σ2 i=1 there exists 1 ≤ j, (cid:96) < d such that yj−1 > yj = yj+1 = yj+2 = ··· = yj+(cid:96) > yj+(cid:96)+1 ≥ 0, where y0 is chosen to be any real number strictly greater than y1 and yd+1 = 0. 反対に、最適な {yi}d ···· > σ2 i=1 に対して 1 ≤ j, (cid:96) < d が存在して yj−1 > yj = yj+1 = yj+2 = ···· = yj+(cid:96) > yj+(cid:96)+1 ≥ 0 となると仮定する。 0.91
Take δ > 0 small. δ > 0 を小さくする。 0.89
Denote a i = yi for 1 ≤ i ≤ d with i (cid:54)= j and i}d new sequence {y(cid:48) i=1 where y(cid:48) j + (cid:96). i = yi for 1 ≤ i ≤ d with i (cid:54)= j and i}d new sequence {y(cid:48) i=1 ここで y(cid:48) j + (cid:96) となる。 0.91
Since ρ is strictly Schur-concave, the constraint is strictly improved, ρ は厳密な Schur-concave であるため、制約は厳格に改善される。 0.62
j = yj + δ, y(cid:48) j = yj + δ, y(cid:48) 1.00
(cid:16){y(cid:48) (cid:16){y(cid:48) 0.81
ρ j+(cid:96) = yj+(cid:96) − δ and y(cid:48) (cid:17) (cid:17) ρ j+(cid:96) = yj+(cid:96) − δ and y(cid:48) (cid:17) (cid:17) 0.81
i}d i=1 d である。 i=1 0.62
< ρ i=1 . Since σ2 < ρ i=1 . σ2以降 0.77
j > σ2 j+(cid:96), the objective is strictly improved for sufficiently small δ, j>σ2。 j+(cid:96) 目標が十分に小さい δ に対して厳密に改善される。 0.65
(cid:16){yi}d d(cid:88) (cid:16){yi}d d(cid:88) 0.88
σ2 i i=1 d(cid:88) σ2 i i=1 d(cid:88) 0.77
σ2 i yi σ2 + yi σ2 i ユイ σ2 + yi 0.81
< y(cid:48) < y(cid:48) 0.85
i σ2 + y(cid:48) 私は σ2 + y(cid:48) 0.68
, i as desired. , 私は 望み通りだ 0.58
i=1 As a consequence of Theorem 1, encoding via an optimal W can be viewed as a projection along the eigenvectors of K, followed by different scalings applied to each component, i.e. i=1 定理 1 の結果、最適 W による符号化は K の固有ベクトルに沿った射影と見なすことができ、次いで各成分、すなわち、異なるスケーリングが適用される。 0.61
W = U S where S is a diagonal matrix with entries si ≥ 0 and U is the normalized eigenvector matrix. W = U S であって、S は成分 si ≥ 0 の対角行列であり、U は正規化固有ベクトル行列である。 0.68
Only S remains to be determined, and to this end, we may assume that K is diagonal with nonincreasing diagonal entries, implying U = I. S のみが決定され、この結果、K は非増加の対角成分を持つ対角的であり、U = I を意味すると仮定できる。 0.71
In subsequent sections, our choice of ρ will be 後続の節では、ρ の選択は、 0.64
8 8 0.85
英語(論文から抽出)日本語訳スコア
i }(cid:1) , (cid:0){s2 s→∞ ρsl(s) < ∞, i }(cid:1) , (cid:0){s2 s→∞ ρsl(s) < ∞, 0.87
i σ2 lim d(cid:80) i σ2 リム d(cid:80) 0.72
of the form ρsl, where ρsl : R≥0 → R≥0 形が ρsl, ここで ρsl : R≥0 → R≥0 0.56
1 is (strictly) concave, making ρ (strictly) Schur-concave 1は(狭く)凹部であり、ρ(狭く)シュール凹部を作る 0.63
(see Proposition 9 in Appendix A). (Appendix A の Proposition 9 参照)。 0.73
Therefore, (11) reduces to したがって、(11)は減少する。 0.68
i=1 inf S subject to R ≥ ρsl i=1 Inf S r ≥ ρsl に該当する 0.70
tr(K) − tr(KS(S(cid:62)KS + σ2I)−1S(cid:62)K) tr(K) − tr(KS(S(cid:62)KS + σ2I)−1S(cid:62)K) 0.88
(15) where the infimum is over diagonal matrices S. To handle situations for which (15) 対角行列 S を上回り、その状況に対処する 0.66
(16) we allow the diagonal entries of S to be ∞, with the objective for such cases defined via its continuous extension. (16) S の対角成分を ∞ とし、その連続拡大によって定義されるような場合を目的とする。
訳抜け防止モード: (16) S の対角成分を ∞ とする。 その連続拡張によって定義されたそのようなケースの目的により。
0.79
In the next section, we will solve (15) for several specific choices of ρsl. 次の節では、ρsl のいくつかの特定の選択について (15) を解く。 0.63
3 Explicit Solutions: Conventional Linear Autoencoders and PBA 3つの明示的なソリューション: 従来の線形オートエンコーダとPBA 0.62
3.1 Conventional Linear Autoencoders Given a centered dataset x1, x2,··· , xn ∈ Rd, consider a linear autoencoder optimization problem where the encoder and decoder, W and T , respectively, are d-by-k matrices where k ≤ d is a parameter. 3.1 従来の線形自己エンコーダ 中心となるデータセット x1, x2,··· , xn ∈ Rd が与えられると、エンコーダとデコーダ W と T がそれぞれ d ≤ d の d 個の行列であるような線形自己エンコーダ最適化問題を考える。 0.75
The goal is to minimize the mean squared error as given by (5). 目的は (5) で与えられる平均二乗誤差を最小化することである。 0.78
PCA corresponds to the global optimal solution of this optimization problem, where W = T = Uk, where Uk ∈ Rd×k is a matrix whose columns are the k eigenvectors corresponding to the k largest eigenvalues of K. However, there are multiple global optimal solutions, given by any encoder-decoder pair of the form (UkV , UkV ), where V is an orthogonal matrix [BH89]. ここで、uk ∈ rd×k は k の最大固有値 k に対応する k の固有ベクトルである行列であるが、v が直交行列 [bh89] であるような形式 (ukv , ukv ) の任意のエンコーダ・デコーダ対によって与えられる複数の大域的最適解が存在する。
訳抜け防止モード: PCAはこの最適化問題の大域的最適解に対応する。 W = T = Uk, where Uk ∈ Rd×k is a matrix that columns are the k eigenvectors corresponding to k largest eigenvalues of K. 任意のエンコーダによって与えられる複数の大域的最適解が存在する - 形式(UkV, UkV)のデコーダ対。 ここで V は直交行列 [BH89 ] である。
0.89
mization problem in (15) where ρsl : R≥0 → {0, 1} is a concave function defined as ρsl : R≥0 → {0, 1} が凹函数として定義される (15) の最小化問題 0.76
We now recover linear autoencoders through our framework in Section 2. 第2節のフレームワークを通じて線形オートエンコーダを復元する。 0.58
Consider the opti- opti (複数形 optis) 0.35
ρsl(x) = 1 [x > 0] . ρsl(x) = 1 [x > 0] である。 0.89
(17) Note that this penalizes the dimension of the latents, as desired. (17) これは潜在者の次元を所望の通りにペナルティ化する。 0.67
Note also that this cost is Schur-concave but not strictly so. なお、このコストはschur-concaveだが厳密にはそうではない。 0.60
The fact that PCA solves conventional linear autoencoding, but is not necessarily the unique solution, follows immediately from Theorem 1. PCAは従来の線形自己エンコーディングを解くが、必ずしも一意の解ではないという事実は、Theorem 1 からすぐに従う。 0.70
Theorem 2. If ρsl(·) is given by (17), then an optimal solution for (15) is given by a diagonal matrix S whose top min((cid:98)R(cid:99 ), d) diagonal entries are equal to ∞ and the remaining entries are 0. 定理2。 ρsl(·) が 17 で与えられるなら、 (15) に対する最適解は、トップ min((cid:98)R(cid:99 ), d) 対角成分が ∞ で残りの成分が 0 である対角行列 S によって与えられる。
訳抜け防止モード: 定理2。 ρsl ( · ) が ( 17 ) で与えられる場合 このとき、最上位 min((cid:98)r(cid:99 ) の対角行列 s によって (15 ) の最適解が与えられる。 d)対角成分は ∞ に等しい 残りのエントリは 0 である。
0.68
Proof. Let F def= {i ∈ [d] : si > 0}, implying |F| ≤ R. Since K and S are diagonal, the optimization problem in (15) can be written as 証明。 F def= {i ∈ [d] : si > 0} とすると、|F| ≤ R となる。
訳抜け防止モード: 証明。 f def= { i ∈ [ d ] : si > 0 } とする。 k と s は対角的であるため、 (15) の最適化問題は次のように書くことができる。
0.71
(cid:88) subject to R ≥ d(cid:88) (cid:88) r ≥ d(cid:88)の対象 0.80
j∈[d]\F inf{s(cid:96)} j∂[d]\F inf{s(cid:96)} 0.83
(cid:88) (cid:96)∈F (cid:88) (cid:96)htmlf 0.69
σ2 j + 1 [si > 0] . σ2 j + 1 [si > 0] である。 0.89
σ2σ2 (cid:96) σ2 + σ2 (cid:96) s2 (cid:96) σ2σ2 (cid:96) σ2 + σ2 (cid:96) s2 (cid:96) 0.65
(18) 1“sl” stands for single-letter (18) 1 “sl”はシングルレターを表す 0.82
i=1 9 i=1 9 0.72
英語(論文から抽出)日本語訳スコア
objective is (cid:80) 目的は (cid:80) 0.74
Since the value of s(cid:96), (cid:96) ∈ F does not affect the rate constraint, each of the s(cid:96) can be made as large as possible without changing the rate constraint. s(cid:96), (cid:96) ∈ f の値はレート制約に影響しないので、s(cid:96) の各値をレート制約を変更することなくできる限り大きくすることができる。 0.84
Therefore, the infimum value of the j . したがって、j の infimum 値である。 0.67
Since we seek to minimize the distortion, the optimal F is the set of indices σ2 with the largest |F| eigenvalues. 歪みを最小化するため、最適 f は最大の |f| 固有値を持つ指数 σ2 の集合である。 0.77
Since the number of these eigenvalues cannot exceed R, we choose |F| = min((cid:98)R(cid:99 ), d). これらの固有値の数は R を超えることができないので、|F| = min((cid:98)R(cid:99 ), d を選択する。 0.69
j∈[d]\F Unlike the conventional linear autoencoder framework, in Section 2, the latent variables W (cid:62)x are quantized, which we model with additive white noise of fixed variance. j∂[d]\F 従来の線形オートエンコーダフレームワークとは異なり、セクション2では潜在変数 W (cid:62)x を量子化し、固定分散の付加的な白色雑音をモデル化する。 0.70
Therefore, an infinite value of si indicates sending u(cid:62) i x with full precision where ui is the eigenvector corresponding to the ith largest eigenvalue. したがって、si の無限値は u(cid:62) i x を完全精度で送信することを示し、ui は i 番目の最大の固有値に対応する固有ベクトルである。
訳抜け防止モード: したがって si の無限の値は u(cid:62 ) ix を完全な精度で送信する。 ui は ith 最大の固有値に対応する固有ベクトルである。
0.72
This implies that PCA with parameter k corresponds to W = U S, where S is a diagonal matrix whose top k diagonal entries are equal to ∞ and the d− k remaining diagonal entries are 0. これは、パラメータ k の PCA が W = U S に対応することを意味し、S は対角行列であり、トップ k の対角成分が ∞ に等しいことと、残りの d− k の対角成分が 0 である。 0.68
Therefore, for any R such that (cid:98)R(cid:99) = k, an optimal solution to (15) corresponds to linearly projecting the data along the top k eigenvectors, which is the same as PCA. したがって、 (cid:98)R(cid:99) = k となる任意の R に対して、(15) に対する最適解は、PCA と同じトップ k 固有ベクトルに沿ってデータを線型に投影するものである。 0.83
Note that, like [BH89], we only prove that projecting along the eigenvectors is one of possibly other optimal solutions. bh89]のように、固有ベクトルに沿って射影することがおそらく他の最適解の1つであることを証明しているだけである。
訳抜け防止モード: bh89のように 私たちは 固有ベクトルに沿って射影することは、おそらく他の最適解の1つである。
0.64
However, even a slight amount of curvature in ρ would make it strictly Schur-concave, thus recovering the principal directions. しかし、ρ のわずかな曲率であっても、厳密なシュール凹(schur-concave)となり、主要な方向を回復する。
訳抜け防止モード: しかし、ρ のわずかな曲率でさえも、 厳密にはSchur - concave であり、主要な方向を回復する。
0.64
We next turn to a specific cost function with curvature, namely the PBA cost function that was our original motivation. 次に、曲率のある特定のコスト関数、すなわち元々のモチベーションであったpbaコスト関数に目を向けます。 0.71
3.2 Principal Bit Analysis (PBA) Consider the choice of ρsl : R≥0 → R≥0 that provided the original impetus for Theorem 1. 3.2 主ビット解析(PBA) 定理 1 の原動力を与える ρsl : R≥0 → R≥0 の選択を考える。 0.86
For γ > 2 σ2 , For γ > 2 σ2 , 0.97
ρsl(x) = (19) The nature of the optimization problem depends on the value of γ. ρsl(x) = (19)最適化問題の性質は γ の値に依存する。 0.87
For 1 ≤ γσ2 ≤ 2, the problem can be made convex with a simple change of variable. 1 ≤ γσ2 ≤ 2 の場合、問題は変数の単純な変化で凸にすることができる。 0.81
For γσ2 = 1, the problem coincides with the classical waterfilling procedure in rate-distortion theory, in fact. γσ2 = 1 の場合、問題は、実際はレート歪曲理論における古典的な水充填手順と一致する。 0.68
For γσ2 > 2, the problem is significantly more challenging. γσ2 > 2 の場合、問題ははるかに困難である。 0.76
Since we are interested in relatively large values of γ for our compression application (see Section 5 to follow), we focus on the case γ > 2/σ2. 圧縮アプリケーションでは比較的大きなγ値に興味があるので(後述のセクション5を参照)、γ > 2/σ2の場合に焦点を当てる。 0.79
Theorem 3. If ρsl(·) is given by (19) for γ > 2 from the output of Algorithm 1 satisfies 理論3。 ρsl(·) がアルゴリズム 1 の出力から γ > 2 に対して (19) で与えられる場合 0.72
σ2 , then for any λ > 0, the pair ¯Ropt, ¯Dopt obtained σ2 , ならば任意の λ > 0 に対して、対 >Ropt, >Dopt を得る。 0.61
log(γx + 1). log(γx + 1) 0.81
1 2 ¯Dopt + λ ¯Ropt = inf S 1 2 s = inf s である。 0.64
tr(K) − tr(KS(S(cid:62)KS + σ2I)−1S(cid:62)K) + λ tr(K) − tr(KS(S(cid:62)KS + σ2I)−1S(cid:62)K) + λ 0.90
ρsl Proof. Since K and S are diagonal, the optimization problem in (21) can be written as ρsl 証明。 K と S は対角的であるため、(21) の最適化問題は次のように書くことができる。 0.68
d(cid:88) i=1 d(cid:88) i=1 0.71
(cid:0){s2 (cid:0){s2 0.78
i }(cid:1) , i }(cid:1) , 0.92
i σ2 With the following change of variables α = γσ2, si (cid:55)→ s(cid:48)2 i σ2 次の変数の変化で α = γσ2, si (cid:55)→ s(cid:48)2 0.87
σ2 , we obtain d(cid:88) σ2 を得る d(cid:88) 0.78
i=1 d(cid:88) i=1 d(cid:88) 0.71
i=1 inf{si} i=1 inf{si} 0.72
inf{s(cid:48) i} inf{s(cid:48) i} 0.96
σ2σ2 i σ2 + s2 i σ2 i σ2σ2 i σ2 + s2 i σ2 i 0.71
+ λ · 1 2 α + λ · 1 2 α 0.85
σ2 i (cid:48)2 i σ2 α + s i σ2 i (cid:48)2 i σ2 α + s i 0.90
+ λ · 1 2 10 + λ · 1 2 10 0.85
i σ2 i i=1 i σ2 i i=1 0.76
d(cid:88) log(cid:0)1 + γs2 i = α s(cid:48)2 d(cid:88) log(cid:0)1 + s(cid:48)2 d(cid:88) log(cid:0)1 + γs2 i = α s(cid:48)2 d(cid:88) log(cid:0)1 + s(cid:48)2 0.84
i i=1 i σ2 i 私は i=1 i σ2 i 0.69
(cid:1) . (cid:1) . (cid:1)。 (cid:1)。 0.71
(21) (22) (23) (21) (22) (23) 0.85
英語(論文から抽出)日本語訳スコア
 (cid:31) 0, は (cid:31) 0, 0.82
Algorithm 1 Principal Bit Analysis (PBA) Require: λ > 0, α > 2, アルゴリズム1 主ビット解析 (pba) は λ > 0, α > 2 を必要とする。 0.86
 σ2 1/(4(α − 1)), Output ¯Ropt = 0, ¯Dopt =(cid:80)d (cid:17) σ2 1/(4(α − 1)), output >Ropt = 0, >Dopt =(cid:80)d (cid:17) 0.95
2 ≥ ··· ≥ σ2 d. 2 ≥ ··· ≥ σ2 d. 0.86
1 ≥ σ2 0 σ2 2 ... 0 1 ≥ σ2 0 σ2 2 ... 0 0.86
1 0 ... 0 K = 1 0 ... 0 K = 0.85
1 − 4λ(α−1) 1 − 4λ(α−1) 0.82
+ 5: such that σ2 1: If λ ≥ σ2 + 5: σ2は 1: λ ≥ σ2 であれば 0.79
3: Set ¯R, ¯D to zero arrays of size 2 ¯d. 3: 大きさ 2 の配列を 0 に設定する。 0.59
¯D(2r − 1) = ¯R(2r − 1) = td(2r − 1) = td(2r − 1) 0.78
2: Set ¯d = max(cid:8)i : λ < σ2 4: for r ∈(cid:8)1, 2,··· ¯d(cid:9) do r(cid:80) r(cid:80) (cid:18)r−1(cid:80) r(cid:80) 1 2 log 9: end for 10: r∗ ← arg minj∈[2 ¯d] 11: Output ¯Ropt = ¯R(r∗), ¯Dopt = ¯D(r∗). 2: set sd = max(cid:8)i : λ < σ2 4: for r ∈(cid:8)1, 2,·····,d(cid:9) do r(cid:80) r(cid:80) (cid:18)r−1(cid:80) r(cid:80) r(cid:80) 1 2 log 9: end for 10: r∗ , arg minjhtml[2 ] 11: output sropt = sr(r∗), sdopt = sd(r∗)。 0.85
i /4(α − 1)(cid:9). i /4(α − 1)(cid:9)。 0.91
(cid:16) 1 −(cid:113) (cid:16) σ2 (cid:17) (cid:16) 1 −(cid:113) (cid:17) r−1(cid:80) (cid:16) 1 −(cid:113) (cid:16) σ2 (cid:17) (cid:16) 1 −(cid:113) (cid:17) r−1(cid:80) 0.73
¯D(j) + λ ¯R(j). λD(j) + λR(j)。 0.67
(cid:16) σ2 (cid:16) σ2 0.74
¯D(2r) = ¯R(2r) = D(2r) = ※R(2r)= 0.68
2(α−1) 2(α−1) 2(α−1) 2(α−1) 0.84
1 2 log log i 4λ 1 2 ログ ログ i 4λ 0.78
i 4λ i=1 i=1 i 4λ i=1 i=1 0.69
i=1 i=1 i=1 i=1 i=1 i=1 0.59
σ2 i σ2 i + σ2 i σ2 i + 0.87
6: 7: 8: (cid:16) (cid:16) 6: 7: 8: (cid:16)(cid:16) 0.82
+ log 1 + 1 − 4λ(α−1) + log 1 + 1 − 4λ(α−1) 0.92
σ2 i σ2 i (cid:113) (cid:17) (cid:113) σ2 i σ2 i (cid:113) (cid:17) (cid:113) 0.83
1 + ··· 0 ··· 0 ... ... ··· σ2 1 + ··· 0 ··· 0 ... ... ··· σ2 0.69
d i=1 σ2 i . d i=1 σ2 i。 0.74
d(cid:80) (20) d(cid:80) (20) 0.85
(cid:19) . (cid:19) . 0.82
σ2 i α . σ2 α , i σ2 i α . σ2 α , i 0.92
. (cid:17) (cid:16) (cid:17) . (cid:17) (cid:16) (cid:17) 0.79
1 + (cid:113) 1 + (cid:113) 0.82
+ log i=r+1 1 − 4λ(α−1) +ログ i=r+1 1 − 4λ(α−1) 0.65
σ2 i r + σ2 2(α−1) 1 − 4λ(α−1) σ2 i r + σ2 2(α−1) 1 − 4λ(α−1) 0.85
σ2 i (cid:17) σ2 i (cid:17) 0.83
+ d(cid:80) + d(cid:80) 0.85
(cid:16) 1 − 4λ(α−1) (cid:16) 1 − 4λ(α−1) 0.80
1 −(cid:113) 1 −(cid:113) 0.88
σ2 r i=r+1 σ2 r i=r+1 0.64
1 − 4λ(α−1) 1 − 4λ(α−1) 0.82
σ2 r (cid:17) σ2 r (cid:17) 0.83
Ignoring the constant factor in the objective, perform the change of variable s(cid:48) 目的の定数係数を無視し、変数sの変化を実行する(cid:48) 0.80
σ2 i α+s(cid:48)2 i σ2 i σ2 i α+s(cid:48)2 i σ2 i 0.76
to obtain inf{Di} to obtain inf{Di} 0.85
d(cid:88) i=1 d(cid:88) i=1 0.71
Di + λ 2 d(cid:88) Di+ λ 2 d(cid:88) 0.83
i=1 (cid:18) σ2 i=1 (cid:18) σ2 0.66
i Di log − (α − 1) I Di ログ − (α − 1) 0.77
, (cid:19) , (cid:19) 0.82
i (cid:55)→ Di = 私は (cid:55)→ Di = 0.72
(24) subject to Di ≤ σ2 i α (24) di ≤ σ2 i α に該当する 0.86
for all i ∈ [d] . すべての i ∈ [d] に対して。 0.73
This optimization problem is nonconvex since the function log この最適化問題は関数ログから非凸である 0.76
(cid:16) σ2 (cid:16) σ2 0.74
i Di (cid:17) I Di (cid:17) 0.76
− (α − 1) is convex for − (α − 1) convex (複数形 convexs) 0.65
i 0 ≤ Di ≤ σ2 α > 2. 私は 0 ≤ Di ≤ σ2 α > 2. 0.73
2(α−1) but concave for 2(α−1)だが凹凸 0.87
2(α−1) < Di ≤ σ2 Any optimizing {Di} must be a stationary point of (cid:18) σ2 2(α−1) < Di ≤ σ2 任意の最適化 {Di} は (cid:18) σ2 の定常点でなければならない。 0.72
(cid:32) d(cid:88) (cid:32)d(cid:88) 0.78
d(cid:88) L(cid:16){Di}d d(cid:88) L(cid:16){Di}d 0.90
i=1 , λ,{µi}d i=1 , λ,{μi}d 0.96
Di + λ (cid:17) Di + λ (cid:17) 0.82
log i=1 σ2 i ログ i=1 σ2 i 0.73
= i i=1 i=1 = 私は i=1 i=1 0.64
α and the latter interval is nonempty since αと後者の間隔は空でない。 0.79
(cid:19)(cid:33) (cid:19)(cid:33) 0.75
− (α − 1) d(cid:88) − (α − 1) d(cid:88) 0.85
i=1 + µi (cid:18) Di − σ2 i α i=1 + μi (cid:18)di − σ2 i α 0.77
(cid:19) . (cid:19) . 0.82
(25) i Di for some {µi}d (25) I Di ある種のμi}dに対して 0.71
i=1 with µi ≥ 0 for all i ∈ [d] and satisfying the complementary slackness condi- すべての i ∈ [d] に対して μi ≥ 0 を持つ i=1 と相補的なスラックス性を満たす 0.68
11 11 0.85
英語(論文から抽出)日本語訳スコア
(α − 1)D2 i − σ2 (cid:32) (α − 1)D2 i − σ2 (cid:32) 0.90
1 ± i Di + λσ2 1 ± i di + λσ2 0.82
i = 0. (cid:115) 1 − 4λ(α − 1) i = 0。 (cid:115) 1 − 4λ(α − 1) 0.86
(cid:33) . (cid:33) . 0.82
σ2 i Di = σ2 i σ2 i Di = σ2 i 0.87
2(α − 1) which gives 2(α − 1) これは 0.67
(cid:113) (cid:40) (cid:113) (cid:40) 0.78
d(cid:89) i=1 d(cid:89) i=1 0.71
Let ci = 1 − 4λ(α−1) ci = 1 − 4λ(α−1) 0.65
σ2 i . Note that σ2 i σ2 i . 注意 σ2 i 0.76
2(α−1) (1 + ci) is always in the concave region and σ2 2(α−1) (1 + ci) は常に凸領域と σ2 にある 0.88
i is always in the convex region for a λ chosen such that Di is a real number strictly less than σ2 α . 私は λ の凸領域は常に Di が σ2 α より厳密に小さい実数であるように選択される。 0.68
Therefore the optimal set of distortions are contained in the following set of 3d points したがって、最適歪みの集合は以下の3d点の集合に含まれる。 0.70
(cid:32) (cid:115) 1 − 4λ(α − 1) (cid:32) (cid:115) 1 − 4λ(α − 1) 0.86
(cid:33) σ2 i (cid:33) σ2 i 0.83
σ2 i 2(α − 1) σ2 i 2(α − 1) 0.87
1 + (cid:32) 1 + (cid:32) 0.82
(cid:115) 1 − 4λ(α − 1) (cid:115) 1 − 4λ(α − 1) 0.94
(cid:33) σ2 i (cid:33) σ2 i 0.83
, σ2 i α . , σ2 i α . 0.88
, σ2 i 2(α − 1) , σ2 i 2(α − 1) 0.86
1 − 2(α−1) (1 − ci) (cid:41) 1 − 2(α−1) (1 − ci) (cid:41) 0.87
i (26) (27) 私は (26) (27) 0.74
tion [Ber99, Prop. tion [Ber99, Prop。 0.92
3.3.1]. The stationary points satisfy, for each i 3.3.1]. 静止点は各iに対して満足です 0.68
∂L ∂Di = 1 − λ ∂l ∂di = 1 − λ 0.74
σ2 i D2 i − (α − 1) σ2 i D2 i − (α − 1) 0.85
 (cid:16) σ2  (cid:16) σ2 0.79
i Di  + µi = 0. I Di s + μi = 0。 0.81
(cid:17) (cid:110) (cid:17) (cid:110) 0.78
i : Di < σ2 i : Di < σ2 0.99
i α Let F = i α f = とする 0.78
(cid:111) (26) we obtain a quadratic equation in Di (cid:111) (26) Di の二次方程式を得る 0.77
. For i ∈ F, µi = 0 due to complementary slackness. . i ∈ f に対して、μi = 0 は相補的スラックス性のためである。 0.71
Substituting in substituing (複数形 substituings) 0.28
We now reduce the size of the above set by making a two observations: 2つの観測を行うことで、上記のセットのサイズを小さくする。 0.62
(1). F is contiguous. (1). Fは連続している。 0.71
Lemma 4. There exists an optimal {D∗ i }d i=1 for (24) such that (a) σ2 D∗ and (b) F = {1, 2,···|F|}. 第4回。 a) σ2 D∗ と (b) F = {1, 2,··|F|} であるような (24) に対して最適 {D∗ i }d i=1 が存在する。 0.70
Proof. Substitute xi = σ2 i Di 証明。 置換 xi = σ2 i Di 0.74
in (24). This gives us in (24)。 これにより 0.72
i i d(cid:88) 私は 私は d(cid:88) 0.64
d(cid:88) σ2 i xi subject to xi ≥ α d(cid:88) xi ≥ α となる σ2 i xi 0.87
inf{xi} i=1 inf{xi} i=1 0.72
+ λ 2 for all i ∈ [d] . + すべての i ∈ [d] に対して λ 2 である。 0.79
i=1 log (xi − (α − 1)) , i=1 log (xi − (α − 1)) , 0.72
is a nonincreasing sequence Let {x∗ i}d i=1 be an optimal solution for (27). 増加しない配列です x∗ i}d i=1 を (27) の最適解とする。 0.69
If, for i > j, x∗ provides a solution that has the same rate and lower distortion since σ2 x∗ proves (a). i > j に対して、x∗ が σ2 x∗ が (a) を証明するので、同じ速度と低い歪みを持つ解を提供する。 0.62
Part (b) follows immediately. パート(b)はすぐに続く。 0.60
i > x∗ j ≥ α, then exchanging the values . i>x∗ j ≥ α で、値 を交換する。 0.80
This ≥ σ2 x∗ これ ≥ σ2 x∗ 0.76
σ2 j x∗ σ2 j x∗ σ2jx∗ σ2jx∗ 0.79
+ + j j i + + j j 私は 0.79
i i i (2). 私は 私は 私は (2). 0.61
No two solutions are concave. 二つの解は成り立たない。 0.63
i }d Lemma 5. i }d Lemma 5。 0.77
For R > 0, let {D∗ i=1 be an optimal solution for (24). R > 0 に対して {D∗ i=1 を (24) の最適解とする。 0.81
There exists at most one D∗ such that 一つ以上の D∗ が存在して 0.64
σ2 i i 2(α−1) < D∗ σ2 i 私は 2(α−1) < D∗ 0.75
i < σ2 α . i i < σ2 α。 私は 0.69
12 12 0.85
英語(論文から抽出)日本語訳スコア
j . Denote the individual rate constraint function by r (Di) (cid:44) log j.j. r (di) (cid:44) log で個々のレート制約関数を示す 0.72
i < σ2 α and σ2 i < σ2 α と σ2 0.94
2(α−1) < D∗ 2(α−1) < D∗ 0.82
j i j < σ2 α . j 私は j < σ2 α . 0.79
Without loss of generalj − (α − 1) 一般j − (α − 1)を失うことなく 0.89
(cid:17) . (cid:17) . 0.82
i Di (cid:16) σ2 (cid:1) + O(ε2) (cid:16) I Di (cid:16) σ2 (cid:1) + o(ε2) (cid:16) 0.76
(28) (29) (cid:17) (28) (29) (cid:17) 0.82
, i , D∗ Proof. , I, D∗ 証明。 0.82
Let D∗ ity, assume D∗ i < D∗ Since r is concave in D∗ ity, assume D∗ i < D∗ r is concave in 0.85
σ2 i 2(α−1) < D∗ (cid:17) σ2 i 2(α−1) < D∗ (cid:17) 0.83
j be such that (cid:16) σ2 j + ε(cid:1) = r (D∗ i − ε) + r(cid:0)D∗ jは、そうである。 (cid:16) σ2 j + ε(cid:1) = r (D∗ i − ε) + r(cid:0)D∗ 0.68
2(a−1) , σ2 i α 2(a−1),σ2 i α 0.85
i r (D∗ 私は r (d∗ ) 0.63
, there exist an ε > 0 such that ε > 0 が存在して、それが成り立つ。 0.73
i ) + r(cid:0)D∗ i ) + r(cid:0)d∗ 0.87
i ) + O(ε2) + r(cid:0)D∗ (cid:1) + εr(cid:48)(cid:0)D∗ (cid:1) i ) − εr(cid:48) (D∗ (cid:16) (cid:17) i ) + O(ε2) + r(cid:0)D∗ (cid:1) + εr(cid:48)(cid:0)D∗ (cid:1) i ) − εr(cid:48) (D∗ (cid:16) (cid:17) 0.78
j j j < r (D∗ j j j < r (d∗) 0.87
The last inequality follows from concavity of r. Therefore, replacing the rate constraint can be improved while keeping the objective in (24) constant, contradicting the optimality assumption of {D∗ i }. したがって、レート制約を置き換えることは、目的を (24) 定数に保ちながら改善でき、 {d∗ i } の最適性仮定と矛盾する。
訳抜け防止モード: 最後の不等式は r の凹凸から従う。 レート制約を置き換える 改善できるのです 目的を (24 ) 定数に保ち、 { d∗ i } の最適性仮定と矛盾する。
0.70
with j j + ε D∗ i , D∗ と j j + ε D∗ i , D∗ 0.79
i − ε, D∗ D∗ i − ε, D∗ D∗ 0.92
There is at most one D∗ 少なくとも1つのD∗があります 0.53
i such that D∗ I such that D∗ 0.93
i = σ2 i < 2(α − 1). i = σ2 私は < 2(α − 1). 0.77
For the convex roots, xi = 2(α−1) 1−ci 凸根に対して、xi = 2(α−1) 1−ci 0.72
2(α−1) (1 + ci). 2(α−1) (1 + ci) である。 0.82
Assuming such an i exists, xi = 2(α−1) > 2(a − 1). そのような i が存在すると仮定すると、xi = 2(α−1) > 2(a − 1) となる。 0.71
Therefore from Lemma 4, 1+ci all the convex roots are contiguous. したがって、Lemma 4 から 1+ci のすべての凸根は連続である。 0.56
Therefore, the set of potentially optimal solutions reduces to cardinality 2d, where each solution is characterized by the number of components that send non-zero rate and whether or not a concave root is sent. したがって、最適な解の集合は濃度 2d に還元され、各解は非ゼロレートの成分の数と凹根が送信されるかどうかによって特徴づけられる。 0.76
PBA, detailed in Algorithm 1 finds the minimum value of the Lagrangian across these 2d solutions for a fixed λ. アルゴリズム 1 で詳述された PBA は、固定λ に対するこれらの 2d 解のラグランジアンの最小値を求める。 0.76
Note that by sweeping λ > 0, one can compute the lower convex envelope of the (D, R) curve. λ > 0 を網羅することにより、(D, R) 曲線の下の凸エンベロープを計算することができることに注意。 0.71
Since every Pareto optimal (D, R) must be a stationary point of (21), one can also use Algorithm 1 to compute the (D, R) curve itself by sweeping λ and retaining all those stationary points that are not Pareto dominated. すべてのパレート最適 (d, r) は (21) の定常点でなければならないので、アルゴリズム 1 を使って (d, r) 曲線自体を λ を掃き、パレートが支配的でないすべての定常点を保持することで計算することもできる。
訳抜け防止モード: すべてのパレート最適(D, R)は(21)の定常点でなければならない。 アルゴリズム 1 を使って (D, R ) 曲線自体を λ をスイープすることで計算することもできる Paretoが支配していない固定的な点を全て保持する。
0.82
4 Application to Variable-Rate Compression 4 可変レート圧縮への応用 0.78
We have seen that an autoencoder formulation inspired by data compression succeeds in providing guaranteed recovery the principal source components. データ圧縮にインスパイアされたオートエンコーダの定式化が、主要なソースコンポーネントを確実にリカバリすることに成功した。 0.59
Conversely, a number of successful multimedia compressors have recently been proposed that are either related to, or directly inspired by, autoencoders [TAL18, TVJ+17, BLS16, TOH+16, TSCH17, RB17, HRTC19, AMT+17, BMS+18, ZCG+18, ATM+19, BCM+20]. 逆に、最近、多数の成功したマルチメディア圧縮機が提案され、それはオートエンコーダ(TAL18, TVJ+17, BLS16, TOH+16, TSCH17, RB17, HRTC19, AMT+17, BMS+18, ZCG+18, ATM+19, BCM+20]に関連付けられている。 0.73
In particular, Ball´e et al [BMS+18] show that the objective minimized by their compressor coincides with that of variational autoencoders. 特に、Ball ́e et al [BMS+18] は、圧縮機によって最小化された目的が変分オートエンコーダの目的と一致することを示す。
訳抜け防止モード: 特に Ball ́e et al [ BMS+18 ] は 圧縮機によって最小化された目的は 変分オートエンコーダと一致する
0.70
Following [BCM+20], we refer to this objective as nonlinear transform coding (NTC). BCM+20]に従えば、この目的を非線形変換符号化(NTC)と呼ぶ。 0.75
We next use Theorem 1 to show that any minimizer of the NTC objective is guaranteed to recover the principal source components if (1) the source is Gaussian, (2) the transforms are restricted to be linear, and (3) the entropy model is factorized, as explained below. 次に Theorem 1 を用いて、(1) のソースがガウス的であること、(2) の変換が線型であること、(3) のエントロピーモデルが下記のように分解された場合、NTC の目的の最小化が主元成分の回復を保証することを示す。 0.78
Let x ∼ N (0, K), where K is a positive semidefinite covariance matrix. K を正半定値共分散行列とする x > N (0, K) とする。 0.79
As before, we consider an autoencoder defined by its encoder-decoder pair (f, g), where for k ≤ d, f : Rd → Rk and g : Rk → Rd are chosen from prespecified classes Cf and Cg. 前述のように、エンコーダ-デコーダ対 (f, g) で定義されるオートエンコーダを考えると、k ≤ d, f : Rd → Rk と g : Rk → Rd は、あらかじめ指定されたクラス Cf と Cg から選択される。 0.82
The NTC framework assumes dithered quantization during training, as in Section 2 and [AT20, CEKL19], and seeks to minimize the Lagrangian NTCフレームワークは、第2節や[AT20, CEKL19]のように、トレーニング中に拡張量子化を仮定し、ラグランジアンを最小化する。 0.61
(cid:104)(cid:107)x − g (Q (f (x) + ε) − ε)(cid:107)2 (cid:104)(cid:107)x − g (Q (f (x) + ε) − ε)(cid:107)2 0.96
(cid:105) 2 (cid:105) 2 0.82
inf f∈Cf ,g∈Cg inf fcgcf , gcgcg 0.66
Ex,ε + λH (Q (f (x) + ε) − ε|ε) . ※ε + λH (Q (f (x) + ε) − ε|ε) 。 0.59
(30) 13 (30) 13 0.85
英語(論文から抽出)日本語訳スコア
where λ > 0 and ε has i.i.d. ここで λ > 0 と ε は i.d. を持つ。 0.68
Unif [−0.5, 0.5] components. Unif [-0.5, 0.5] コンポーネント。 0.73
NTC assumes variable-length compression, and the quantity NTCは可変長圧縮と量とを仮定する 0.81
H (Q (f (x) + ε) − ε|ε) H (Q (f (x) + ε) − ε|ε) 0.96
is an accurate estimate of minimum expected codelength length for the discrete random vector Q (f (x) + ε). 離散ランダムベクトル Q (f (x) + ε) に対する最小符号長の正確な推定値である。 0.74
As we noted in Section 2, [ZF92] showed that for any random variable x, Q (x + ε)− ε and x + ε have the same joint distribution with x. 第2節で述べたように、[zf92] は任意の確率変数 x に対して q (x + ε)− ε と x + ε は同じジョイント分布を持つことを示した。 0.84
They also showed that H (Q (x + ε) − ε|ε) = I (x + ε; x) = h(x + ε), where h(·) denotes differential entropy. また、 h (q (x + ε) − ε|ε) = i (x + ε; x) = h(x + ε) が示され、ここで h(·) は微分エントロピーを表す。 0.80
Therefore, the objective can be written as そのため、目的を記すことができる。 0.73
(cid:104)(cid:107)x − g (f (x) + ε)(cid:107)2 (cid:104)(cid:107)x − g (f (x) + ε)(cid:107)2 0.92
(cid:105) 2 (cid:105) 2 0.82
+ λh (f (x) + ε) . + λh (f (x) + ε) である。 0.86
(31) inf f∈Cf ,g∈Cg (31) inf fcgcf , gcgcg 0.72
Ex,ε (Compare eq. ※ε (eq参照)。 0.39
(13) in [BCM+20]). (BCM+20]で13)。 0.70
We consider the case in which Cf ,Cg are the class of linear functions. Cf , Cg が線型関数のクラスである場合を考える。 0.57
Let W , T be d-by-d matrices. W , T を d × d 行列とする。 0.65
Define f (x) = W (cid:62)x, g (x) = T x. f (x) = W (cid:62)x, g (x) = T x を定義する。 0.95
Substituting this in the above equation, we obtain これを上記の方程式に置き換えることで 0.76
inf W ,T Ex,ε inf W,T ※ε 0.54
W (cid:62)x + ε W (cid:62)x + ε 0.94
+ λh W (cid:62)x + ε +λh W (cid:62)x + ε 0.90
. (32) Since T does not appear in the rate constraint, the optimal T can be chosen to be the minimum mean squared error estimator of x ∼ N (0, K) given W (cid:62)x + ε, as in Section 2. . (32) T はレート制約に現れないので、最適 T は、セクション 2 のように W (cid:62)x + ε) が与えられたときの x × N (0, K) の最小平均二乗誤差推定器に選択することができる。 0.84
This gives tr(K) − tr(KW これは tr(K) − tr(KW) 0.83
W (cid:62)KW + W (cid:62)KW + 0.92
As noted earlier, the rate term h(cid:0)W (cid:62)x + ε(cid:1) is an accurate estimate for the minimum expected length of the compressed representation of Q(cid:0)W (cid:62)x + ε(cid:1). 前述したように、レート項 h(cid:0)w (cid:62)x + ε(cid:1) は、圧縮表現 q(cid:0)w (cid:62)x + ε(cid:1) の最小期待長の正確な推定値である。 0.82
This assumes that the dif- これは dif を仮定する。 0.60
(33) inf W (33) inf W 0.85
. W (cid:62)K) + λh . W (cid:62)K) + λh 0.87
W (cid:62)x + ε W (cid:62)x + ε 0.94
I 12 ferent components of this vector are encoded jointly, however. I 12 しかし、このベクトルのフェレント成分は共同で符号化される。 0.74
In practice, one often encodes them separately, relying on the transform W to eliminate redundancy among the components. 実際には、コンポーネント間の冗長性を排除するために変換 W に依存して、個別に符号化することが多い。 0.59
Accordingly, we replace the rate term with したがって、レート項を置き換える。 0.58
(cid:16) (cid:17) (cid:16) (cid:17) 0.78
(cid:16) (cid:20)(cid:13)(cid :13)(cid:13)x − T (cid:18) (cid:16) (cid:20)(cid:13)(cid :13)(cid:13)x − T(cid:18) 0.78
(cid:21) 2 (cid:21) 2 0.82
(cid:17)(cid:13)(cid :13)(cid:13)2 (cid:19)−1 (cid:17)(cid:13)(cid :13)(cid:13)2(cid:19 )−1 0.72
(cid:16) (cid:17) (cid:16) (cid:17) 0.78
(cid:17) h (cid:17) H 0.78
w(cid:62) i x + [ε]i w(cid:62) i x + [ε]i 0.99
, (cid:16) , (cid:16) 0.82
d(cid:88) i=1 d(cid:88) i=1 0.71
to arrive at the optimization problem 最適化問題にたどり着くには 0.72
tr(K) − tr(KW tr(K) − tr(KW) 0.94
inf W W (cid:62)KW + inf W W (cid:62)KW + 0.88
I 12 (cid:18) I 12 (cid:18) 0.82
(cid:19)−1 (cid:19)−1 0.74
W (cid:62)K) + λ · d(cid:88) W (cid:62)K) + λ · d(cid:88) 0.92
h (cid:16) H (cid:16) 0.78
i=1 (cid:17) i=1 (cid:17) 0.69
. w(cid:62) i x + [ε]i . w(cid:62) i x + [ε]i 0.92
(34) Theorem 6. Suppose K has distinct eigenvalues. (34) 理論6。 K が異なる固有値を持つとする。 0.66
Then any W that achieves the infimum in (34) has the property that all of its nonzero rows are eigenvectors of K. このとき、(34) の infimum を達成する任意の w は、すべての 0 でない行が k の固有ベクトルである性質を持つ。 0.67
Proof. Since the distribution of ε is fixed, by the Gaussian assumption on x, h depends on wj through w(cid:62) 証明。 ε の分布は固定であるため、ガウスの x 上の仮定により、h は wj から w(cid:62) へ依存する。 0.68
j Kwj. Thus we may write j Kwj。 したがって我々は書くことができる 0.70
h(w(cid:62) h(w(cid:62) 0.92
j x + ) = ρsl(w(cid:62) j x + s) = ρsl(w(cid:62) 0.95
j Kwj). 14 j Kwj)。 14 0.83
(cid:16) w(cid:62) j x + [ε]j (cid:16) w(cid:62) j x + [ε]j 0.89
(cid:17) only (cid:17) ただ 0.70
(35) (35) 0.85
英語(論文から抽出)日本語訳スコア
By Theorem 1, it suffices to show that ρsl(·) is strictly concave. Theorem 1 により、ρsl(·) が厳密に凹凸であることを示すのに十分である。 0.71
Let Z be a standard Normal random variable and let  be uniformly distributed over [−1/2, 1/2], independent of Z. Z を標準正規確率変数とし、Z とは独立な [−1/2, 1/2] 上一様分布とする。 0.79
Then we have s · Z + ). そして私たちは s · Z + s)。 0.75
(36) Thus by de Bruijn’s identity [CT06], (36) 従って de Bruijn の身元[CT06] によって。 0.82
ρsl(s) = h( ρsl(s) = h( 0.96
√ √ s · Z), (37) sl(·) is strictly concave, it suffices to show s · Z) is strictly decreasing in s.2 To this end, let t > s > 0 and let Z1 and Z2 be i.i.d. √ √ s · Z) (37) sl(·) は厳密な凹凸であり、s · Z) が s.2 において厳密に減少していることを示すのに十分であり、この目的のために t > s > 0 とし、Z1 と Z2 を i.d とする。 0.81
where J(·) is the Fisher information. ここで J(·) は Fisher 情報です。 0.78
To show that ρ(cid:48) that J( + standard Normal random variables, independent of . ρ(cid:48) が ρ に依存しない標準正規確率変数であることを示す。 0.59
Then √ ρ(cid:48) sl(s) = すると... ρ(cid:48) sl(s) = 0.60
J( + J (複数形 Js) 0.61
√ √ 1 2 J( + √ √ 1 2 J (複数形 Js) 0.79
t · Z) = J( + t · Z) = J(+) 0.77
√ s · Z1 + t − s · Z2) s · Z1 + t − s · Z2) 0.87
and by the convolution inequality for Fisher information [Bla65], 漁業情報に関する畳み込みの不平等[bla65]によって 0.68
J( + J (複数形 Js) 0.61
√ 1 s · Z1 + √ 1 s · Z1 + 0.92
√ t − s · Z2) √ t − s · Z2) 0.91
> J( + > J (複数形 Js) 0.73
where the first inequality is strict because  + 第一の不等式が厳格である理由は 0.65
+ √ 1 s · Z1) √ s · Z1 is not Gaussian distributed. + 1 s · Z1) と s · Z1 はガウス分布ではない。 0.84
t − s · Z2) t − s · Z2) 0.97
√ J( J (複数形 Js) 0.42
J( + J (複数形 Js) 0.61
√ 1 > 1 s · Z1) √ 1 > 1 s · Z1) 0.88
(38) , (39) (38) , (39) 0.85
5 Compression Experiments We validate the PBA algorithm experimentally by comparing the performance of a PBA-derived fixed-rate compressor against the performance of baseline fixed-rate compressors. 圧縮実験5 本研究では,PBAから派生した固定レート圧縮機の性能とベースライン固定レート圧縮機の性能を比較し,PBAアルゴリズムを実験的に検証する。 0.71
The code of our implementation can be found at https://github.com/S ourbhBh/PBA. 実装のコードは https://github.com/S ourbhBh/PBA.org にある。 0.63
As we noted in the previous section, although variable-rate codes are more commonplace in practice, fixed-rate codes do offer some advantages over their more general counterparts: 前節で述べたように、変数レートコードは実際には一般的だが、固定レートコードはより一般的なコードよりもいくつかの利点がある。 0.61
1. In applications where a train of source realizations are compressed sequentially, fixedrated coding allows for simple concatenation of the compressed representations. 1. ソース実現の列が順次圧縮されるアプリケーションでは、固定化されたコーディングは圧縮された表現の単純な結合を可能にする。
訳抜け防止モード: 1. ソース実現の列を逐次圧縮するアプリケーション 固定符号は圧縮された表現の単純な結合を可能にする。
0.77
Maintaining synchrony between the encoder and decoder is simpler than with variable-rate codes. エンコーダとデコーダの同期を維持することは、可変レートコードよりも単純である。 0.66
2. In applications where a dataset of source realizations are individually compressed, fixedrate coding allows for random access of data points from the compressed representation. 2. ソース実現のデータセットが個別に圧縮されたアプリケーションでは、圧縮された表現からデータポイントをランダムにアクセスすることができる。 0.81
3. In streaming in which a sequence of realizations will be streamed, bandwidth provisioning 3. 一連の実現がストリーミングされるストリーミングにおいて、帯域幅のプロビジョニング 0.83
is simplified when the bit-rate is constant over time. ビットレートが一定であるときに単純化される。 0.62
Fixed-rate compressors exist for specialized sources such as speech [MB95, SA85] and audio more generally [Vor]. 音声[MB95, SA85] や音声[Vor] などの特殊なソースには固定レート圧縮機が存在する。 0.74
We consider a general-purpose, learned, fixed-rate compressor derived from PBA and the following two quantization operations. PBAから派生した汎用・学習・固定レート圧縮機と以下の2つの量子化演算について考察する。 0.55
The first, QCD(a, σ2, U, x)3 accepts the s g(cid:48)(u)du < g(s) + g(cid:48)(s)(t − s) and likewise for t < s. 第一の qcd(a, σ2, u, x)3 は s g(cid:48)(u)du < g(s) + g(cid:48)(s)(t − s) を受け取り、t < s に対しても同様である。 0.85
2If g(cid:48)(·) is strictly decreasing then for all t > s, g(t) = g(s) +(cid:82) t 2 g(cid:48)(·) が厳密に減少すると、すべての t > s に対して g(t) = g(s) +(cid:82) t となる。 0.81
That g(·) is strictly concave then follows from the standard first-order test for concavity [BV04]. g(·) が厳密な凹凸であることは、凹凸の標準一階テスト [BV04] から従う。 0.65
3“CD” stands for “clamped dithered.” 3"cd"は"clamped dithered"の略です。 0.80
15 15 0.85
英語(論文から抽出)日本語訳スコア
hyperparameter a, a variance estimate σ2, a dither realization U, and the scalar source realization to be compressed, x, and outputs (a binary representation of) the nearest point to x in the set ハイパーパラメータa、分散推定 σ2、ディザ実現 U、および圧縮されるスカラーソース実現は、集合のxに最も近い点を(二項表現の)出力する。 0.64
(cid:18) (cid:21)(cid:27) (cid:18) (cid:21)(cid:27) 0.77
(cid:26) i + U : i ∈ Z and i + U ∈ (cid:26) i + U : i ∈ Z および i + U ∈ 0.81
− Γ 2 , Γ 2 − Γ 2 , Γ 2 0.85
, (40) where , (40) どこに 0.79
Γ = 2(cid:98) 1 s = 2(cid:98) 1 0.77
2 log2(4a2σ2+1)(cid:99). 2 log2(4a2σ2+1)(cid:99)。 0.60
(41) This evidently requires log2 Γ bits. (41) これは明らかにlog2 > ビットを必要とする。 0.64
The second function, Q(cid:48) CD(a2, σ2, U, b), where b is a binary string of length log2 Γ, maps the binary representation b to the point in (40). 第2の関数 q(cid:48) cd(a2, σ2, u, b) では、b は長さ log2 γ の二項文字列であり、二項表現 b を (40) の点に写す。 0.78
These quantization routines are applied separately to each latent component. これらの量子化ルーチンは、各潜伏成分に別々に適用される。 0.55
The σ2 parameters are determined during training. σ2パラメータはトレーニング中に決定される。 0.78
The dither U is chosen uniformly over the set [−1/2, 1/2], independently for each component. ディザUは各成分に対して独立に集合 [−1/2, 1/2] 上で一様に選択される。 0.70
We assume that U is chosen pseudorandomly from a fixed seed that is known to both the encoder and the decoder. U は、エンコーダとデコーダの両方で知られている固定されたシードから擬似ランダムに選択されると仮定する。 0.70
As such, it does not need to be explicitly communicated. したがって、明示的に通信される必要はない。 0.71
For our experiments, we fix the a parameter at 15 and hard code this both at the encoder and at the decoder. 実験では、Aパラメータを15で固定し、これをエンコーダとデコーダの両方でハードコードする。 0.66
We found that this choice balances the dual goals of minimizing the excess distortion due to the clamping quantized points to the interval (Γ/2, Γ/2] and minimizing the rate. この選択は、クランプ量子化点から区間 (γ/2, γ/2] までの余剰歪みを最小化し、レートを最小化するという2つの目標のバランスをとることを見出した。 0.62
PBA compression proceeds by applying Algorithm 1 to a training set to determine the matrices W and T . PBA圧縮は、アルゴリズム1をトレーニングセットに適用し、行列W,Tを決定する。 0.64
The variance estimates σ2 d for the d latent variances are chosen as the empirical variances on the training set and are hard-coded in the encoder and decoder. d潜時分散に対する分散推定σ2dは、トレーニングセット上の経験的分散として選択され、エンコーダとデコーダでハードコードされる。
訳抜け防止モード: d潜性分散に対する分散推定 σ2 d は、トレーニングセット上の経験的分散として選択される エンコーダとデコーダでコード化される。
0.77
Given a data point x, the encoded representation is the concatenation of the bit strings b1, . データポイントxが与えられると、符号化表現はビット文字列b1,...の連結である。 0.71
. . , bd, where . . bd、どこで? 0.79
1, . . . , σ2 1, . . . , σ2 0.86
bi = QCD(a2, σ2 bi = QCD(a2, σ2) 0.85
i , Ui, w(cid:62) i, Ui, w(cid:62) 0.95
i x), The decoder parses the received bits into b1, . i x) デコーダは受信したビットを b1, に解析する。 0.65
. . , bd. and computes the latent reconstruction ˆy, where . . bd。 潜在的な再構築を計算します 0.69
ˆyi = Q(cid:48) syi = Q(cid:48) 0.65
CD(a2, σ2 CD(a2, σ2) 0.76
i , Ui, bi), i, Ui, bi) 0.71
The reconstruction is then T ˆy. 再建はT-ジである。 0.74
We evaluate the PBA compressor on MNIST [LBBH98], CIFAR-10 [Kri09], MIT Faces Dataset, Free Spoken Digit Dataset (FSDD) [Jac] and a synthetic Gaussian dataset. MNIST [LBBH98], CIFAR-10 [Kri09], MIT Faces Dataset, Free Spoken Digit Dataset (FSDD) [Jac] 上のPBA圧縮機と合成ガウスデータセットを評価した。 0.85
The synthetic Gaussian dataset is generated from a diagonal covariance matrix obtained from the eigenvalues of the Faces Dataset. 合成ガウスデータセットは、顔データセットの固有値から得られる対角共分散行列から生成される。 0.77
We compare our algorithms primarily using mean-squared error since our theoretical analysis uses mean squared error as the distortion metric. 理論解析では平均二乗誤差を歪み計量として用いるため,本アルゴリズムは主に平均二乗誤差を用いて比較する。 0.68
Our plots display Signalto-Noise ratios (SNRs) for ease of interpretation. 提案手法では,snrs(signalto-noise ratios)を簡易に表示する。 0.58
For image datasets, we also compare our algorithms using the Structural Similarity (SSIM) or the Multi-scale Strctural Similarity (MS-SSIM) metrics when applicable [WBSS04]. 画像データセットについては,ssim(structure similarity)やms-ssim(multi-scale strctural similarity)メトリクスを適用した場合と比較する。 0.77
We also consider errors on downstream tasks, specifically classification, as a distortion measure. また,下流課題,特に分類における誤差を歪み尺度として考慮する。 0.79
For all datasets, we compare the performance of the PBA compressor against baseline scheme derived from PCA that uses QCD and Q(cid:48) CD. すべてのデータセットについて、pba圧縮機の性能を、qcdとq(cid:48)cdを使用するpcaのベースラインスキームと比較する。 0.66
The PCA-based scheme sends some of the principal components essentially losslessly, and no information about the others. PCAベースのスキームは、いくつかの主要なコンポーネントを本質的に損失なく送信し、他のコンポーネントに関する情報は送らない。
訳抜け防止モード: PCAベースのスキームは、いくつかの主要なコンポーネントを本質的に損失なく送信する。 他に関する情報もなし
0.62
Specifically, in the context of our framework, for any given k, we choose the first k columns of W to be aligned with the first k principal components of the dataset; the remaining columns are zero. 具体的には、フレームワークのコンテキストにおいて、任意の k に対して、W の最初の k 個の列をデータセットの最初の k 個の主成分と整合する。
訳抜け防止モード: 特に、我々の枠組みの文脈では、任意の k に対して、 w の最初の k 列を選びます データセットの最初の k 個の主成分と一致させる 残りの列はゼロである。
0.82
Each nonzero column is scaled such that its Euclidean length multiplied by the eigenvalue has all the significant digits. 各非零列は、固有値に乗じたユークリッドの長さがすべての重要な桁を持つようにスケールされる。 0.67
This is done so that at high rates, the quantization procedure sends the k principal components losslessly. これは、高いレートで量子化手順がk主成分を損失なく送り出すように行われる。 0.66
The quantization and decoder operations are as in the PBA-based scheme; in particular the a2 parameter is as specified above. 量子化とデコーダ演算は、PBAベースのスキームで、特にa2パラメータは、上述したとおりである。 0.76
By varying k, we trade off rate and distortion. k を変えることで、レートと歪みをトレードオフする。 0.60
16 16 0.85
英語(論文から抽出)日本語訳スコア
5.1 SNR Performance Figure 2: Reconstructions at different bits/pixel values for PCA (top) and PBA (bottom) 5.1 SNR性能 図2:PCA (top) と PBA (bottom) の異なるビット/ピクセル値の再構成 0.83
Figure 3: SNR/pixel vs Rate (bits/pixel) for MNIST, CIFAR-10, Faces, FSDD datasets. 図3: snr/pixel vs rate (bits/pixel) for mnist, cifar-10, faces, fsddデータセット。 0.71
Figures in the bottom row are zoomed-in. 下段の図はズームインされる。 0.69
We begin by examining compression performance under mean squared error, or equiva- 平均二乗誤差, 等値条件下での圧縮性能の検討から始める。 0.60
lently, the SNR, defined as SNR (複数形 SNRs) 0.43
SNR = 10 · log10 SNR = 10 · log10 0.99
(cid:18) P MSE (cid:18)p MSE 0.83
(cid:19) . (cid:19) . 0.82
where P is the empirical second moment of the dataset. pはデータセットの 経験的な第2の瞬間です 0.73
This was the objective that PBA (and PCA) is designed to minimize. PBA(およびPCA)が最小限にするために設計された目的である。 0.73
In Figure 2, we display reconstructions for a particular image in the Faces Dataset under PBA and PCA. 図2では、PBAおよびPCAの下で、顔データセットに特定の画像の再構成を表示する。 0.74
Figure 3 shows the tradeoff for PBA and PCA against JPEG and JPEG2000 (for the image datasets) and AAC (for the audio dataset). 図3は、JPEGとJPEG2000(画像データセット)とAAC(オーディオデータセット)に対するPBAとPCAのトレードオフを示しています。 0.84
All of the image datasets have integer pixel values between 0 and 255. すべての画像データセットは0から255までの整数ピクセル値を持つ。 0.84
Accordingly, we round the reconstuctions of PBA and PCA to the nearest integer in this range. したがって、この範囲で最も近い整数にPBAとPCAの再構成を回す。 0.67
Figure 4 shows the same tradeoff for PBA and PCA when reconstructions are 図4は、再建時のPBAとPCAのトレードオフを示しています。 0.68
17 17 0.85
英語(論文から抽出)日本語訳スコア
Figure 4: SNR/pixel vs Rate (bits/pixel) for MNIST, CIFAR-10, Faces and Synthetic dataset. 図4: MNIST、CIFAR-10、Faces、SyntheticデータセットのSNR/ピクセル対レート(ビット/ピクセル)。 0.72
Reconstructions are not rounded to integers from 0 to 255. レコンストラクションは 0 から 255 までの整数に丸められません。 0.71
The bottom four plots are zoomed-in versions of the top four plots. 下の4つのプロットは、上位4つのプロットのズームインバージョンである。 0.57
not rounded off to the nearest integer. 一番近い整数に 丸められません 0.61
We see that PBA consistently outperforms PCA and JPEG, and is competitive with JPEG2000, even though the JPEG and JPEG2000 are variable-rate. PBAはPCAとJPEGより一貫して優れており、JPEGとJPEG2000は可変レートであるにもかかわらずJPEG2000と競合している。 0.76
4 We estimate the size of the JPEG header by compressing an empty image and subtract this estimate from all the compression sizes produced by JPEG. 4)空の画像を圧縮することでJPEGヘッダのサイズを推定し,JPEGが生成する圧縮サイズからこの推定値を抽出する。 0.82
We do not plot JPEG2000 performance for MNIST since it requires at least a 32x32 image. 少なくとも32×32画像を必要とするため、MNISTのJPEG2000性能はプロットしない。 0.78
For audio data, we observe that PBA consistently outperforms PCA and AAC. 音声データについては,PCAとAACを一貫して上回っている。 0.65
Since the image data all use 8 bits per pixel, one can obtain infinite SNR at this rate via the trivial encoding that communicates the raw bits. 画像データは1ピクセルあたり8ビットなので、生のビットを通信する自明なエンコーディングによって、このレートで無限のsnrを得ることができる。 0.71
PCA and PBA do not find this solution because they quantize in the transform domain, where the lattice-nature of the pixel distribution is not apparent. PCA と PBA は、ピクセル分布の格子構造が明らかでない変換領域で量子化するので、この解を見つからない。 0.67
Determining how to leverage lattice structure in the source distribution for purposes of compression is an interesting question that transcends the PBA and PCA algorithms and that we will not pursue here. 圧縮のためにソース分布の格子構造をどのように活用するかを決定することは、PBAおよびPCAアルゴリズムを超越する興味深い問題であり、ここでは追求しない。 0.76
The reason that PCA performs poorly is that it favors sending the less significant bits of the most significant components over the most significant bits of less significant components, when the latter are more valuable for reconstructing the source. pcaが性能が悪いのは、最も重要なコンポーネントの重要でないビットを、より重要でないコンポーネントの最も重要なビットに送信することを好むためである。
訳抜け防止モード: PCAが貧弱な理由は、重要でないコンポーネントの最も重要なビットよりも、重要でないコンポーネントの重要ビットを送ることを好むからである。 後者の方が 情報源の再構築に 価値があるときです
0.70
Arguably, it does not identify the “principal bits.” Figure 5 shows the eigenvalue distribution of the different datasets, and Figure 6 shows the number of distinct components about which information is sent as a function of rate for both PBA and PCA. 図5は、異なるデータセットの固有値分布を示し、図6は、pbaとpcaの両方のレート関数として送信される情報に関する異なるコンポーネントの数を示しています。
訳抜け防止モード: おそらく“主ビット”を識別するものではない。 図5は、異なるデータセットの固有値分布を示しています。 図6に示すのは 情報はpbaとpcaの両方のレート関数として送信される。
0.72
We see that PBA sends information about many more components for a given rate than does PCA. PBAはPCAよりも多くのコンポーネントに関する情報を所定のレートで送信しています。 0.80
We discuss the ramifications of this for downstream tasks, such as classification, in Section 5.3. 本稿では,第5.3節の分類などの下流タスクに対する影響について論じる。 0.70
5.2 SSIM Performance 5.2 SSIM性能 0.77
Structural similarity (SSIM) and Multi-Scale Structural similarity (MS-SSIM) are metrics that are tuned to perceptual similarity. 構造類似度 (SSIM) とマルチスケール構造類似度 (MS-SSIM) は知覚類似度に調整されたメトリクスである。 0.74
Given two images, the SSIM metric outputs a real value between 0 and 1 where a higher value indicates more similarity between the images. 2つの画像が与えられた場合、SSIMメトリックは、画像間のより類似度の高い値を示す0から1の間の実値を出力する。 0.73
We evaluate the performance of our algorithms on these metrics as well in Figure 7. 私たちは、これらのメトリクスに対するアルゴリズムのパフォーマンスを図7で評価します。 0.73
We see that PBA consistently 4It should be noted, however, that JPEG and JPEG2000 aim to minimize subjective distortion, not MSE, and they PBAは一貫して 4 jpeg と jpeg2000 は mse ではなく 主観的歪みを最小化することを目的としている。
訳抜け防止モード: PBAは一貫して 4その点に留意すべきである。 JPEGとJPEG2000はMSEではなく主観的歪みを最小化する
0.74
do not allow for training on sample images, as PBA and PCA do. PBAやPCAのように、サンプルイメージのトレーニングを許可しない。 0.70
A similar caveat applies to AAC. 同様の注意事項がAACにも適用される。 0.61
18 18 0.85
英語(論文から抽出)日本語訳スコア
Figure 5: Eigenvalue distribution of the datasets. 図5: データセットの固有値分布。 0.78
The top three plots are the largest 25 eigenvalues for MNIST, CIFAR-10, Faces and FSDD dataset. 上位3つのプロットは、MNIST、CIFAR-10、Faces、FSDDデータセットの最大25の固有値である。 0.63
The bottom four figures plot the remaining eigenvalues except the largest 500. 下の4つの数字は、最大500を除く残りの固有値をプロットする。 0.58
Figure 6: Plots of number of components sent vs rate (bits/pixel) for PBA and PCA. 図6: PBAとPCAで送信されるコンポーネントの数とレート(ビット/ピクセル)のプロット。 0.89
dominates PCA, and although it was not optimized for this metric, beats JPEG at low rates as well. PCAを支配しており、このメトリックに最適化されていないが、JPEGを低レートで打ち負かしている。 0.69
5.3 Performance on Downstream tasks 5.3 下流タスクのパフォーマンス 0.83
Lastly, we compare the impact of using PBA and PCA on an important downstream task, namely classification. 最後に,pba と pca の使用が重要な下流課題,すなわち分類に与える影響を比較した。 0.81
We evaluate the algorithms on MNIST and CIFAR-10 datasets and use neural networks for classification. mnistおよびcifar-10データセットのアルゴリズムを評価し,分類にニューラルネットワークを用いる。 0.80
Our hyperparameter and architecture choices are given in Table 1. ハイパーパラメータとアーキテクチャの選択はテーブル1で行われます。 0.71
We divide the dataset into three parts. データセットを3つに分けます。 0.70
From the first part, we obain the covariance matrix that we use for PCA and to obtain the PBA compressor. まず,PCAに使用する共分散行列をオーバインし,PBA圧縮機を得る。 0.62
The second and third part are used as training and testing data for the purpose of classification. 第2部と第3部は,分類目的でのトレーニングおよびテストデータとして使用される。 0.79
For a fixed rate, reconstructions are passed to the neural networks for training and testing respectively. 固定レートでは、それぞれトレーニングとテストのためにニューラルネットワークに再構成が渡される。 0.77
Since our goal is to compare classification accuracy across the compressors, we fix both the architecture and hyperparameters, and do not perform any additional tuning for the separate algorithms. 我々の目標は圧縮機全体の分類精度を比較することなので、アーキテクチャとハイパーパラメータの両方を修正し、別のアルゴリズムのチューニングは行わない。 0.74
Figure 8 shows that PBA outperforms PCA in terms of accuracy. 図8は、PBAがPCAよりも精度が高いことを示している。 0.64
The difference is especially significant for low rates; all algorithms attain roughly the same performance at higher rates. 特に違いは アルゴリズムはすべて、高いレートでほぼ同じパフォーマンスを実現しています。 0.59
19 19 0.85
英語(論文から抽出)日本語訳スコア
Figure 7: SSIM vs Rate (bits/pixel) for MNIST, CIFAR-10, Faces Dataset 図7:MNISTのSSIM vs Rate(bits/pixel)、CIFAR-10、Facesデータセット 0.82
Hyperparameter Architecture ハイパーパラメータアーキテクチャ 0.73
MNIST CIFAR-10 MNIST CIFAR-10 0.72
2-layer fully connected NN Convolutional Neural Network 2層完全連結NN 畳み込みニューラルネットワーク 0.72
with 2 convolutional layers, pooling and 2つの畳み込み層とプールと 0.67
three fully connected layers 完全に繋がった3つの層 0.58
# Hidden Neurons Optimization Algorithm Loss Learning Rate #隠れニューロン最適化アルゴリズム損失学習率 0.83
100 Adam Cross-entropy 100 アダム クロスエントロピー 0.62
0.0005 NA SGD with momentum 0.0005 NA 運動量を持つSGD 0.65
Cross-entropy 0.01 クロスエントロピー 0.01 0.58
Table 1: Hyperparameter Choices and Architecture for Classification 表1:ハイパーパラメータの選択と分類のアーキテクチャ 0.83
Figure 8: Accuracy vs Rate (bits/pixel) for MNIST, CIFAR-10 図8:MNISTの精度対レート(ビット/ピクセル)、CIFAR-10 0.82
20 20 0.85
英語(論文から抽出)日本語訳スコア
References [AMT+17] Eirikur Agustsson, Fabian Mentzer, Michael Tschannen, Lukas Cavigelli, Radu Timofte, Luca Benini, and Luc V Gool. 参考文献 AMT+17]Erikur Agustsson, Fabian Mentzer, Michael Tschannen, Lukas Cavigelli, Radu Timofte, Luca Benini, Luc V Gool。 0.72
Soft-to-hard vector quantization for end-to-end learning compressible representations. エンドツーエンド学習圧縮性表現のためのソフト・トゥ・ハードベクトル量子化 0.48
In Advances in Neural Information Processing Systems 30, pages 1141–1151, 2017. In Advances in Neural Information Processing Systems 30 page 1141–1151, 2017 0.79
[AT20] Eirikur Agustsson and Lucas Theis. [AT20] Eirikur AgustssonとLucas Theis。 0.86
Universally quantized neural compression. 万能量子化ニューラル圧縮。 0.57
In Advances in Neural Information Processing Systems 33, pages 12367–12376, 2020. In Advances in Neural Information Processing Systems 33, pages 12367–12376, 2020 0.86
[ATM+19] Eirikur Agustsson, Michael Tschannen, Fabian Mentzer, Radu Timofte, and Luc Van Gool. ATM+19]Erikur Agustsson、Michael Tschannen、Fabian Mentzer、Radu Timofte、Luc Van Gool。 0.71
Generative adversarial networks for extreme learned image compression. 極端学習画像圧縮のための生成対向ネットワーク 0.72
In Proceedings of the IEEE International Conference on Computer Vision, pages 221–231, 2019. In Proceedings of the IEEE International Conference on Computer Vision, page 221–231, 2019。 0.91
[BCM+20] Johannes Ball´e, Philip A Chou, David Minnen, Saurabh Singh, Nick Johnston, Eirikur Agustsson, Sung Jin Hwang, and George Toderici. BCM+20] Johannes Ball ́e, Philip A Chou, David Minnen, Saurabh Singh, Nick Johnston, Eirikur Agustsson, Sung Jin Hwang, George Toderici。 0.87
Nonlinear transform coding. arXiv:2007.03034, 2020. 非線形変換符号化 arXiv:2007.03034, 2020 0.75
[Ber99] Dimitri P. Bertsekas. [Ber99] Dimitri P. Bertsekas 0.86
Nonlinear Programming. 非線形プログラミング。 0.82
Athena Scientific, 1999. 1999年、科学博士。 0.61
[BH89] [Bis06] [BH89] [Bis06] 0.94
[BK88] [Bla65] [BK88] [Bla65] 0.94
[BLS16] Pierre Baldi and Kurt Hornik. [BLS16] ピエール・バルディとカート・ホーニック。 0.69
Neural networks and principal component analysis: Learning from examples without local minima. ニューラルネットワークと主成分分析:局所最小値のない例から学ぶ。 0.78
Neural Networks, 2(1):53 – 58, 1989. Neural Networks, 2(1):53 – 58, 1989。 0.88
Christopher M. Bishop. クリストファー・m・ビショップ 0.41
Pattern Recognition and Machine Learning (Information Science and Statistics). パターン認識と機械学習(情報科学・統計学) 0.75
Springer-Verlag, Berlin, Heidelberg, 2006. springer-verlag, berlin, heidelberg, 2006年。 0.67
Herve Bourlard and Y. Kamp. Herve BourlardとY. Kamp。 0.87
Auto-association by multilayer perceptrons and singular value decomposition. 多層パーセプトロンによる自己結合と特異値分解 0.64
Biological Cybernetics, 59:291–294, 1988. Biological Cybernetics, 59:291–294, 1988。 0.76
Nelson M. Blachman. ネルソン・m・ブラッチマン 0.65
The convolution inequality for entropy powers. エントロピーの力に対する畳み込みの不平等。 0.54
IEEE Trans. IEEE Trans。 0.82
Inf. Theory, 11(2):267–271, April 1965. Inf 理論 11(2):267–271, 1965年4月。 0.64
Johannes Ball´e, Valero Laparra, and Eero Simoncelli. Johannes Ball ́e, Valero Laparra, Eero Simoncelli 0.77
End-to-end optimization of nonlinear transform codes for perceptual quality. 知覚品質のための非線形変換符号のエンドツーエンド最適化 0.65
In 2016 Picture Coding Symposium (PCS), 2016. 2016年、PCS (Picture Coding Symposium) に参加。 0.76
[BLSG20] Xuchan Bao, James Lucas, Sushant Sachdeva, and Roger Grosse. BLSG20]Xuchan Bao、James Lucas、Sushant Sachdeva、Roger Grosse。 0.67
Regularized linear autoencoders recover the principal components, eventually. 正規化された線形オートエンコーダは最終的に主成分を回復する。 0.49
arXiv:2007.06731, 2020. arXiv:2007.06731, 2020 0.71
[BMS+18] Johannes Ball´e, David Minnen, Saurabh Singh, Sung Jin Hwang, and Nick Johnston. BMS+18] Johannes Ball ́e, David Minnen, Saurabh Singh, Sung Jin Hwang, Nick Johnston。 0.89
Variational image compression with a scale hyperprior. スケール超優先による変動画像圧縮 0.69
In International Conference on Learning Representations, 2018. 2018年、国際学習表現会議に参加。 0.75
[BV04] Stephen Boyd and Lieven Vandenberghe. [BV04] スティーブン・ボイドとリーヴェン・ヴァンデンバーグ。 0.72
Convex Optimization. Cambridge, 2004. 凸最適化。 2004年、ケンブリッジ。 0.67
[CEKL19] Yoojin Choi, Mostafa El-Khamy, and Jungwon Lee. [CEKL19]ヨオジン・チェイ、モスタファ・エル・カミー、ユングウォン・リー。 0.40
Variable rate deep image comIn Proceedings of the IEEE/CVF Interna- IEEE/CVF干渉による可変レート深部画像の合成- 0.70
pression with a conditional autoencoder. 条件付きオートエンコーダで押圧する。 0.69
tional Conference on Computer Vision (ICCV), October 2019. コンピュータビジョンに関する国際会議 (ICCV) 2019年10月。 0.82
[CT06] Thomas M. Cover and Joy A. Thomas. [CT06] トーマス・M・カバーとジョイ・A・トーマス。 0.73
Elements of Information Theory. Wiley, 2006. 情報理論の要素。 2006年、ワイリー。 0.67
21 21 0.85
英語(論文から抽出)日本語訳スコア
[HJ13] Roger A. Horn and Charles R. Johnson, editors. [HJ13] ロジャー・A・ホーンとチャールズ・R・ジョンソンの編集者。 0.74
Matrix Analysis. Cambridge University Press, USA, 2013. マトリックス分析。 ケンブリッジ大学出版局、2013年。 0.62
[HRTC19] Amirhossein Habibian, Ties van Rozendaal, Jakub M Tomczak, and Taco S Cohen. HRTC19] Amirhossein Habibian, Ties van Rozendaal, Jakub M Tomczak, Taco S Cohen 0.66
Video compression with rate-distortion autoencoders. rate-distortion autoencoderによるビデオ圧縮 0.77
In Proceedings of the IEEE International Conference on Computer Vision, pages 7033–7042, 2019. In Proceedings of the IEEE International Conference on Computer Vision, page 7033–7042, 2019。 0.91
[HS06] [Jac] [HS06] [ジャック] 0.78
Geoffrey E Hinton and Ruslan R Salakhutdinov. Geoffrey E HintonとRuslan R Salakhutdinov。 0.80
Reducing the dimensionality of data with neural networks. ニューラルネットワークによるデータの次元性の低減。 0.80
Science, 313(5786):504–507, 2006. 313(5786):504-507, 2006。 0.70
Zohar Jackson. Zohar Jackson 0.57
Free spoken digit dataset (fsdd). free spoken digit dataset (fsdd) の略。 0.78
https://github.com/J akobovski/ free-spoken-digit-da taset. https://github.com/J akobovski/ free-spoken-digit-da taset 0.38
[Kay98] Steven M Kay. [Kay98] スティーブン・M・ケイ。 0.75
Estimation Theory. Prentice Hall PTR, 1998. 推定理論。 1998年、PTRに入社。 0.59
[KBGS19] Daniel Kunin, Jonathan Bloom, Aleksandrina Goeva, and Cotton Seed. KBGS19]Daniel Kunin、Jonathan Bloom、Aleksandrina Goeva、Cotton Seed。 0.63
Loss landscapes of regularized linear autoencoders. 正規化線形オートエンコーダの損失景観 0.62
In International Conference on Machine Learning, volume 97, pages 3560–3569, 2019. international conference on machine learning, volume 97, pages 3560–3569, 2019 (英語) 0.86
[Kri09] Alex Krizhevsky. [Kri09] Alex Krizhevsky 0.76
Learning multiple layers of features from tiny images. 小さな画像から複数の機能層を学ぶ。 0.80
Master’s Thesis, Department of Computer Science, University of Toronto, 2009. トロント大学コンピュータ科学科修士論文、2009年。 0.41
[LBBH98] Yann LeCun, L´eon Bottou, Yoshua Bengio, and Patrick Haffner. [LBBH98]Yann LeCun、L'eon Bottou、Yoshua Bengio、Patrick Haffner。 0.78
Gradient-based learning applied to document recognition. 文書認識への勾配学習の適用 0.76
Proceedings of the IEEE, 86(11):2278–2324, 1998. IEEE 86(11):2278–2324, 1998 年。 0.73
[LNP19] Sa¨ıd Ladjal, Alasdair Newson, and Chi-Hieu Pham. [LNP19] アラドール・ニューソン(Alasdair Newson)、チ・ヒュー・パム(Chi-Hieu Pham)。 0.67
abs/1904.01277, 2019. Abs/1904.01277, 2019 0.67
A pca-like autoencoder. pcaライクなオートエンコーダ。 0.64
[LTGN19] James Lucas, George Tucker, Roger B Grosse, and Mohammad Norouzi. [LTGN19]James Lucas、George Tucker、Roger B Grosse、Mohammad Norouzi。 0.75
Don’t blame the elbo! elboを責めるな! 0.53
a linear vae perspective on posterior collapse. 後方崩壊に対する線状vaeの展望 0.60
In Advances in Neural Information Processing Systems, volume 32, pages 9408–9418, 2019. Advances in Neural Information Processing Systems, Volume 32, page 9408–9418, 2019。 0.83
[LZW+21] Liang Liao, Xuechun Zhang, Xinqiang Wang, Sen Lin, and Xin Liu. [LZW+21]梁麗、Xuechun Zhang、Xinqiang Wang、Sen Lin、Xin Liu。 0.79
Generalized image reconstruction over t-algebra. 一般画像 t-algebraによる再構成。 0.63
arXiv:2101.06650, 2021. arXiv:2101.06650,202 1。 0.47
[MB95] Alan V. McCree and Thomas P. Barnwell. [MB95] アラン・マクリーとトーマス・P・バーンウェル。 0.73
A mixed excitation lpc vocoder model for low bit rate speech coding. 低ビットレート音声符号化のための混合励起lpcボコーダモデル 0.68
IEEE Transactions on Speech and Audio Processing, 3(4):242– 250, 1995. IEEE Transactions on Speech and Audio Processing, 3(4):242–250, 1995 0.86
[MOA11] Albert W. Marshall, Ingram Olkin, and Barry C. Arnold. [moa11]アルバート・w・マーシャル、イングラム・オルキン、バリー・c・アーノルド 0.51
Inequalities: Theory of Ma- jorization and its Applications, volume 143. 不等式:maの理論 jorization and its applications, volume 143 (英語) 0.74
Springer, 2011. 2011年、スプリンガー。 0.57
[OSWS20] Reza Oftadeh, Jiayi Shen, Zhangyang Wang, and Dylan Shell. [OSWS20]Reza Oftadeh, Jiayi Shen, Zhangyang Wang, Dylan Shell 0.74
Eliminating the invariance on the loss landscape of linear autoencoders. 線形オートエンコーダの損失ランドスケープにおける不変性の除去 0.76
In International Conference on Machine Learning, pages 7405–7413, 2020. International Conference on Machine Learning, page 7405–7413, 2020 0.78
[RB17] Oren Rippel and Lubomir Bourdev. [RB17] Oren Rippel と Lubomir Bourdev 0.81
Real-time adaptive image compression. リアルタイム適応画像圧縮。 0.87
In International Conference on Machine Learning, pages 2922–2930, 2017. 2017年、International Conference on Machine Learningで2922-2930頁。 0.84
22 22 0.85
英語(論文から抽出)日本語訳スコア
[RZM19] Michal Rol´ınek, Dominik Zietlow, and Georg Martius. RZM19] Michal Rol ́ınek, Dominik Zietlow, Georg Martius。 0.84
Variational autoencoders pursue pca directions (by accident). 変分オートエンコーダは(偶然)pcaの方向を追求する。 0.47
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2019年6月。 0.90
[SA85] M. Schroeder and B. Atal. [SA85] M. SchroederとB. Atal。 0.90
Code-excited linear prediction(celp): High-quality speech at very low bit rates. code-excited linear prediction (celp): 極めて低いビットレートで高品質な音声。 0.75
In IEEE International Conference on Acoustics, Speech, and Signal Processing, volume 10, pages 937–940, 1985. IEEE International Conference on Acoustics, Speech, and Signal Processing, Volume 10, page 937–940, 1985。 0.85
[San12] Rafael do EspArito Santo. [三十二] ラファエル・ド・エススペリト・サント(Rafael do EspArito Santo)。 0.56
Principal Component Analysis Applied to Digital Image Compression. 主成分分析をデジタル画像圧縮に適用する。 0.82
Einstein (S´ao Paulo), 10:135 – 139, 06 2012. Einstein (S ́ao Paulo), 10:135 – 139, 06 2012 0.91
[TAL18] Michael Tschannen, Eirikur Agustsson, and Mario Lucic. [tal18]michael tschannen、eirikur agustsson、mario lucic。 0.61
Deep generative models In Advances in Neural Information ニューラル情報における深部生成モデル 0.68
for distribution-preserv ing lossy compression. 分散保存型損失圧縮。 0.77
Processing Systems 31, pages 5929–5940. 処理システム31、5929-5940頁。 0.73
2018. [TOH+16] George Toderici, Sean M O’Malley, Sung Jin Hwang, Damien Vincent, David Minnen, Shumeet Baluja, Michele Covell, and Rahul Sukthankar. 2018. ToH+16]George Toderici, Sean M O’Malley, Sung Jin Hwang, Damien Vincent, David Minnen, Shumeet Baluja, Michele Covell, Rahul Sukthankar。 0.84
Variable rate image compression with recurrent neural networks. リカレントニューラルネットワークを用いた可変レート画像圧縮 0.75
In International Conference on Learning Representations, 2016. 2016年、国際学習表現会議に参加。 0.78
[TSCH17] Lucas Theis, Wenzhe Shi, Andrew Cunningham, and Ferenc Husz´ar. [TSCH17]Lucas Theis, Wenzhe Shi, Andrew Cunningham, Ferenc Husz ́ar。 0.83
Lossy image compression with compressive autoencoders. 圧縮オートエンコーダによるロス画像圧縮 0.79
In International Conference on Learning Reperesentations, 2017. 2017年、国際学習レパートリー会議に参加。 0.74
[TVJ+17] George Toderici, Damien Vincent, Nick Johnston, Sung Jin Hwang, David Minnen, Joel Shor, and Michele Covell. [TVJ+17]George Toderici、Damien Vincent、Nick Johnston、Sung Jin Hwang、David Minnen、Joel Shor、Michele Covell。 0.73
Full resolution image compression with recurrent neural networks. リカレントニューラルネットワークを用いたフル解像度画像圧縮 0.82
In IEEE Conference on Computer Vision and Pattern Recognition, pages 5435–5443, 2017. IEEE Conference on Computer Vision and Pattern Recognition, page 5435–5443, 2017 0.79
[Vor] Vorbis audio compression. [Vor] Vorbisオーディオ圧縮。 0.80
https://xiph.org/vor bis/. https://xiph.org/vor bis/。 0.48
Accessed: 2021-01-26. アクセス:2021-01-26。 0.44
[WBSS04] Zhou Wang, A. [WBSS04]周王,A。 0.66
C Bovik, H. R. Sheikh, and E. P. Simoncelli. C Bovik、H.R. Sheikh、E.P. Simoncelli。 0.85
Image quality assessment: From error visibility to structural similarity. 画像品質評価: エラー可視性から構造的類似性まで。 0.79
IEEE Transactions on Image Processing, 13(4):600–612, 2004. IEEE Transactions on Image Processing, 13(4):600–612, 2004 0.94
[ZCG+18] Lei Zhou, Chunlei Cai, Yue Gao, Sanbao Su, and Junmin Wu. [ZCG+18]Lei Zhou、Chunlei Cai、Yue Gao、Sanbao Su、Junmin Wu。 0.79
Variational autoencoder for low bit-rate image compression. 低ビットレート画像圧縮のための変分オートエンコーダ 0.72
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 2617–2620, 2018. IEEE Conference on Computer Vision and Pattern Recognition WorkshopsのProceedings of the Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 2617–2620, 2018。
訳抜け防止モード: IEEE Conference on Computer Vision and Pattern Recognition Workshops に参加して 2617-2620頁、2018年。
0.84
[ZF92] Ram Zamir and Meir Feder. [ZF92] ラム・ザミールとメイア・フェデラー。 0.68
On universal quantization by randomized uniform/lattice quantizers. ランダム化均一・格子量子化器による普遍量子化について 0.50
IEEE Trans. IEEE Trans。 0.82
Inf. Theory, 38:428–436, 1992. Inf 理論38:428–436, 1992。 0.61
A Review of Schur-Convexity Schur-Convexityの概観 0.70
In this section, we review the key definitions and theorems related to Schur-convexity that we use in the proof of Theorem 1. 本節では、定理 1 の証明に使用するシュアー凸性に関連する重要な定義と定理について概説する。 0.69
23 23 0.85
英語(論文から抽出)日本語訳スコア
Definition 7. (Majorization)[HJ13] For a vector v ∈ Rd, let v↓ denote the vector with the same components arranged in descending order. 定義7。 (Majorization)[HJ13] ベクトル v ∈ Rd に対して、v は下向きに配置された同じ成分を持つベクトルを表す。 0.78
Given vectors a, b ∈ Rd, we say a majorizes b and denote a (cid:31) b, if 与えられたベクトル a, b ∈ rd が与えられたとき、a は b を主成分とし、a (cid:31) b と表す。
訳抜け防止モード: ベクトル a, b ∈ Rd が与えられたとき、a は b を拡大する。 a ( cid:31 ) b , if
0.80
and for all k ∈ [d − 1], そして、すべての k ∈ [d − 1] に対して 0.87
[a]i = d(cid:88) (cid:104) a↓(cid:105) k(cid:88) [a]i = d(cid:88) (cid:104) (cid:105) k(cid:88) 0.83
i=1 i=1 d(cid:88) ≥ k(cid:88) i=1 i=1 d(cid:88) ≥ k(cid:88) 0.67
i=1 i i=1 i=1 私は i=1 0.57
[b]i , (cid:104) b]i, (cid:104) 0.67
b↓(cid:105) . i b)(105) . 私は 0.68
Definition 8. (Schur-convexity) A function f : Rd → R is Schur-convex if for any vectors a, b ∈ Rd, such that a (cid:31) b, 定義8。 (シュール凸性) 函数 f : Rd → R がシュル凸であるとは、任意のベクトル a, b ∈ Rd に対して a (cid:31) b となることをいう。
訳抜け防止モード: 定義8。 (Schur - convexity ) 函数 f : Rd → R は任意のベクトル a, に対して Schur - convex である。 b ∈ Rd で a ( cid:31 ) b,
0.79
f (a) ≥ f (b) . f (a) ≥ f (b) である。 0.85
f is strictly Schur-convex if the above inequality is a strict inequality for any a (cid:31) b that are not permutations of each other. f が厳密なシュル凸(Schur-convex)は、上記の不等式が互いに置換しない任意の a (cid:31) b に対して厳密な不等式であるときである。 0.52
f is Schur-concave if the direction of the inequality is reversed and is strictly Schur concave if the direction of the inequality is reversed and it is a strict inequality for any a (cid:31) b that are not permutations of each other. f は、不等号の向きが逆で、不等号の向きが逆で、互いに置換していない任意の a (cid:31) b に対して厳密な不等号であるとき、厳密なシュル凹である。
訳抜け防止モード: f がシュルである、不等式の方向が逆になるとき 厳密には Schur concave である。 不平等の方向が逆になっている 互いに置換しない任意の a ( cid:31 ) b に対して厳密な不等式である。
0.72
Proposition 9. [MOA11] If f : R → R is convex, then φ : Rd → R given by 命題9。 [MOA11] f : R → R が凸であれば、φ : Rd → R が与えられる。 0.74
d(cid:88) φ (v) = d(cid:88) φ (v) = 0.85
f ([v]i) is Schur-convex. f ([v]i) Schur-convexです。 0.70
If f is concave, then φ is Schur-concave. f が凸であれば φ はシュール凸である。 0.63
Likewise if f is strictly convex, φ is strictly Schur-convex and if f is strictly concave, φ is strictly Schur-concave. 同様に、f が厳密凸であれば、φ は厳密凸であり、f が厳密凸であれば、φ は厳密凸である。 0.58
i=1 24 i=1 24 0.72
                                                 ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。