論文の概要、ライセンス

# (参考訳) DeEPCA: 線形収束率を持つ分散排他的PCA [全文訳有]

DeEPCA: Decentralized Exact PCA with Linear Convergence Rate ( http://arxiv.org/abs/2102.03990v1 )

ライセンス: CC BY 4.0
Haishan Ye, Tong Zhang(参考訳) 弱い接続された計算ノードやセンサなどのスマートエージェントの急速な成長により、ローカルエージェント上で計算を行う分散アルゴリズムの開発が大きな研究方向となっている。 本稿では,データ分析に広く用いられている統計手法である分散主成分分析(PCA)の問題点について考察する。 通信コストを削減するためのサブスペーストラッキングと呼ばれる手法を導入し、パワーイテレーションに適用します。 これは、分散PCAアルゴリズムである \texttt{DeEPCA} につながり、このアルゴリズムは集中PCAと同様の収束速度を持ち、既存の分散PCAアルゴリズムの中で最高の通信複雑性を達成している。 texttt{DeEPCA} は最初の分散PCAアルゴリズムであり、目標精度とは無関係に、各電源イテレーションの通信ラウンド数である。 既存のアルゴリズムと比較して,提案手法は実際のチューニングが容易であり,全体の通信コストが向上する。 我々の実験は経験的に \texttt{deepca} の利点を検証する。

Due to the rapid growth of smart agents such as weakly connected computational nodes and sensors, developing decentralized algorithms that can perform computations on local agents becomes a major research direction. This paper considers the problem of decentralized Principal components analysis (PCA), which is a statistical method widely used for data analysis. We introduce a technique called subspace tracking to reduce the communication cost, and apply it to power iterations. This leads to a decentralized PCA algorithm called \texttt{DeEPCA}, which has a convergence rate similar to that of the centralized PCA, while achieving the best communication complexity among existing decentralized PCA algorithms. \texttt{DeEPCA} is the first decentralized PCA algorithm with the number of communication rounds for each power iteration independent of target precision. Compared to existing algorithms, the proposed method is easier to tune in practice, with an improved overall communication cost. Our experiments validate the advantages of \texttt{DeEPCA} empirically.
公開日: Mon, 8 Feb 2021 03:53:09 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
1 2 0 2 b e F 8 1 2 0 2 b e F 8 0.85
] G L . ] G L。 0.79
s c [ 1 v 0 9 9 3 0 sc [ 1 v 0 9 9 3 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
DeEPCA: Decentralized Exact PCA with Linear Convergence Rate DeEPCA: 線形収束率を持つ分散排他的PCA 0.78
Haishan Ye ∗ Tong Zhang † ハイシャン。 Tong Zhang 。 0.56
February 9, 2021 Abstract 2021年2月9日 概要 0.58
Due to the rapid growth of smart agents such as weakly connected computational nodes and sensors, developing decentralized algorithms that can perform computations on local agents becomes a major research direction. 弱い接続された計算ノードやセンサなどのスマートエージェントの急速な成長により、ローカルエージェント上で計算を行う分散アルゴリズムの開発が大きな研究方向となっている。 0.89
This paper considers the problem of decentralized Principal components analysis (PCA), which is a statistical method widely used for data analysis. 本稿では,データ分析に広く用いられている統計手法である分散主成分分析(PCA)の問題点について考察する。 0.80
We introduce a technique called subspace tracking to reduce the communication cost, and apply it to power iterations. 通信コストを削減するためのサブスペーストラッキングと呼ばれる手法を導入し、パワーイテレーションに適用します。 0.81
This leads to a decentralized PCA algorithm called DeEPCA, which has a convergence rate similar to that of the centralized PCA, while achieving the best communication complexity among existing decentralized PCA algorithms. これはDeEPCAと呼ばれる分散PCAアルゴリズムにつながり、既存の分散PCAアルゴリズムの中で最高の通信複雑さを達成しながら、集中PCAのそれに似た収束率を有する。 0.83
DeEPCA is the first decentralized PCA algorithm with the number of communication rounds for each power iteration independent of target precision. DeEPCAは最初の分散PCAアルゴリズムであり、目標精度とは無関係に、各電源イテレーションの通信ラウンド数がある。 0.75
Compared to existing algorithms, the proposed method is easier to tune in practice, with an improved overall communication cost. 既存のアルゴリズムと比較して,提案手法は実際のチューニングが容易であり,全体の通信コストが向上する。 0.87
Our experiments validate the advantages of DeEPCA empirically. 実験はDeEPCAの利点を実証的に検証した。 0.58
1 Introduction Principal Components Analysis (PCA) is a statistical data analysis method wide applications in machine learning (Moon & Phillips, 2001; Bishop, 2006; Ding & He, 2004; Dhillon et al., 2015), data mining (Cadima et al., 2004; Lee et al., 2010; Qu et al., 2002), and engineering (Bertrand & Moonen, 2014). はじめに 主成分分析 (principal components analysis, pca) は、機械学習(moon & phillips, 2001; bishop, 2006; ding & he, 2004; dhillon et al., 2015)、データマイニング(cadima et al., 2004; lee et al., 2010; qu et al., 2002)、エンジニアリング(bertrand & moonen, 2014)における統計データ分析手法である。 0.69
In recent years, because of the rapid growth of data and quick advances in network technology, developing distributed algorithms has become a more and more important research topic, due to their advantages in privacy preserving, robustness, lower communication cost, etc. 近年、データの急速な成長とネットワーク技術の急速な進歩により、分散アルゴリズムの開発は、プライバシーの保全、堅牢性、通信コストの低減などの利点により、ますます重要な研究テーマとなっています。 0.67
(Kairouz et al., 2019; Lian et al., 2017; Nedic & Ozdaglar, 2009). (Kairouz et al., 2019; Lian et al., 2017; Nedic & Ozdaglar, 2009)。 0.81
There have been a number of previous studies of decentralized PCA algorithms (Scaglione et al., 2008; Kempe & McSherry, 2008; Suleiman et al., 2016; Wai et al., 2017). 分散pcaアルゴリズムについては、これまで多くの研究がなされてきた(scaglione et al., 2008; kempe & mcsherry, 2008; suleiman et al., 2016; wai et al., 2017)。 0.84
In a typical decentralized PAC setting, we assume that a positive semi-definite matrix A is 典型的な分散pac設定では、正の半定義行列 a を仮定する。 0.64
stored at different agents. 異なるエージェントに保管されてる 0.59
Specifically, the matrix A can be decomposed as 具体的には、マトリックスaを分解することができる。 0.55
A = 1 m mX A = 1 M mX 0.82
j=1 Aj, ∗Shenzhen Research Institute of Big Data; The Chinese University of Hong Kong, Shenzhen; j=1 Aj。 シンセンビッグデータ研究所;香港、深センの中国大学。 0.61
email: hsye cs@outlook.com; メール: hsye cs@outlook.com; 0.82
†Hong Kong University of Science and Technology; email: tongzhang@ust.hk 香港科学技術大学、電子メール:tongzhang@ust.hk 0.61
1 1 0.85
英語(論文から抽出)日本語訳スコア
O(cid:16)log 1 O(cid:16)log 1 0.92
 where data for Aj is stored in the j-th agent and known only to the agent (This helps to preserve privacy).  aj のデータは j-th エージェントに格納され、エージェントにのみ知られる(これはプライバシの保護に役立つ)。 0.76
The agents form a connected and undirected network. エージェントは接続された非指向ネットワークを形成する。 0.70
Agents can communicate with their neighbors in the network to cooperatively compute the PCA of A. エージェントは、ネットワーク内の隣人と通信して、AのPCAを協調的に計算できます。 0.69
To obtain the top-k principal components of the positive semi-definite matrix A ∈ Rd×d, a commonly used centralized algorithm is the power method, which converges fast in practice with a linear convergence rate (Golub & Van Loan, 2012). 正半定値行列 A ∈ Rd×d のトップ k の主成分を得るために、一般的に使用される集中型アルゴリズムは、線形収束率で実際に速く収束するパワーメソッドである(Golub & Van Loan, 2012)。 0.81
In the implementation of decentralized PCA, a natural idea is the decentralized power method (DePM) which mimics its centralized counterpart. 分散化PCAの実装において、自然なアイデアは、その集中化を模倣する分散化パワーメソッド(DePM)である。 0.67
The main procedure of DePM can be summarized as a local power iteration plus a multi-consensus step to synchronize the local computations (Kempe & McSherry, 2008; Raja & Bajwa, 2015; Wai et al., 2017; Wu et al., 2018). DePMの主な手順は、ローカル電力イテレーションと、ローカル計算を同期するためのマルチコンセンサスステップとしてまとめることができます(Kempe & McSherry, 2008; Raja & Bajwa, 2015; Wai et al., 2017; Wu et al., 2018)。 0.81
The multi-consensus step in DePM is used to achieve averaging. DePMのマルチコンセンサスステップは平均化を達成するために使用される。 0.65
However, decentralized PCA algorithm based on DePM suffers from a suboptimal communication cost, and is tricky to implement in practice. しかし、DePMに基づく分散PCAアルゴリズムは、最適以下の通信コストに悩まされ、実際に実装するのは困難である。 0.71
For each power iteration, theoretically, it requires 電力の反復ごとに 理論的には 0.60
(cid:17) times communication, where  is the target precision. (cid:17) 通信の回数は、ターゲットの精度である。 0.77
The communication cost becomes much quite significant when  is small. 通信コストは が小さいとき、非常に重要なことです。 0.62
Although seemingly only a logarithmic factor, in practice, with a data size of merely 10000, this logarithmic factor leads to an order of magnitude more communications. 一見、対数因子に過ぎないように見えるが、実際にはデータサイズがわずか10000であるにもかかわらず、この対数因子は1桁以上の通信を導く。 0.64
This is clearly prohibitively large for many applications. これは多くのアプリケーションにとって明らかに大きすぎる。 0.70
Moreover, one often has to gradually increase the number of communication rounds in the multi-consensus step to deal with increased precision. さらに、精度の向上に対処するために、マルチコンセンサスステップの通信ラウンドの数を徐々に増やさなければなりません。
訳抜け防止モード: さらに しばしば 精度の向上に対応するために、マルチコンセンサスステップにおける通信ラウンド数を徐々に増加させる。
0.83
However, this strategy makes the tuning of DePM difficult for practical applications. しかし、この戦略により、実用的なアプリケーションではDePMのチューニングが困難になる。 0.61
In this paper, we propose a new decentralized PCA algorithm that does not suffer from the weakness of DePM. 本稿では,DePMの弱点に苦しむことのない分散PCAアルゴリズムを提案する。 0.66
We observe that the communication precision requirement in DePM comes from the heterogeneity of data in different agents. depmにおける通信精度の要件は,異なるエージェントにおけるデータの多様性によるものである。 0.77
Due to the heterogeneity, the local power method will converge to the top-k principal components of the local matrix Aj if no consensus step is conducted to perform averaging. 不均一性のために、局所電力法は、平均化を行うための合意ステップが行われない場合、局所行列Ajの上位k主成分に収束する。 0.66
To conquer the weakness of DePM whose consensus steps in each power iteration depend on the target precision , we adapted a technique called gradient tracking in the existing decentralized optimization literature, so that it can be used to track the subspace in power iterations. 各パワーイテレーションにおけるコンセンサスステップが目標精度に依存するDePMの弱点を克服するため,既存の分散最適化文献に勾配追跡と呼ばれる手法を適用し,パワーイテレーションにおける部分空間の追跡に利用した。 0.77
We call this adapted technique subspace tracking. この手法をサブスペーストラッキングと呼ぶ。 0.65
Based on the subspace tracking technique and multi-consensus, we propose Decentralized Exact PCA (DeEPCA) which can achieve a linear convergence rate similar to the centralized PCA, but the consensus steps of each power iteration is independent of the target precision . サブスペーストラッキング技術とマルチコンセンサスに基づき、集中型PCAに類似した線形収束率を達成できる分散型エクストリームPCA(DeEPCA)を提案していますが、各パワーイテレーションのコンセンサスステップは、目標の精度から独立しています。 0.81
We summarize our contributions as follows: 私たちの貢献を以下のように要約します。 0.51
1. We propose a novel power-iteration based decentralized PCA called DeEPCA, which can achieve the best known communication complexity, especially when the final error  is small. 1. 本稿では,特に最終誤差が小さい場合の通信の複雑さを最大化できる,新しいパワーイテレーションに基づく分散型pcaであるdeepcaを提案する。 0.78
Furthermore, DeEPCA is the first decentralized PCA algorithm whose consensus steps of each power iteration does not depend on the target precision . さらに、DeEPCAは、各パワーイテレーションのコンセンサスステップが対象の精度に依存しない最初の分散PCAアルゴリズムである。 0.75
2. We show that the ‘gradient tracking’ technique from the decentralized optimization literature can be adapted to subspace tracking for PCA. 2. 分散最適化文献の‘段階的追跡’技術は,pcaのサブスペース追跡に適応できることを示す。 0.79
The resulting DeEPCA algorithm can be regarded as a novel decentralized power method. 結果として得られるDeEPCAアルゴリズムは、新しい分散電力方式と見なすことができる。 0.65
Because power method is the foundation of many matrix decomposition problems, subspace tracking and the proof technique of DeEPCA can be applied to develop communication efficient decentralized algorithms for spectral analysis, and low rank matrix approximation. パワー法は多くの行列分解問題の根底にあるため、部分空間追跡とDeEPCAの証明技術を用いて、スペクトル解析と低階行列近似のための通信効率のよい分散アルゴリズムを開発することができる。 0.82
2 2 0.85
英語(論文から抽出)日本語訳スコア
3. The improvement is practically significant. 3. 改善は実質的に重要です。 0.78
Our experiments show that DeEPCA can achieve a linear convergence rate comparable to centralized PCA, even only a small number of consensus steps are used in each power iteration. 私たちの実験は、DeEPCAが集中型PCAに匹敵する線形収束率を達成できることを示しています。
訳抜け防止モード: 私たちの実験は DeEPCAは集中型PCAに匹敵する線形収束率を達成することができる。 パワーイテレーションごとに わずかなコンセンサスステップしか 使われていない。
0.73
In contrast, the conventional decentralized PCA algorithm based on DePCA can not converge to the principal components of A when the number of consensus steps is not large. 対照的に、DePCAに基づく従来の分散PCAアルゴリズムは、コンセンサスステップの数が大きすぎると、Aの主成分に収束することはできない。 0.77
2 Notation In this section, we introduce notations and definitions that will be used throughout the paper. 2 表記 本稿では,本項で使用する表記法と定義について紹介する。 0.68
2.1 Notation qPmin{n,d} 2.1 表記 qPmin{n,d} 0.72
Given a matrix A = [aij] ∈ Rn×d and a positive integer k ≤ min{n, d}, its SVD is given as A = UΣV T = UkΣkV T k + U\kΣ\kV T\k, where Uk and U\k contain the left singular vectors of A, Vk and V\k contain the right singular vectors of A, and Σ = diag(σ1, . 行列 A = [aij] ∈ Rn×d と正整数 k ≤ min{n, d} が与えられたとき、その SVD は A = UΣV T = UkΣkV T k + U\kΣ\kV T\k として与えられる。
訳抜け防止モード: 行列 A = [ aij ] ∈ Rn×d と正の整数 k ≤ min{n} が与えられる。 SVD は A = UΣV T = UkΣkV T k と与えられる。 + U\kΣ\kV T\k で、Uk と U\k は A, Vk と V\k の左特異ベクトルを含み、Σ = diag(σ1,) は A の右特異ベクトルを含む。
0.87
. . , σ‘) with σ1 ≥ σ2 ≥ ··· ≥ qPn,d σmin{n,d} ≥ 0 are the nonzero singular values of A. . . σ1 ≥ σ2 ≥ ····· ≥ qpn,d σmin{n,d} ≥ 0 は a の非零特異値である。 0.85
Accordingly, we can define the Frobenius norm i=1,j=1(A(i, j))2 and the spectral norm kAk2 = σ1(A), where A(i, j) kAk = denotes the i, j-th entry of A. したがって、フロベニウスノルム i=1,j=1(A(i, j))2 とスペクトルノルム kAk2 = σ1(A) を定義することができる。
訳抜け防止モード: したがって、フロベニウスノルム i=1,j=1(A(i, j))2 を定義することができる。 そしてスペクトルノルム kAk2 = σ1(A ) {\displaystyle A(i,} である。 j ) kAk = は A の i , j - 番目のエントリを表す。
0.72
We will use σmax(A) to denote the largest singular value and σmin(A) to denote the smallest singular value which may be zero. σmax(A) は最大の特異値を表し、σmin(A) はゼロかもしれない最小の特異値を表す。 0.72
If A is symmetric positive semi-definite, then it holds that U = V and λi(A) = σi(A), where λi(A) is the i-th largest eigenvalue of A, λmax(A) = σmax(A), and λmin(A) = σmin(A). A が対称正半定値であれば、 U = V と λi(A) = σi(A) であり、λi(A) は A, λmax(A) = σmax(A), λmin(A) = σmin(A) の i 番目の最大固有値である。 0.94
Next, we will introduce the angle between two subspaces U ∈ Rd×k and X ∈ Rd×k. 次に、二つの部分空間 U ∈ Rd×k と X ∈ Rd×k の間の角度を導入する。 0.79
σ2 i = i=1 σ2 i = i=1 0.76
Definition 1. Let U ∈ Rd×k have orthonormal columns and X ∈ Rd×k have independent columns. 定義1。 U ∈ Rd×k を正則列とし、X ∈ Rd×k を独立列とする。 0.75
For V = U⊥, then we have V = U に対して、我々は成り立つ。 0.77
(cid:13)(cid:13)(cid :13)U>Xw (cid:13)(cid:13)(cid :13)U>Xw 0.80
(cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) 0.74
cos θk(U, X) = min kwk=1 cos θk(U, X) = min kwk=1 0.92
kXwk , sin θk(U, X) = max kwk=1 kXwk , sin θk(U, X) = max kwk=1 0.96
kXwk , and , tan θk(U, X) = max kwk=1 kXwk , and , tan θk(U, X) = max kwk=1 0.98
If X is orthonormal, then it also holds that cos θk(U, X) = σmin(U>X), sin θk(U, X) = X が正則であるなら、cos(U, X) = σmin(U>X), sin(U, X) = σmin(U>X) も成り立つ。 0.83
(cid:13)(cid:13)(cid :13)V >X (cid:13)(cid:13)(cid :13)V >X 0.80
, and, tan θk(U, X) = , and, tan θk(U, X) = 0.92
(cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) 0.74
(cid:13)(cid:13)(cid :13)V >Xw (cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13)V >Xw (cid:13)(cid:13)(cid :13)2 0.77
(cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) 0.74
(cid:13)(cid:13)(cid :13)V >Xw (cid:13)(cid:13)(cid :13)V >X(U>X)−1(cid:13)(cid:13)(ci d:13)2 (cid:13)(cid:13)(cid :13)V >Xw (cid:13)(cid:13)(cid :13)V >X(U>X)−1(cid:13)(cid:13)(ci d:13)2 0.80
kU>Xwk . (2.1) kU>Xwk。 (2.1) 0.78
, (2.2) where k·k2 is the spectral norm and σmin(X) is the smallest singular value of matrix X. , (2.2) k·k2 はスペクトルノルム、σmin(x) は行列 x の最小特異値である。 0.80
The above definitions can be found in the works (Hardt & Price, 2014; Golub & Van Loan, 上記の定義は、作品(Hardt & Price, 2014; Golub & Van Loan)で見つけることができます。 0.88
2012). 2.2 Topology of Networks 2012). 2.2 ネットワークのトポロジー 0.82
Let L be the weight matrix associated with the network, indicating how agents are connected. L をネットワークに関連付けられた重み行列とし、エージェントの接続方法を示す。 0.75
We assume that the weight matrix L has the following properties: 重み行列 L は以下の性質を持つと仮定する。 0.68
3 3 0.85
英語(論文から抽出)日本語訳スコア
Algorithm 1 Decentralized Exact PCA (DeEPCA) 1: Input: Proper initial point W 0, FastMix parameter K. 2: Initialize S0 3: for t = 0, . アルゴリズム1 Decentralized Exact PCA (DeEPCA) 1: Input: Proper initial point W 0, FastMix parameters K.2: initialize S0 3: for t = 0, ... 0.91
. . , T do 4: . . , T do 4: 0.85
For each agent j, update エージェント j ごとに更新します 0.83
j = W 0 and AjW j = W 0 および AjW 0.84
j = W 0, W 0 j = W 0, W 0 0.85
= W 0. (−1) j W = 0。 (−1)j 0.82
St+1 j = St St+1 j = St 0.84
j + AjW t j − AjW t−1 j + AjW t j − AjW t−1 0.85
j 5: Communicate St+1 j 5: 通信St+1 0.76
j with its neighbors several times to achieve averaging, that is j は、平均化を達成するために数回、つまり 0.65
St+1 = FastMix(St+1, K), with St+1(:, :, j) = St+1 St+1 = FastMix(St+1, K), with St+1(:, :, j) = St+1 0.99
j . 6: For each agent j, compute the orthonormal basis of St+1 j . 6: 各エージェント j に対して、St+1 の正規直交基底を計算する 0.78
j by QR decomposition, that is j QR分解によって 0.71
W t+1 j = QR(St+1 W t+1 j = QR(St+1) 0.74
j ), and W t+1 j ), W t+1 0.76
j = SignAdjust(W t+1, W 0). j = SignAdjust(W t+1, W 0)。 0.94
7: end for 8: Output: W T +1 7: 8 の終了: 出力: W T +1。 0.92
j 1. L is symmetric with Li,j 6= 0 if and if only agents i and j are connected or i = j. j 1. L は Li,j 6= 0 で対称であり、エージェント i と j のみが接続されている場合は i = j である。 0.84
2. 0 (cid:22) L (cid:22) I, L1 = 1, null(I − L) = span(1). 2. 0 (cid:22) L (cid:22) I, L1 = 1, null(I − L) = span(1)。 0.91
(3.1) (3.2) (3.1) (3.2) 0.78
(3.3) We use I to denote the m × m identity matrix and 1 = [1, . (3.3) I を使って m × m の同一行列と 1 = [1, .] を表す。 0.76
. . , 1]> ∈ Rm denotes the vector with all ones. . . , 1]> ∈ rm はすべてのベクトルを持つベクトルを表す。 0.84
The weight matrix has an important property that L∞ = 1 重み行列は L∞ = 1 という重要な性質を持つ 0.76
m11> (Xiao & Boyd, 2004). m11> (Xiao & Boyd, 2004)。 0.86
Thus, one can achieve the effect of averaging local variables on different agents by multiple steps of local communications. したがって、ローカル通信の複数のステップによって、異なるエージェントに対するローカル変数の平均化の効果を達成することができる。 0.71
Recently, Liu & Morse (2011) proposed a more efficient way to achieve averaging described in Algorithm 3 than the one in (Xiao & Boyd, 2004). 最近、Liu & Morse (2011) はアルゴリズム3で記述された平均化を(Xiao & Boyd, 2004)より効率的に行う方法を提案した。 0.80
Proposition 1. Let WK ∈ Rd×d×m be the output of Algorithm 3 and ¯W = 1 it holds that 命題1。 WK ∈ Rd×d×m をアルゴリズム 3 の出力とし、それが成り立つ。 0.57
mW01 ∈ Rd×d. mW01 ∈ Rd×d。 0.91
Then (cid:13)(cid:13)(cid :13)WK − ¯W ⊗ 1 (cid:13)(cid:13)(cid :13)2 ≤ その後 (cid:13)(cid:13)(cid :13)WK-1(cid:13)(cid :13)(cid:13)2 ≤ 0.77
(cid:18) 1 −q (cid:18) 1 −q 0.78
1 − λ2(L) (cid:19)2K(cid:13)(c id:13)(cid:13)W0 − ¯W ⊗ 1 1 − λ2(L) (cid:19)2K(cid:13)(c id:13)(cid:13)W0 −W1 0.85
(cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13)2 0.76
, ¯W = 1 , W = 1 です。 0.70
m WK1, and M WK1。 そして 0.76
where λ2(L) is the second largest eigenvalue of L, and ⊗ denotes the tensor outer product. ここで λ2(L) は L の第二の最大の固有値であり、n はテンソル外積を表す。 0.78
3 Decentralized Exact PCA 3 Decentralized Exact PCA 0.85
In this section, we propose a novel decentralized exact PCA algorithm with a linear convergence 本稿では,線形収束を伴う分散化された完全PCAアルゴリズムを提案する。 0.74
rate. First, we provide the main idea behind our algorithm. レート。 まず、アルゴリズムの背後にある主なアイデアを提供します。 0.65
4 4 0.85
英語(論文から抽出)日本語訳スコア
if (cid:10)W t(:, i), W 0(:, i)(cid:11) < 0 then if (cid:10)W t(:, i), W 0(:, i)(cid:11) < 0 ならば 0.83
Algorithm 2 SignAdjust 1: Input: Matrices W t and W 0 and column number k. 2: for i = 1, . アルゴリズム 2 SignAdjust 1: 入力: Matrices W t と W 0 と列番号 k.2: for i = 1, 。 0.81
. . , k do 3: 4: end if 5: 6: end for 7: Output: W t . . , k do 3: 4: end if 5: 6: end for 7: Output: W t 0.85
Flip the sign, that is, W t(:, i) = −W t(:, i) 記号をひっくり返す、すなわち w t(:, i) = −w t(:, i) 0.55
3.1 Main Idea In previous works, the common algorithmic frame is to conduct a multi-consensus step to achieve averaging for each local power method (Raja & Bajwa, 2015; Wai et al., 2017; Kempe & McSherry, 2008), that is, 3.1 主な思想 以前の研究では、一般的なアルゴリズムフレームは、各ローカルパワーメソッド(Raja & Bajwa, 2015; Wai et al., 2017; Kempe & McSherry, 2008)の平均化を達成するために、マルチコンセンサスステップを実行することです。 0.75
(3.4) j =AjW t j , (3.4) j = AjW t j , 0.85
W t+1 Wt+1 =MultiConsensus(Wt+1), W t+1 W t+1 Wt+1 =MultiConsensus(Wt+1), W t+1 0.68
j =QR(W t+1 j =QR(W t+1) 0.69
) j where QR(Wj) computes the orthonormal basis of Wj by QR decomposition and Wt ∈ Rd×k×m has its j-th slice Wt(:, :, j) = W t j . ) j ここで QR(Wj) は QR 分解によって Wj の直交基底を計算し、Wt ∈ Rd×k×m は j 番目のスライス Wt(:, :, j) = W t j を持つ。 0.83
However, algorithms in this framework will take increasing consensus steps to achieve high precision principal components and the consensus steps of each power iteration depend on the target precision . しかし、このフレームワークのアルゴリズムは、高い精度の主成分を達成するためのコンセンサスステップを増大させ、各パワーイテレーションのコンセンサスステップは目標の精度に依存する。 0.74
This framework is similar to the well-known DGD algorithm in decentralized optimization which can not converges to the optima without increasing the number of communications in each multi-consensus step (Yuan et al., 2016; Nedic & Ozdaglar, 2009). このフレームワークは分散最適化においてよく知られたDGDアルゴリズムに似ており、各マルチコンセンサスステップにおける通信数を増やすことなく最適化に収束できない(Yuan et al., 2016; Nedic & Ozdaglar, 2009)。 0.82
In decentralized optimization, to overcome the weakness of DGD, a novel technique called ‘gradienttracking’ was introduced recently (Qu & Li, 2017; Shi et al., 2015). 分散最適化において、DGDの弱点を克服するために、'gradienttracking 7;と呼ばれる新しいテクニックが最近導入された(Qu & Li, 2017; Shi et al., 2015)。 0.75
By the advantages of the gradient-tracking, several algorithms have achieved the linear convergence rate without increasing the number of multi-consensus iterations per step. 勾配追跡の利点により、数個のアルゴリズムが1ステップ当たりの多重合意反復数を増やすことなく線形収束率を達成した。 0.75
Especially, a recent work Mudag showed that gradient tracking can be used to achieve a near optimal communication complexity up to a log factor (Ye et al., 2020). 特に、mudagの最近の研究によると、勾配追跡は、ログファクタ(ye et al., 2020)までの通信の複雑さをほぼ最適なものにするために使用できる。 0.64
To obtain a decentralized exact PCA algorithm with a linear convergence rate without increasing the number of communications per consensus step, we track the subspace in the proposed PCA algorithm by adapting the gradient tracking method to ‘subspace tracking’. コンセンサスステップ当たりの通信数を増やすことなく線形収束率で分散化された正確なPCAアルゴリズムを得るため,提案したPCAアルゴリズムのサブスペースを'サブスペーストラッキング'に勾配追跡法を適用して追跡する。 0.86
Compared with previous decentralized PCA (Eqn. 以前の分散PCA (Eqn) と比較した。 0.64
(3.4)) methods, we introduce an extra term Sj to track the space of power iterations. (3.4)) 手法では、電力反復の空間を追跡するために余剰項 Sj を導入する。 0.75
Combining Sj with multi-consensus, we can track the subspace in the power method exactly. Sj とマルチコンセンサスを組み合わせることで、パワーメソッドのサブスペースを正確に追跡できます。 0.67
We can then obtain the exact principal component Wj after several power iterations. 数回の電力反復の後、正確な主成分 Wj を得ることができる。 0.62
The detailed description of the resulting algorithm DeEPCA is in Algorithm 1. 結果のアルゴリズムDeEPCAの詳細はアルゴリズム1に記載されている。 0.84
Please note that, Algorithm 1 conducts a sign adjustment in Eqn. なお、アルゴリズム1はEqnで符号調整を行う。 0.59
(3.3) which is necessary to make DeEPCA converge stably. (3.3) DeEPCAを安定的に収束させるために必要である。 0.61
This is because the signs of some columns of W t j maybe flip during the local power iterations and the sign flipping does not change the column space of the matrix. これは、W t j のいくつかの列の記号が局所的な電力反復中に反転し、符号の反転が行列の列空間を変更しないためである。 0.73
However, if some signs are flipped, then the outcome of the aggregation ¯W t = 1 j will be しかし、いくつかの符号が反転すると、集約の帰結は 1 j = 1 j となる。 0.64
P W t m 5 P W t M 5 0.82
英語(論文から抽出)日本語訳スコア
affected. j j 影響を受けた j j 0.74
The subspace tracking technique in our algorithm is the key to achieving the advantages of DeEPCA. 提案アルゴリズムにおける部分空間追跡手法は,DeEPCAの利点を実現する鍵となる。 0.81
The intuition behind the subspace tracking comes from the observation that when W t j and W t−1 are close to the optimal subspace U (where U is the top-k principal components of A), then j − AjW t−1 in different agents AjW t only vary by small perturbations. 部分空間追跡の背景にある直感は、W t j と W t−1 が最適部分空間 U (U が A のトップ k の主成分) に近ければ、異なるエージェント AjW t における j − AjW t−1 は小さな摂動によってのみ変化するという観察から来ている。 0.81
Thus, we only need a small number of consensus steps to make St+1 consistent with each other. したがって、St+1を互いに整合させるには、少数のコンセンサスステップのみが必要です。 0.66
In fact, the idea behind subspace tracking has also been used in j variance reduction methods for finite sum stochastic optimization algorithms (Johnson & Zhang, 2013; Defazio et al., 2014). 実際、部分空間追跡の背後にある考え方は有限和確率最適化アルゴリズムのj分散低減法にも使われている(johnson & zhang, 2013; defazio et al., 2014)。 0.80
is close to zero. This implies that different local subspaces St+1 ゼロに近いのです これは異なる局所部分空間 St+1 を示す。 0.60
Using subspace tracking, we can maintain highly consistent subspaces St+1 部分空間追跡を用いると、高度に一貫した部分空間 St+1 を維持できる 0.51
in the power iteration computation AjW t j without increasing the number of communication rounds per consensus step. コンセンサスステップごとの通信ラウンドの数を増やすことなく、電力イテレーション計算AjW t jで。 0.70
We can show that the approximation error reduce according to O() where  is the error precision for the power method. 近似誤差は、電力法における誤差精度である O( ) に従って減少することを示すことができる。 0.76
j j Pm 3.2 Main Result j j Pm 3.2 主な結果 0.82
The following lemma shows how the mean variable ¯St = 1 下記の補題は、平均変数 >St = 1 の方法を示している。 0.55
j=1 St j converges to the top-k j=1 St jはトップkに収束する 0.65
m principal components of A and local variable St Lemma 1. M A と局所変数 St Lemma 1 の主成分。 0.72
Matrix A ∈ Rd×d = 1 j=1 Aj is positive semi-definite with Aj being stored in j-th agent and kAjk2 ≤ L. The agents form a undirected connected graph with weighted matrix L ∈ Rm×m. 行列 A ∈ Rd×d = 1 j=1 Aj は正半定値であり、Aj は j 番目のエージェントと kAjk2 ≤ L に格納される。
訳抜け防止モード: 行列 A ∈ Rd×d = 1 j=1 Aj は正半半定値である j に格納されている Aj エージェントは、重み付き行列 L ∈ Rm×m で無向連結グラフを形成する。
0.86
Given parameter k ≥ 1, orthonormal matrix U ∈ Rd×k is the top-k principal components of A. λk and λk+1 are k-th and k + 1-th largest eigenvalue of A, respectively. パラメータ k ≥ 1 が与えられたとき、正則行列 U ∈ Rd×k は A. λk と λk+1 のトップ k の主成分であり、それぞれ k 位と k + 1 位の A の固有値である。 0.71
Suppose ‘( ¯S) (cid:44) tan θk(U, ¯S), γ = 1 − λk−λk+1 s) (cid:44) tan θk(u, s) γ = 1 − λk−λk+1 とする。 0.77
j converges to its mean counterpart ¯St. j は、その平均対数 「St」 に収束する。 0.47
Pm m 2λk (λk − λk+1)(λkλk+1 + 2Lλk+1) · γ2 Pm M 2λk (λk − λk+1)(λkλk+1 + 2Lλk+1) · γ2 0.68
and ‘( ¯S0) < ∞. と '( s0) < ∞ である。 0.78
If ρ =(cid:16)1 −p1 − λ2(L)(cid:17)K satisfies k + 1)(cid:0)1 + γ2t · ‘2( ¯S0)(cid:1)(cid:0)λk+1 + 2L + (λk + 2L)γt+1 · ‘( ¯S0)(cid:1)2 , mγt−1 · ‘( ¯S0) ·q 1 + γ2t · ‘2( ¯S0)(cid:0)λk+1 + 2L + (λk + 2L)γt+1 · ‘( ¯S0)(cid:1) Pm t=0 and {St}T +1 ρ =(cid:16)1 −p1 − λ2(L)(cid:17)K satisfies k + 1)(cid:0)1 + γ2t · '2(-s0)(cid:0)(cid:0) λk+1 + 2L + (λk + 2L)γt+1 · '(-s0)(cid:1)2 , mγt−1 · '(-s0) · q 1 + γ2t · '2(-s0)(cid:0)λk+1 + 2L + (λk + 2L)γt+1 · '(-s0)(cid:1)Pm t=0と {Stt+1} である。 0.77
j, then sequence { ¯St}T +1 j, then sequence { >St}T +1 0.91
λkλk+1 + 2Lλk λkλk+1 + 2Lλk 0.39
j=1 St  , j=1 St  , 0.78
(3.5) t=0 generated by (3.5) t=0 生成 0.84
( ρ ≤ min γ 2 , ( ρ ≤ min γ 2 , 0.85
√ 96kL( 16Lk( 96kL。 16Lk() 0.58
√ √ k + 1) √ √ k + 1) 0.85
for t = 1, . t = 1 の場合。 0.73
. . , T + 1. . . , T + 1。 0.83
Letting ¯St = 1 Algorithm 1 satisfy that を 1 のアルゴリズム 1 で満足させる 0.73
m ‘( ¯St) ≤ γt · ‘( ¯S0) M 「( )St) ≤ γt · '( )S0) 0.78
and 1√ m and そして 1√ M そして 0.74
1√ m · (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 1√ M · (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)st-1 ) 0.76
√ (cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) ≤ 4ρL( (cid:13)(cid:13)(cid :13) ≤ (λk − λk+1) 24(λk+1 + 2L) · γt · ‘( ¯S0). √ (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) ≤ 4ρl((cid:13)(cid:13)(c id:13) ≤ (λk − λk+1) 24(λk+1 + 2l) · γt · ‘( s0)。 0.84
k + 1)γt−2 · ‘( ¯S0), k + 1)γt−2 · '( >S0) 0.89
(3.6) (3.7) (3.6) (3.7) 0.78
Remark 1. Lemma 1 shows that our DeEPCA can achieve a linear convergence rate almost the same j and its mean variable ¯St to power method. 備考1。 Lemma 1 は、私たちの DeEPCA が、ほぼ同じ j の線形収束率と、その平均変数 ^St to Power 法を達成できることを示している。 0.58
Furthermore, the difference between local variable St will also converge to zero as iteration goes. さらに、局所変数 St の違いは反復が進むにつれて 0 に収束する。 0.70
This implies that Sj’s in different agents will converge これは、sj の異なるエージェントが収束することを意味する 0.75
6 6 0.85
英語(論文から抽出)日本語訳スコア
j) will converge to the top-k principal to the same subspace. j) はトップkプリンシパルと同一のサブスペースに収束する。 0.70
Thus, we can obtain that W t components of A. したがって、A の W t 成分を得ることができる。 0.79
Furthermore, we can observe that the right hand of Eqn. さらに、我々はEqnの右手を観察することができます。 0.79
(3.5) decreases as t increasing and is independent of . (3.5) は t の増加とともに減少し, t から独立している。 0.61
Hence, DeEPCA does not require to increase the consensus steps to achieve a high precision solution nor setting consensus steps for each power iteration according to  which is required in previous work (Wai et al., 2017; Kempe & McSherry, 2008). したがって、DeEPCAは、以前の作業(Wai et al., 2017; Kempe & McSherry, 2008)で要求されている、各電源イテレーションのコンセンサスステップを設定することなく、高精度ソリューションを達成するためにコンセンサスステップを増やす必要はありません。 0.70
Lemma 1 also reveals an interesting property of DeEPCA. Lemma 1はDeEPCAの興味深い性質も明らかにしている。 0.64
To obtain the top-k principal components of a positive semi-definite matrix A = 1 j=1 Aj, DeEPCA does not require Aj to be positive semi-definite. 正半定値行列 A = 1 j=1 Aj のトップ k 成分を得るには、DeEPCA は Aj を正半定値とする必要はない。 0.70
Thus, our DeEPCA is a robust algorithm and can be applied in different settings. したがって、当社のDeEPCAは堅牢なアルゴリズムであり、さまざまな設定に適用できます。 0.70
j = QR(St j = QR(St) 0.95
Pm m By Lemma 1, we can easily obtain the iteration and communication complexities of DeEPCA to achieve tan θk(U, Wj) ≤  for each agent-j. Pm M Lemma 1 により、DeEPCA の反復と通信の複雑性を容易に得ることができ、各エージェント-j に対してtan sk(U, Wj) ≤ s を達成できる。 0.76
The communication complexity depends on the times of local communication which is presented as the product of W and L in Algorithm 3. 通信の複雑さは、アルゴリズム3でWとLの積として提示されるローカル通信の時間に依存します。 0.75
Now we give the detailed iteration complexity and communication complexity of our algorithm in the following theorem. 次に、次の定理でアルゴリズムの詳細なイテレーションの複雑さと通信の複雑さを示します。 0.74
Theorem 1. Let A, U, and graph weight matrix L satisfy the properties in Lemma 1. 理論1。 A, U, and graph weight matrix L を Lemma 1 の性質を満たすものとする。 0.75
The initial orthonormal matrix W 0 satisfies that tan θk(U, W 0) < ∞. 最初の正規直交行列 w 0 は tan θk(u, w 0) < ∞ を満たす。 0.73
Let parameter K satisfy パラメータ K を満たす 0.77
K ≤ 1p1 − λ2(L) K ≤ 1p1 − λ2(L) 0.84
· log 96kL( · log 96kL( 0.98
√ k + 1)(λk + 2L)(cid:0)1 + tan θk(U, W 0)(cid:1)4 λk+1(λk − λk+1) ·(cid:16)1 − λk−λk+1 √ k + 1)(λk + 2L)(cid:0)1 + tan yk(U, W 0)(cid:1)4 λk+1(λk − λk+1) ·(cid:16)1 − λk−λk+1 0.81
(cid:17)2 . (cid:17)2 . 0.85
2λk Given  < 1, to achieve tan θk(U, W T 2λk tan θk(u, w t) を成すために与えられる < 1 である。 0.60
T = 2λk λk − λk+1 T = 2λk λk − λk+1 0.68
· max The communication complexity is at most ·max 通信の複雑さは少なくとも 0.76
j ) ≤  for j = 1, . j = 1 に対して ≤ s である。 0.80
. . , m, the iteration complexity T is at most ( log 4 tan θk(U, W 0) ( . . , m, 反復複雑性 T は、少なくとも ( log 4 tan θk(U, W 0)) である。 0.85
, log 4(λk + 2L) tan θk(U, W 0) , log 4(λk + 2L) tan θk(U, W 0) 1.00
m(λk − λk+1) m(λk − λk+1) 0.85
) ) √  . (3.8) ) ) √  . (3.8) 0.84
, log 4(λk + 2L) tan θk(U, W 0) , log 4(λk + 2L) tan θk(U, W 0) 1.00
m(λk − λk+1) m(λk − λk+1) 0.85
√ (3.9) C = √ (3.9) C = 0.83
(λk − λk+1)p1 − λ2(L) · log 96kL( (λk − λk+1)p1 − λ2(L) · log 96kL( 0.82
2λk √  · max 2λk。  ·max 0.74
log 4 tan θk(U, W 0) k + 1)(λk + 2L)(cid:0)1 + tan θk(U, W 0)(cid:1)4 λk+1(λk − λk+1) ·(cid:16)1 − λk−λk+1 (cid:17)2 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)W T +1 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) ≤  log 4 tan θk(u, w 0) k + 1)(λk + 2l)(cid:0)1 + tan θk(u, w 0)(cid:1)4 λk+1(λk − λk+1) ·(cid:16)1 − λk−λk+1 (cid:17)2 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)w t +1 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13) ≤ である。 0.71
mX − 1 2λk mX − 1 2λk 0.76
j . Furthermore, it also holds that j . また、それも持つ。 0.72
2 , and tan θk(U, ¯ST ) ≤  4 . 2 およびtan θk(U, > >ST ) ≤ > 4 である。 0.69
Remark 2. Theorem 1 shows that for any agent j, Wj takes T = O(cid:16) λk−λk+1 備考2。 定理 1 は、任意のエージェント j に対して、Wj は T = O(cid:16) λk−λk+1 を取ることを示す。 0.51
W T +1 j=1 W T +1 j=1 0.76
m j λk log 1 M j λk ログ1 0.77
 (3.10) (cid:17) iterations to  (3.10) (cid:17) 反復 0.83
converge to the top-k principal components of A with an -suboptimality. A の上位 K の主成分に s-準最適度で収束する。 0.57
This iteration complexity is the same to the centralized PCA based on power method (Golub & Van Loan, 2012). このイテレーションの複雑さは、パワーメソッドに基づく集中型PCAと同じである(Golub & Van Loan, 2012)。 0.86
Furthermore, 7 さらに 7 0.66
英語(論文から抽出)日本語訳スコア
each power iteration of DeEPCA requires DeEPCAの各パワーイテレーションは 0.67
1p1 − λ2(L) 1p1 − λ2(L) 0.82
· log L2 λkλk+1 ・ログ L2 λkλk+1 0.60
· λk − λk+1 · λk − λk+1 0.65
λk ! ! (3.11) λk ! ! (3.11) 0.82
K = O consensus steps. K = O 合意の段階だ 0.69
Note that K is independent of the precision parameter  which shows that DeEPCA does not need to tune its consensus parameter K according to . K は、DEPCA がそのコンセンサスパラメータ K に従って調整する必要がないことを示す精度パラメータ s から独立していることに注意してください。 0.73
This also implies that DeEPCA does not increase its consensus steps gradually to achieve a high precision principal components. これはまたDeEPCAが高精度の主要な部品を達成するためにコンセンサス ステップを次第に高めないことを意味します。 0.64
In contrast, the best known consensus steps for each power iteration of previous decentralized algorithms are required to be (Wai et al., 2017) 対照的に、従来の分散アルゴリズムの各パワーイテレーションの最もよく知られたコンセンサスステップは、必要である(Wai et al., 2017)。 0.74
K = O 1p1 − λ2(L) K = O 1p1 − λ2(L) 0.84
log (cid:18) λk − λk+1 ログ (cid:18) λk − λk+1 0.67
λk (cid:19)! λk (cid:19)! 0.81
· 1  . (3.12) · 1  . (3.12) 0.83
Thus, DeEPCA achieves the best communication complexity of decentralized PCA algorithms. したがって、DeEPCAは分散PCAアルゴリズムの通信の複雑さを最大化する。 0.69
Comparing Eqn. (3.11) and (3.12), our result is better than the one of (Wai et al., 2017) up to log 1  factor. Eqnの比較。 (3.11) と (3.12) では, 結果が (Wai et al., 2017) の 1 倍まで向上している。 0.78
In fact, this advantage will become large even when  is moderate large which can be observed in our experiments. 実際、この利点は、我々の実験で観察することができる中等度の大きさである場合でも大きくなります。 0.70
Similar advantage of EXTRA over DGD in decentralized optimization makes EXTRA become one of most important algorithm in decentralized optimization (Shi et al., 2015). 分散最適化におけるDGDよりもEXTRAの同様の利点により、EXTRAは分散最適化(Shi et al., 2015)において最も重要なアルゴリズムの1つになります。
訳抜け防止モード: 分散型最適化におけるEXTRA over DGDの同様の利点 EXTRAは、分散最適化(Shi et al., 2015)において最も重要なアルゴリズムの1つです。
0.71
Furthermore, Eqn. (3.11) shows that the consensus steps depend on the ratio L2/(λkλk+1). さらに、Eqn。 (3.11)は、コンセンサスステップが比L2/(λkλk+1)に依存することを示している。 0.60
In fact, the value L2/(λkλk+1) reflect the data heterogeneity which can be observed more clearly when k = 1. 実際、値 L2/(λkλk+1) は k = 1 のときより明確に観察できるデータ不均一性を反映している。 0.72
Due the data heterogeneity, multi-consensus is necessary in DeEPCA which will be validated in our experiments. データの不均一性のため,DeEPCAではマルチコンセンサスが必要であり,本実験で検証する。 0.67
Remark 3. Lemma 1 shows that once ρ satisfies Eqn. 備考3。 Lemma 1 は ρ が Eqn を満たすと示している。 0.58
(3.5), ¯St will converge to the top-k principal components of A linearly. (3.5) は A の上位 k 主成分に直線的に収束する。 0.76
That, any multi-consensus which can satisfy Eqn. それは、Eqnを満たすことができるマルチコンセンサスです。 0.57
(3.5), DeEPCA can achieve linear convergence rate. (3.5), DeEPCAは線形収束速度を達成できる。 0.82
Thus, though our analysis is based on the undirected graph, the results of DeEPCA can be easily extended to directed graph, gossip models, etc. したがって、当社の分析は非指向グラフに基づいていますが、DeEPCAの結果は、有向グラフ、ゴシップモデルなどに簡単に拡張できます。 0.80
Remark 4. DeEPCA is a novel decentralized exact power method. 備考4。 DeEPCAは、新しい分散型正確な電力方法です。 0.55
Because the power method is the key tool in eigenvector computation and low rank approximation (SVD decomposition) (Golub & Van Loan, 2012), DeEPCA provides a solid foundation for developing decentralized eigenvalue decomposition, decentralized SVD, decentralized spectral analysis, etc. The power method is the key tool in eigenvector compute and low rank approximation (SVD decomposition) (Golub & Van Loan, 2012), DeEPCAは分散固有値分解、分散SVD、分散スペクトル解析などを開発するための基盤を提供する。 0.71
4 Convergence Analysis In this section, we will give the detailed convergence analysis of DeEPCA. 4 収束解析 このセクションでは、DeEPCAの詳細な収束分析について説明します。 0.71
For notation conve- nience, we first introduce local and aggregate variables. 表記法 最初にローカル変数と集約変数を紹介します。 0.53
8 8 0.85
英語(論文から抽出)日本語訳スコア
4.1 Local and Aggregate Variables 4.1 ローカル・アグリゲート変数 0.63
Matrix W t マトリックス W t 0.71
we introduce its aggregate variable Wt ∈ Rd×k×m whose j-th slice Wt(:, :, j) is W t j 番目のスライス Wt(:, :, j) が W t である集合変数 Wt ∈ Rd×k×m を紹介します。 0.80
j ∈ Rd×k is the local copy of the variable of W for agent j at t-th power iteration and j ∈ Rd×k は W の変数の局所コピーで、エージェント j は t 番目の出力反復で、 0.79
j , that is, Furthermore, we introduce Gt introduce the aggregate variables Gt ∈ Rd×k×m and St ∈ Rd×k×m of Gt satisfy j、つまり、 さらに、Gt は Gt を満たす集合変数 Gt ∈ Rd×k×m と St ∈ Rd×k×m を導入する。 0.64
∈ Rd×k and tracking variable Sj ∈ Rd×k. ∈ Rd×k および追跡変数 Sj ∈ Rd×k。 0.78
We also i, respectively which j = AjW t−1 私たちも それぞれ j = AjW t−1 0.67
i and St j Wt(:, :, j) = W t j . i と St j wt(: :, j) = w t j である。 0.80
Using the local and aggregate variables, we can represent Algorithm 1 as 局所変数と集約変数を用いて、アルゴリズム1を表現できる。 0.69
St+1 =FastMix(cid:16)St + Gt+1 − Gt, K St+1 =FastMix(cid:16)St + Gt+1 − Gt, K 0.76
(cid:17) Gt(:, :, j) = Gt (cid:17) Gt(:, :, j) = Gt 0.70
j and St(:, :, j) = St j. j と St(:, :, j) = St j である。 0.76
For the convergence analysis, we further introduce the mean values ¯W t = 1 収束解析のために、さらに平均値 \w t = 1 を導入する。 0.72
¯H t = 1 ¯Gt = 1 ~H t = 1 ~Gt = 1 0.86
¯St = 1 mX mX 1 です。 mX mX 0.73
mX W t j , mX W t j 。 0.74
m j=1 m j=1 M j=1 M j=1 0.67
St j, m j=1 セントj。 M j=1 0.64
Ai ¯W t−1, m Ai-W t−1, M 0.70
j=1 ). j W t+1 j=1 ). j W t+1 0.75
j =QR(St+1 mX j =QR(St+1 mX) 0.69
Gt j, (4.1) gt j. (4.1) 0.67
(4.2) (4.3) (4.2) (4.3) 0.75
˜W t = QR( ¯St). W t = QR(*St)。 0.75
(4.4) 4.2 Sketch of Proof (4.4) 4.2 証拠のスケッチ 0.74
First, we give the relationship between ¯St, ¯Gt, and ¯H t in Lemma 2 and Lemma 3. 第一に、Lemma 2 と Lemma 3 における sSt, sGt, sH t の関係について述べる。 0.72
These two lemmas show that ¯St and ¯H t are close to each other but perturbed by L√ Furthermore, by the definition of ¯H t, we can obtain that これら2つ lemmas は、-St と-H t は互いに近接しているが、L によって摂動していることを示し、さらに、-H t の定義により、それを得ることができる。 0.54
m (cid:13)(cid:13)(cid :13)Wt−1 − ¯W t−1 ⊗ 1 M (cid:13)(cid:13)(cid :13)(Wt−1 − t−1) 0.70
(cid:13)(cid:13)(cid :13). (cid:13)(cid:13)(cid :13) 0.77
If ¯St is also close to St St が St に近い場合 0.62
j, then we can obtain that j、それを得ることができます 0.65
¯W t+1 ≈ QR( ¯St+1). W t+1 × QR(*St+1)。 0.59
¯St+1 ≈ ¯H t+1 = A ¯W t. H t+1 = A tW t である。 0.71
(4.5) (4.6) (4.5) (4.6) 0.78
We can observe that Eqn. 私たちはそのEqnを観察できる。 0.71
(4.5) and (4.6) are the two steps of a power iteration but with some perturbation. (4.5) と (4.6) はパワーイテレーションの2つのステップであるが、摂動はある。 0.73
Based on ¯St, ¯Gt, and ¯H t, we can observe that DeEPCA can fit into the framework of power method but with some perturbation. sst, sgt, および sh t に基づいて、deepca はいくつかの摂動を伴うが、パワー法の枠組みに適合することが観測できる。
訳抜け防止モード: t, t, t, t に基づく。 観察できます DeEPCAはパワーメソッドの枠組みに適合するが、ある程度の摂動がある。
0.57
This is the reason why DeEPCA will converge to the top-k principal components of A. これが、DeEPCAがAのトップk主成分に収束する理由である。 0.66
(cid:13)(cid:13)(cid :13) (in Lemma 4) and (cid:13)(cid:13)(cid :13) (in Lemma 6). (cid:13)(cid:13)(cid :13) (Lemma 4) および (cid:13)(cid:13)(cid :13) (Lemma 6) である。 0.71
Lemma 4 shows (cid:13)(cid:13)(cid :13)St+1 − ¯St+1 ⊗ 1 (cid:13)(cid:13)(cid :13) will decay with a rate ρ < 1 for each iteration but adding an extra error (cid:13)(cid:13)(cid :13)St+1 − ¯St+1 ⊗ 1 term Lρ(cid:13)(cid:13)Wt − Wt−1(cid:13)(cid:13). Lemma 4 show (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)は、各イテレーションでレートρ < 1で崩壊するが、余分なエラー(cid:13)(cid:13)(cid :13)(cid:13)St+1 ) 1 term Lρ(cid:13)(cid:13)Wt − Wt−1(cid:13)(cid:13)(ci d:13)を加える。 0.69
When DeEPCA converges, then Wt and Wt−1 will both converge to the DeEPCA が収束すると、Wt と Wt−1 の両方が収束する。 0.66
Next, we will bound the error between local and mean variables (Defined in Section 4.1) such 次に、ローカル変数と平均変数(第4節で定義)のエラーをバインドします。 0.62
(cid:13)(cid:13)(cid :13)Wt+1 − ¯W t+1 ⊗ 1 (cid:13)(cid:13)(cid :13)(Wt+1 − t+1) 0.68
as that 9 そのように 9 0.82
英語(論文から抽出)日本語訳スコア
Algorithm 3 FastMix √ 1: Input: W0 = W−1, K, L, step size ηw = 1− 1−λ2 √ 1−λ2 1+ 2: for k = 0, . アルゴリズム 3 FastMix > 1: 入力: W0 = W−1, K, L, ステップサイズ ηw = 1− 1−λ2 > 1−λ2 1+ 2: for k = 0, 。 0.81
. . , K do 3: Wk+1 = (1 + ηw)WkL − ηwWk−1; 4: end for 5: Output: WK. . . , K do 3: Wk+1 = (1 + ηw)WkL − ηwWk−1; 4: end for 5: Output: WK。 0.88
2(W ) 2(W ) 2(W ) 2(W ) 0.85
. top-k principal components, that is, (cid:13)(cid:13)Wt − Wt−1(cid:13)(cid:13) will converge to zero (in Lemma 8). . トップkの主成分、すなわち (cid:13)(cid:13)wt − wt−1(cid:13)(cid:13) は 0 に収束する。 0.78
Thus, (cid:13)(cid:13)(cid :13)St+1 − ¯St+1 ⊗ 1 (cid:13)(cid:13)(cid :13) goes to zero as t (cid:13)(cid:13)(cid :13) is upper bounded as Eqn. したがって (cid:13)(cid:13)(cid :13)St+1 − >St+1 > 1 (cid:13)(cid:13)(cid :13)(cid:13) は t (cid:13)(cid:13)(cid :13)(cid:13) が Eqn として上界となる。 0.60
(4.12). Combining Lemma 4, Lemma 5 (4.12). Lemma 4とLemma 5の組み合わせ 0.83
(cid:13)(cid:13)(cid :13) will also converge to zero. (cid:13)(cid:13)(cid :13)も0に収束する。 0.69
This implies that (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 これは (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)St − 0.53
bation term and Lemma 7, we use induction in the proof of Lemma 1 to show that the assumption (4.12) and Eqn. bation term と Lemma 7 は、Lemma 1 の証明において、仮定 (4.12) と Eqn を示すために誘導を用いる。 0.78
(4.13) hold for t = 1, . (4.13) t = 1 のホールド。 0.75
. . , T +1 when ρ is properly chosen. . . ρ が適切に選択されると T +1 となる。 0.79
This leads to the results of Lemma 1. これにより lemma 1 の結果が得られる。 0.66
(cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)wt-1) 0.73
increases by Lemma 6. Lemma 6の増加。 0.75
Hence, the noisy power method described in Eqn. したがって、Eqnで記述された騒々しいパワーメソッド。 0.74
(4.5) and (4.6) becomes exact power method gradually. (4.5)と(4.6)は徐々に正確な電力法となる。 0.67
Finally, Lemma 7 shows that tan θk(U, ¯St) converges with rate γ = 1− λk−λk+1 最後に、補題7はtan θk(u, ) が γ = 1− λk−λk+1 で収束することを示す。 0.59
when the pertur- 2λk パートゥール時 2λk 0.53
4.3 Main Lemmas In our analysis, we aim to show tan θk(U, ¯ST +1) and 4.3 メインレマ 本解析では,tan θk(u, sst +1) と tan θk(u, sst +1) について述べる。 0.58
we give the relationship between ¯St, ¯Gt, and ¯H t. Based on ¯St, ¯Gt, and ¯H t, we can observe that DeEPCA can fit into the framework of power method but with some perturbation. DeEPCAはパワーメソッドの枠組みに適合するが、ある程度の摂動によっても適用可能であることが観察できる。
訳抜け防止モード: は、sst、sgt、sh tに基づいて、sst、sgt、sh tの関係を与える。 観察できます deepcaはパワーメソッドのフレームワークに適合するが、摂動はある。
0.29
Lemma 2. Let ¯W 0, ¯G0, and ¯S0 be initialized as W 0. レマ2号。 W0 と初期化されるのは、U0 と書くとき、W0 と書くときである。 0.53
Supposing ¯Gt, and ¯St be defined in Eqn. Eqn で定義される 「Gt 」と「St 」を仮定する。 0.52
(4.4) and St update as Eqn. (4.4) と St は Eqn として更新される。 0.63
(4.2), it holds that (cid:13)(cid:13)(cid :13)ST +1 − ¯ST ⊗ 1 (4.2) (cid:13)(cid:13)(cid :13)ST +1 − 0.65
(cid:13)(cid:13)(cid :13) will converge to . (cid:13)(cid:13)(cid :13)が収束する。 0.67
First, ¯St+1 = ¯St + ¯Gt+1 − ¯Gt = ¯Gt+1. まずは。 St+1 = 「St + 「Gt+1」 − 「Gt」 = 「Gt+1」。 0.52
Lemma 3. Letting ¯Gt and ¯H t be defined in Eqn. レマ3。 Eqn では、Gt と H t が定義される。 0.60
(4.4) and kAjk2 ≤ L for j = 1, . (4.4) と kAjk2 ≤ L は j = 1 である。 0.84
. . , m, they have the following properties . . mには以下の特性があります 0.81
(cid:13)(cid:13)(cid :13) ¯Gt − ¯H t(cid:13)(cid:13)(ci d:13) ≤ L√ (cid:13)(cid:13)(cid :13)(cid:13) ≤ l ) (cid:13)(cid:13)(cid :13) 0.65
(4.7) m (cid:13)(cid:13)(cid :13)Wt−1 − ¯W t−1 ⊗ 1 (cid:13)(cid:13)(cid :13) . (4.7) M (cid:13)(cid:13)(cid :13)Wt−1 − >W t−1 > 1 (cid:13)(cid:13)(cid :13)。 0.72
(cid:13)(cid:13)(cid :13) recursively. (cid:13)(cid:13)(cid :13)再帰的。 0.57
(cid:13)(cid:13)(cid :13)St+1 − ¯St+1 ⊗ 1 (cid:18) 1 −q (cid:13)(cid:13)(cid :13)Wt − Wt−1(cid:13)(cid:13)(ci d:13) , with ρ (cid:44) (cid:13)(cid:13)(cid :13)(cid:18) 1 −q (cid:13)(cid:13)(cid :13)Wt − Wt−1(cid:13)(cid:13)(ci d:13) ρ (cid:44) 0.80
In the next lemmas, we will bound the error between local and mean variables (Defined in 次の補題では、ローカル変数と平均変数(定義で)のエラーにバインドします。 0.61
Section 4.1). First, we upper bound the error Lemma 4. 第4節)。 まず、エラーLemma 4を上限にします。 0.57
Letting St be updated as Eqn. St を Eqn として更新する。 0.82
(4.2) and kAjk ≤ L, then St+1 and ¯St+1 have the following properties (4.2) と kAjk ≤ L とすると、St+1 は次の性質を持つ。 0.76
(cid:13)(cid:13)(cid :13)St+1 − ¯St+1 ⊗ 1 (cid:13)(cid:13)(cid :13)st+1-1) 0.63
(cid:13)(cid:13)(cid :13) ≤ρ (cid:13)(cid:13)(cid :13)≤ρ 0.76
(cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)st-1 0.74
(cid:13)(cid:13)(cid :13) + Lρ (cid:13)(cid:13)(cid :13) + Lρ 0.74
(cid:19)K 1 − λ2(L) (cid:19)K 1 − λ2(L) 0.92
. (4.8) Lemma 5. . (4.8) レマ5。 0.73
If for t = 0, 1, . t = 0, 1, の場合。 0.74
. . , t, it holds that σmin(U> ˜W t) > 0 with ˜W defined in Eqn. . . , t は Eqn で定義された σmin(U> × W t) > 0 である。 0.82
(4.4) and 10 (4.4) 10 0.85
英語(論文から抽出)日本語訳スコア
U being top principal components of A, then we can obtain that U は A の主成分であり、それを得ることができる。 0.69
σmin( ¯St+1) ≥ λk · σmin( σst+1) ≥ λk · 0.69
Now, we will bound the error さて、私たちは誤りに縛り付けます 0.64
Lemma 6. Assuming that inverse of ¯St, then it holds that 第6回。 を逆数と仮定すると、それはそれを保持する。 0.58
− 24L√ m 1 + ‘2( ¯St) 24L。 M 1 + ‘2( >St) 0.72
(cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)st-1 ) 0.66
(cid:13)(cid:13)(cid :13) . (cid:13)(cid:13)(cid :13)。 0.69
1q (cid:13)(cid:13)(cid :13). 1q (cid:13)(cid:13)(cid :13)。 0.70
(cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13) ¯St − St (cid:13)(cid:13)(cid :13) ≤ 1 4 for j = 1, . (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) sst − st (cid:13)(cid:13)(cid :13)(cid:13) ≤ 1 4 for j = 1 である。 0.68
. . , m, where h ¯Sti† (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) . . . シド:13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − シド:13)(cid:13)(cid:13) (cid:13) 。 0.76
(cid:13)(cid:13)(cid :13) ≤ 12 (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) . (cid:13)(cid:13)(cid :13)(cid:13) ≤ 12 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) h(cid:13)(cid:13)(ci d:13)(cid:13)(cid:13 )(cid:13)(cid:13)(ci d:13)(cid:13)(cid:13 )(cid:13)(cid:13)(ci d:13)st-1 (cid:13)(cid:13)(cid :13) 。 0.62
(cid:13)(cid:13)(cid :13) ˜W t − ¯W t(cid:13)(cid:13)(ci d:13) ≤ 12√ (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 λk+1 + 2L + (λk + 2L)γt+1‘( ¯S0)(cid:17) , (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) St 1 λk+1 + 2L +(λk + 2L)γt+1’(cid:17)) 。 0.67
2λk (λk − λk+1) · γt · ‘( ¯S0) 2λk (λk − λk+1) · γt · '( λs0) 0.73
1 + γ2t · ‘2( ¯S0)(cid:16) 1 + γ2t · '2(\s0)(cid:16) 0.82
(cid:13)(cid:13)(cid :13) ≤ (cid:13)(cid:13)(cid :13)≤ 0.79
and 1√ q 24 m · と1。 q 24 m· 0.74
j m (4.9) is the pseudo j M (4.9) 偽物です 0.68
(cid:13)(cid:13)(cid :13) satisfy (cid:13)(cid:13)(cid :13)満足 0.72
(4.10) (4.11) (4.10) (4.11) 0.78
(4.12) (4.13) (4.12) (4.13) 0.78
(4.14) Letting ¯St = ˜W t ˜Rt be the QR decomposition of ¯St, then it holds that (4.14) t = t t t Rt を tSt のQR分解とすると、それは成り立つ。 0.69
Next, we will give the convergence rate of ¯St under the assumption that the error between local 次に、局所的間の誤差を仮定して、sSt の収束率を与える。 0.53
j and its mean counterpart ¯St is upper bounded. j とその平均値 sst は上界である。 0.62
variable St Lemma 7. 変数St Lemma 7。 0.74
Letting ‘( ¯S) (cid:44) tan θk(U, ¯S), γ (cid:44) 1 − λk−λk+1 を (cid:44) tan θk(u, s) γ (cid:44) 1 − λk−λk+1 とする 0.81
(cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)st-1 ) 0.66
1√ m · for t = 0, 1, . 1√ M · t = 0, 1, に対して。 0.81
. . , T, sequence { ¯St} generated by Algorithm 1 satisfies . . アルゴリズム 1 で生成される , T, sequence { sSt} は満足する 0.85
Finally, we will bound the difference between Wt and Wt−1. 最後に、Wt と Wt−1 の差を束縛する。 0.72
‘( ¯St) ≤ γt+1 · ‘( ¯S0). は ≤ γt+1 · '( >S0) である。 0.81
Lemma 8. Letting W be defined in Eqn. 第8回。 W を Eqn で定義する。 0.64
(4.4) and ‘( ¯S) (cid:44) tan θk(U, ¯S), then it holds that (4.4) と ‘( s) (cid:44) tan θk(u, s) が成り立つ。 0.83
(cid:13)(cid:13)(cid :13)Wt − Wt−1(cid:13)(cid:13)(ci d:13) ≤24 (cid:13)(cid:13)(cid :13)Wt − Wt−1(cid:13)(cid:13)(ci d:13)≤24 0.73
(cid:18)(cid:13)(cid :13)(cid:13)(cid:13) h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) + ‘( ¯St) + ‘( ¯St−1)(cid:17) mk ·(cid:16) (cid:18)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) + '( )St−1)(cid:17) mk ·(cid:16) 0.64
√ . + (cid:13)(cid:13)(cid :13)(cid:13)h ¯St−1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St−1 − ¯St−1 ⊗ 1 √ . + (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)st−1 − sst−1 ) 1。 0.77
(cid:13)(cid:13)(cid :13)(cid:19) (cid:13)(cid:13)(cid :13)(cid:19) 0.73
4.4 Proof of Main Results 4.4 主な結果の証明 0.77
Using lemmas in previous subsection, we can prove Lemma 1 and Theorem 1 as follows. 前節の補題を用いて、Lemma 1 と Theorem 1 を次のように証明できる。 0.78
Proof of Lemma 1. Lemma 1の証明。 0.65
We prove the result by induction. 私たちはその結果を誘導によって証明する。 0.56
When t = 0, Eqn. t = 0 のとき、Eqn。 0.81
(4.12) holds since each agent shares the same initialization. (4.12) それぞれのエージェントが同じ初期化を共有するためである。 0.68
This implies that ‘( ¯S1) ≤ γ · ‘( ¯S0). これは '( ss1) ≤ γ · '( ss0) を意味する。 0.79
11 11 0.85
英語(論文から抽出)日本語訳スコア
err 翻訳エラー 0.00
英語(論文から抽出)日本語訳スコア
1√ m ≤k · (cid:13)(cid:13)(cid :13)(cid:13)h ¯ST +1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST +1 − ¯ST +1 ⊗ 1 (cid:13)(cid:13)(cid :13) q λkλk+1 + 2Lλk +(cid:16) λk(λk+λk+1) 1 + γ2T · ‘2( ¯S0)(λk+1 + 2L + (λk + 2L)γT +1 · ‘( ¯S0)) γT · ‘( ¯S0) (cid:13)(cid:13)(cid :13)(cid:13)h ¯ST +1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST +1 − ¯ST +1 ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:13)h ¯ST +1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST +1 − ¯ST +1(cid:13)(cid:13)(ci d:13) ≤ · λkλk+1 + 2Lλk +(cid:16) λk(λk+λk+1) q 1√ M ≤k · (cid:13)(cid:13)(cid :13)(cid:13)h ¯ST +1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST +1 − ¯ST +1 ⊗ 1 (cid:13)(cid:13)(cid :13) q λkλk+1 + 2Lλk +(cid:16) λk(λk+λk+1) 1 + γ2T · ‘2( ¯S0)(λk+1 + 2L + (λk + 2L)γT +1 · ‘( ¯S0)) γT · ‘( ¯S0) (cid:13)(cid:13)(cid :13)(cid:13)h ¯ST +1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST +1 − ¯ST +1 ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:13)h ¯ST +1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST +1 − ¯ST +1(cid:13)(cid:13)(ci d:13) ≤ · λkλk+1 + 2Lλk +(cid:16) λk(λk+λk+1) q 0.77
+ 2Lλk+1 · 4ρL( 2Lλk+1 ·4ρL。 0.58
(cid:17) 1 √ (cid:17) 1 √ 0.82
√ 2 j k + 1) √ 2 j k + 1) 0.85
mγT−1 · ‘( ¯S0) mγT−1 · '( >S0) 0.66
Therefore, ρ only needs したがって、ρ は必要なだけである 0.56
ρ ≤ √ 16Lk( First, we need to satisfy the condition in Lemma 6, that is, ρ ≤ 16Lk。 まず、Lemma 6の条件を満たす必要があります。 0.63
k + 1)γT−1 · ‘( ¯S0). k + 1)γT−1 · '( )S0)。 0.80
(cid:13)(cid:13)(cid :13) ≤ 1 (cid:13)(cid:13)(cid :13)≤ 1 0.82
4 . (cid:17) 4 . (cid:17) 0.82
Furthermore, we have σmin( ¯ST +1) さらに私たちは σmin (複数形 σmins) 0.64
(4.9)≥ (4.12)≥ (4.9)≥ (4.12)≥ 0.98
= λk − 24L√ 1 + ‘2( ¯ST ) = λk 24L。 1 + '2( )ST )。 0.76
q q λkλk+1 + 2Lλk +(cid:16) λk(λk+λk+1) q q q λkλk+1 + 2Lλk +(cid:16) λk(λk+λk+1) q 0.55
(cid:13)(cid:13)(cid :13)(cid:13)h ¯STi†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST − ¯ST ⊗ 1 q (cid:17) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)st-1 q (cid:17) 0.77
1 + γ2T · ‘2( ¯S0) 1 + γ2T · '2( >S0) 0.79
γT · ‘( ¯S0) 1 + γ2T · ‘2( ¯S0)(λk+1 + 2L + (λk + 2L)γT +1 · ‘( ¯S0)) γT · '( ・ S0) 1 + γ2T · '2( ・ S0)(λk+1 + 2L + (λk + 2L)γT +1 · '( ・ S0)) 0.79
+ 2Lλk+1 (cid:13)(cid:13)(cid :13) 2Lλk+1 (cid:13)(cid:13)(cid :13) 0.59
− λk m 2 . − λk M 2 . 0.82
L(λk − λk+1)γT · ‘( ¯S0) L(λk − λk+1)γT · '( >S0) 0.79
1 + γ2T · ‘2( ¯S0)(λk+1 + 2L + (λk + 2L)γT +1 · ‘( ¯S0)) 1 + γ2T · '2( )S0)(λk+1 + 2L + (λk + 2L)γT +1 · '( )S0)) 0.79
Therefore, we can obtain that したがって、我々はそれを得ることができる。 0.52
γT · ‘( ¯S0) 1 + γ2T · ‘2( ¯S0)(λk+1 + 2L + (λk + 2L)γT +1 · ‘( ¯S0)) γT · '( ・ S0) 1 + γ2T · '2( ・ S0)(λk+1 + 2L + (λk + 2L)γT +1 · '( ・ S0)) 0.79
+ 2Lλk+1 2 . 2Lλk+1 2 . 0.72
To simplify above equation, we only require ρ to be 上記の方程式を単純化するには ρ を必要とします 0.68
ρ ≤ √ 16Lk( k + 1) ρ ≤ 16Lk。 k + 1) 0.75
√ mγT−1 · ‘( ¯S0) ·q √ mγt−1 · '( s0) ·q 0.76
λkλk+1 + 2Lλk λkλk+1 + 2Lλk 0.39
1 + γ2T · ‘2( ¯S0)(cid:16) 1 + γ2t · '2(\s0)(cid:16) 0.80
λk+1 + 2L + (λk + 2L)γT +1 · ‘( ¯S0)(cid:17) . λk+1 + 2L + (λk + 2L)γT+1 · '( )S0)(cid:17) 。 0.73
To satisfy Eqn. Eqnを満たすため。 0.77
(4.12) for t = T + 1, ρ only needs to satisfy (λk − λk+1) · γ2 (cid:17) (4.12) for t = T + 1, ρ only to satisfy (λk − λk+1) · γ2 (cid:17) 0.89
q 1 + γ2(T +1) · ‘2( ¯S0)(cid:16) · λkλk+1 + 2Lλk +(cid:16) λk(λk+λk+1) q γT · ‘( ¯S0) 1 + γ2T · ‘2( ¯S0)(λk+1 + 2L + (λk + 2L)γT +1 · ‘( ¯S0)) q 1 + γ2(T +1) · '2( ss0)(cid:16) · λkλk+1 + 2Lλk +(cid:16) λk(λk+λk+1) q γT · '( s0) 1 + γ2T · '2( s0)(λk+1 + 2L +(λk + 2L)γT +1 · '( s0) ) 0.76
+ 2Lλk+1 k + 1) 2Lλk+1 k + 1) 0.65
96kL( ρ ≤ √ 96kL ρ ≤ √ 0.84
2 λk+1 + 2L + (λk + 2L)γT +2‘( ¯S0)(cid:17) 2 λk+1 + 2L + (λk + 2L)γT + 2'( ×S0)(cid:17) 0.80
. 13 . 13 0.85
英語(論文から抽出)日本語訳スコア
To simplify above equation, we only require ρ to be 上記の方程式を単純化するには ρ を必要とします 0.68
ρ ≤ √ 96kL( ρ ≤ √ 96kL 0.84
k + 1)(cid:16)1 + γ2T · ‘2( ¯S0)(cid:17)(cid:16) k + 1)(cid:16)1 + γ2t · '2( ss0)(cid:17)(cid:16) 0.82
λk+1 + 2L + (λk + 2L)γT +1 · ‘( ¯S0)(cid:17)2 . λk+1 + 2L + (λk + 2L)γT+1 · '( )S0)(cid:17)2 。 0.75
(λk − λk+1)(λkλk+1 + 2Lλk+1) · γ2 (λk − λk+1)(λkλk+1 + 2Lλk+1) · γ2 0.55
Since Eqn. (4.12) holds for t = T + 1 when ρ satisfies the condition (3.5), then Eqn. Eqnより。 (4.12) は ρ が条件 (3.5) を満たすとき t = t + 1 に対して成り立つ。 0.75
(4.13) also holds for t = T + 1. (4.13) も t = T + 1 である。 0.85
This concludes the proof. Using the results of Lemma 1, we can prove Theorem 1 as follows. これが証明である。 Lemma 1 の結果を用いて、定理 1 を次のように証明できる。 0.76
Proof of Theorem 1. First, by Eqn. 定理 1 の証明。 まず、Eqnによって。 0.68
(4.10), Eqn. (4.10) eqn。 0.88
(3.7), and the condition that T ≥ 2λk 3.7)と T ≥ 2λk の条件 0.77
λk−λk+1 log 4(λk+2L) tan θk(U,W 0) λk−λk+1 log 4(λk+2L) tan yk(U,W 0) 0.70
m(λk−λk+1) m(λk−λk+1) 0.63
√ , we can obtain that (cid:13)(cid:13)(cid :13)WT − ¯W T ⊗ 1 √ , これを (cid:13)(cid:13)(cid :13)wt − sw t ] 1 とすることができる。 0.76
(cid:13)(cid:13)(cid :13) ≤ √ (cid:13)(cid:13)(cid :13)≤ 0.80
Similarly, we can obtain that tan θk(U, ¯ST ) ≤  同様に、tan θk(u, zyst ) ≤ ... を得ることができる。 0.61
Furthermore, by the definition of angels between two subspaces, we have さらに、2つの部分空間間の天使の定義により、私たちは 0.76
m · λk − λk+1 m · λk − λk+1 0.71
2(λk+1 + 2L) · γT · ‘( ¯S0) ≤  2 . 2(λk+1 + 2L) · γT · '( )S0) ≤ 2 。 0.84
4. Thus, we can obtain the results in Eqn. 4. したがって、Eqnで結果を得ることができます。 0.80
(3.10). Since T = 2λk λk−λk+1 log 4(λk+2L) tan θk(U,W 0) 2λk √ (3.10). T = 2λk λk−λk+1 log 4(λk+2L) tan θk(U,W 0) 2λk > 0.76
λk−λk+1 log 4 tan θk(U,W 0) λk−λk+1 log 4 tan θk(U,W 0) 0.74
m(λk−λk+1) m(λk−λk+1) 0.63
 , it holds that √ m · λk−λk+1  というのは m · λk−λk+1 0.63
λk+2L · γT · tan θk(U, W 0) ≤  λk+2L · γT · tan θk(U, W 0) ≤ ? 0.77
4 . Furthermore, when T = 4 . 4 . さらに、T = 4 の場合。 0.84
Thus, when 14 tan θk(U, W t だから いつ 14 tan θk(U, W t) 0.83
j ) (2.1)= max kwk=1 j ) (2.1)= max kwk=1 0.81
(4.10),(4.11)≤ (4.10),(4.11)≤ 0.94
j w j w max kwk=1 J W J W max kwk=1 0.66
j − ¯W T ≤ max kwk=1 j − ^ W T ≤ max kwk=1 0.84
≤ max kwk=1 ≤ max kwk=1 0.78
(cid:13)(cid:13)(cid :13)V >W T (cid:13)(cid:13)(cid :13)U>W T (cid:13)(cid:13)(cid :13)V > ¯W T w (cid:13)(cid:13)(cid :13)U> ¯W T w (cid:13)(cid:13)(cid :13)V > ˜W T w (cid:13)(cid:13)(cid :13)U> ˜W T w (cid:13)(cid:13)(cid :13)V > ˜W T w (cid:13)(cid:13)(cid :13)U> ˜W T w (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) V > W T (cid:13)(cid:13)(cid :13)(cid:13)V > シュW T w (cid:13)(cid:13)(cid :13)(cid:13)U> シュW T w (cid:13)(cid:13)(cid :13)V > シュW T w (cid:13)(cid:13)(cid :13)U> シュW T w (cid:13)(cid:13)(cid :13)(cid:13)V > シュW T w (cid:13)(cid:13)(cid :13)U> シュW T w (cid:13)(cid:13)(cid :13)U 0.64
(cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) j − ¯W T(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13)W T (cid:13)(cid:13)(cid :13) + (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) −(cid:13)(cid:13)(cid :13)W T (cid:13)(cid:13)(cid :13) ˜W T − ¯W T(cid:13)(cid:13)(ci d:13) + (cid:13)(cid:13)(cid :13)W T j − ¯W T(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13) + (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) −(cid:13)(cid:13)(cid :13)W T (cid:13)(cid:13)(cid :13) −(cid:13)(cid:13)(cid :13) ˜W T − ¯W T (cid:13)(cid:13)(cid :13)(cid:13)h ¯STi†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST − ¯ST ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) + 24 (cid:13)(cid:13)(cid :13)(cid:13)h ¯STi†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST − ¯ST ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) − 24 (cid:13)(cid:13)(cid :13)(cid:13)h ¯STi†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST − ¯ST ⊗ 1 (cid:13)(cid:13)(cid :13) / cos θk(U, ˜W T ) (cid:13)(cid:13)(cid :13)(cid:13)h ¯STi†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST − ¯ST ⊗ 1 λk+2L · γT · ‘( ¯S0) ·q λk+2L · γT · ‘( ¯S0) ·q m · λk−λk+1 √ m · λk−λk+1 = γT · tan θk(U, W 0) + 1 − √ m · λk−λk+1 , it holds that γT · tan θk(U, W 0) ≤  (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) j − ¯W T(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13)W T (cid:13)(cid:13)(cid :13) + (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) −(cid:13)(cid:13)(cid :13)W T (cid:13)(cid:13)(cid :13) ˜W T − ¯W T(cid:13)(cid:13)(ci d:13) + (cid:13)(cid:13)(cid :13)W T j − ¯W T(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13) + (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) −(cid:13)(cid:13)(cid :13)W T (cid:13)(cid:13)(cid :13) −(cid:13)(cid:13)(cid :13) ˜W T − ¯W T (cid:13)(cid:13)(cid :13)(cid:13)h ¯STi†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST − ¯ST ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) + 24 (cid:13)(cid:13)(cid :13)(cid:13)h ¯STi†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST − ¯ST ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) − 24 (cid:13)(cid:13)(cid :13)(cid:13)h ¯STi†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST − ¯ST ⊗ 1 (cid:13)(cid:13)(cid :13) / cos θk(U, ˜W T ) (cid:13)(cid:13)(cid :13)(cid:13)h ¯STi†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)ST − ¯ST ⊗ 1 λk+2L · γT · ‘( ¯S0) ·q λk+2L · γT · ‘( ¯S0) ·q m · λk−λk+1 √ m · λk−λk+1 = γT · tan θk(U, W 0) + 1 − √ m · λk−λk+1 , it holds that γT · tan θk(U, W 0) ≤  0.73
λk+2L · γT · tan θk(U, W 0) ·q λk+2L · γT · ‘( ¯S0) ·q λk+2L · γT · tan θk(U, W 0) ·q λk+2L · γT · '( >S0) ·q 0.73
(cid:13)(cid:13)(cid :13) / cos θk(U, ˜W T ) (cid:13)(cid:13)(cid :13) / cos θk(U, 0.88
tan θk(U, ˜W T ) + 24 tan θk(u, \w t ) + 24 0.93
1 + γ2T · ‘2( ¯S0) 1 + γ2T · '2( >S0) 0.79
1 + γ2T · ‘2( ¯S0) 1 + γ2T · '2( >S0) 0.79
m · λk−λk+1 m · λk−λk+1 0.47
j − ¯W T = j − ^ W T = 0.88
1 − 24 √ (3.6),(3.7)≤ γT · ‘( ¯S0) + 1 − √ 1 − 24 √ (3.6),(3.7)≤ γT · ‘( ¯S0) + 1 − √ 1.00
1 + γ2T · tan2 θk(U, W 0) 1 + γ2T · tan2 θk(U, W 0) 0.90
1 + γ2T · ‘2( ¯S0) 1 + γ2T · '2( >S0) 0.79
英語(論文から抽出)日本語訳スコア
 < 1, we can obtain that s < 1 であればそれが得られる。 0.60
tan θk(U, W T tan θk(U, W T) 0.92
j ) ≤ /4 + /4 ·p1 + 1/42 1 − 1/4 ·p1 + 1/42 < . j ) ≤ /4 + /4 ·p1 + 1/42 1 − 1/4 ·p1 + 1/42 < . 0.68
Since the right hand of Eqn. 3.5 is monotone deceasing as t increases, ρ only satisfies that Eqnの右手から。 3.5 は t が増加するにつれて単調が減少し、ρ はそれを満たすだけである。 0.50
 . (4.15)  . (4.15) 0.82
 ρ ≤ min  ρ ≤ min 0.85
√ 96kL( √ 16Lk( 96kL。 √ 16Lk() 0.67
k + 1) (λk − λk+1)(λkλk+1 + 2Lλk+1) · γ2 k + 1) (λk − λk+1)(λkλk+1 + 2Lλk+1) · γ2 0.70
k + 1)(cid:16)1 + ‘2( ¯S0)(cid:17)(cid:16) m · ‘( ¯S0) ·q k + 1)(cid:16)1 + '2( s0)(cid:17)(cid:16) m · '( s0) ·q 0.89
λk+1 + 2L + (λk + 2L) · ‘( ¯S0)(cid:17)2 , λk+1 + 2L + (λk + 2L) · ‘( ¯S0)(cid:17) λk+1 + 2L + (λk + 2L) · '( )S0)(cid:17)2 , λk+1 + 2L + (λk + 2L) · '( )S0)(cid:17) 0.78
λkλk+1 + 2Lλk λkλk+1 + 2Lλk 0.39
1 + ‘2( ¯S0)(cid:16) 1 + '2(\s0)(cid:16) 0.85
√ Furthermore, ρ only requires to satisfy √ さらに、ρ は満たす必要があります。 0.75
Replacing the definition of ‘( ¯S0) and Proposition 1, we can obtain if K satisfies that と命題1の定義を置き換えることで、K がそれを満たすならば得ることができる。 0.68
ρ ≤ √ 96kL( K ≤ ρ ≤ 96kL。 K ≤ 0.78
1p1 − λ2(L) 1p1 − λ2(L) 0.82
(λk − λk+1)(λkλk+1 + 2Lλk+1) · γ2 (λk − λk+1)(λkλk+1 + 2Lλk+1) · γ2 0.55
k + 1)(cid:16)1 + ‘2( ¯S0)(cid:17)(cid:16) k + 1)(cid:16)1 + '2( s0)(cid:17)(cid:16) 0.87
λk + 2L + (λk + 2L) · ‘( ¯S0)(cid:17)2 k + 1)(λk + 2L)(cid:0)1 + tan θk(U, W 0)(cid:1)4 λk+1(λk − λk+1) ·(cid:16)1 − λk−λk+1 λk + 2L + (λk + 2L) · '( λS0)(cid:17)2k + 1)(λk + 2L)(cid:0)1 + tan θk(U, W 0)(cid:1)4 λk+1(λk − λk+1) ·(cid:16)1 − λk −λk+1 0.78
(cid:17)2 √ (cid:17)2 √ 0.85
2λk , · log 96kL( 2λk , · log 96kL( 0.81
the requirement of ρ in Eqn. eqn における ρ の要求。 0.83
(4.15) is satisfied. Combining with iteration complexity, we can obtain the total communication complexity (4.15)満足。 イテレーションの複雑さと組み合わせることで コミュニケーションの複雑さを 0.78
C =T × K = C = T × K = 0.97
· log 96kL( · log 96kL( 0.98
2λk ( (λk − λk+1)p1 − λ2(L) log 4 tan θk(U, W 0) k + 1)(λk + 2L)(cid:0)1 + tan θk(U, W 0)(cid:1)4 (cid:17)2 λk+1(λk − λk+1) ·(cid:16)1 − λk−λk+1 2λk (λk − λk+1)p1 − λ2(L) log 4 tan (U, W 0) k + 1)(λk + 2L)(cid:0)1 + tan (U, W 0)(cid:17)4 (cid:17)2 λk+1(λk − λk+1) ·(cid:16)1 − λk−λk+1 0.71
· max √  . ·max √  . 0.83
2λk , log 4(λk + 2L) tan θk(U, W 0) 2λk , log 4(λk + 2L) tan θk(U, W 0) 0.79
m(λk − λk+1) m(λk − λk+1) 0.85
√ ) 5 Experiments In the previous sections, we presented a theoretical analysis of our algorithm. √ ) 5 実験 前節では,アルゴリズムの理論的解析について述べる。 0.79
In this section, このセクションでは。 0.72
we will provide empirical studies. 我々は実証的な研究を行う。 0.59
Experiment Setting In our experiments, we consider random networks where each pair of agents has a connection with a probability of p = 0.5. 実験設定 実験では、各エージェントのペアがp = 0.5の確率で接続されているランダムネットワークを検討する。 0.83
We set L = I − M λmax(M) where M is the Laplacian M がラプラシアンである L = I − M λmax(M) を設定する。 0.81
15 15 0.85
英語(論文から抽出)日本語訳スコア
(a)(cid:13)(cid:13)S − ¯S ⊗ 1(cid:13)(cid:13) with K = 3 (a)(cid:13)(cid:13)S − (cid:13)(cid:13)K = 3 0.89
(b)(cid:13)(cid:13)W − ¯W ⊗ 1(cid:13)(cid:13) with K = 3 (b)(cid:13)(cid:13)W −1(cid:13)(cid:13)K = 3 0.90
(c) tan θk(U, W ) with K = 3 (c) tan θk(U, W ) with K = 3 0.91
(d)(cid:13)(cid:13)S − ¯S ⊗ 1(cid:13)(cid:13) with K = 5 (d)(cid:13)(cid:13)S −1(cid:13)(cid:13)K = 5 0.90
(e)(cid:13)(cid:13)W − ¯W ⊗ 1(cid:13)(cid:13) with K = 5 (e)(cid:13)(cid:13)W −1(cid:13)(cid:13)K = 5 0.89
(f) tan θk(U, W ) with K = 5 (f) K = 5 の tan θk(U, W ) 0.87
(g)(cid:13)(cid:13)S − ¯S ⊗ 1(cid:13)(cid:13) with K = 10 (g)(cid:13)(cid:13)S −1(cid:13)(cid:13)K = 10 0.89
(h)(cid:13)(cid:13)W − ¯W ⊗ 1(cid:13)(cid:13) with K = 10 (h)(cid:13)(cid:13)W −1(cid:13)(cid:13)K = 10 0.89
(i) tan θk(U, W ) with K = 10 (i) K = 10 の tan θk(U, W ) 0.87
Figure 1: Experiment on ‘w8a’. 図1: ‘w8a’ の実験。 0.88
matrix associated with a weighted graph. 重み付きグラフに関連付けられたマトリックス。 0.68
We set m = 50 , that is, there exists 50 agents in this network. m = 50 とすると、このネットワークには 50 個のエージェントが存在する。 0.81
In our experiments, the gossip matrix L satisfies 1 − λ2(L) = 0.4563. 実験では、ゴシップ行列 L は 1 − λ2(L) = 0.4563 を満たす。 0.80
We conduct experiments on the datasets ‘w8a’ and ‘a9a’ which can be downloaded in libsvm datasets. libsvmデータセットでダウンロードできるデータセット「w8a」と「a9a」の実験を行います。 0.80
For ‘w8a’, we set n = 800 and d = 300. w8a' の場合、n = 800 と d = 300 とします。 0.84
For ‘a9a’, we set n = 600 and d = 123. a9a' に対して n = 600 と d = 123 を定める。 0.83
For each agent, Aj has the following form 各エージェントについて、Aj は以下の形式を持つ。 0.67
Aj, and Aj = viv> Aj と Aj = viv> 0.77
i , with vi = a(j−1)∗n+i, i , vi = a(j−1)∗n+i, 0.90
(5.1) A = 1 (5.1) A = 1 0.82
m mX j=1 nX M mX j=1 nX 0.76
i=1 where a(j−1)∗n+i ∈ Rd is the ((j − 1) ∗ n + i)-th input vector of the dataset. i=1 ここで a(j−1)∗n+i ∈ Rd はデータセットの ((j − 1) ∗ n + i)-入力ベクトルである。 0.77
16 01002003004005006007 008009001000Number of Power Iteration10.7510.810 .8510.910.951111.051 1.111.1511.211.25DeE PCA01002003004005006 007008009001000Numbe r of Power Iteration-0.6-0.4-0. 200.20.40.60.811.2De EPCADePCA01002003004 00500600700800900100 0Number of Power Iteration-16-14-12-1 0-8-6-4-202DeEPCADeP CACPCA01002003004005 006007008009001000Nu mber of Power Iteration-20-15-10-5 0510DeEPCA0100200300 40050060070080090010 00Number of Power Iteration-30-25-20-1 5-10-50DeEPCADePCA01 00200300400500600700 8009001000Number of Power Iteration-16-14-12-1 0-8-6-4-202DeEPCADeP CACPCA01002003004005 006007008009001000Nu mber of Power Iteration-20-15-10-5 0510DeEPCA0100200300 40050060070080090010 00Number of Power Iteration-30-25-20-1 5-10-50DeEPCADePCA01 00200300400500600700 8009001000Number of Power Iteration-16-14-12-1 0-8-6-4-202DeEPCADeP CACPCA 16 01002003004005006007 008009001000Number of Power Iteration10.7510.810 .8510.910.951111.051 1.111.1511.211.25DeE PCA01002003004005006 007008009001000Numbe r of Power Iteration-0.6-0.4-0. 200.20.40.60.811.2De EPCADePCA01002003004 00500600700800900100 0Number of Power Iteration-16-14-12-1 0-8-6-4-202DeEPCADeP CACPCA01002003004005 006007008009001000Nu mber of Power Iteration-20-15-10-5 0510DeEPCA0100200300 40050060070080090010 00Number of Power Iteration-30-25-20-1 5-10-50DeEPCADePCA01 00200300400500600700 8009001000Number of Power Iteration-16-14-12-1 0-8-6-4-202DeEPCADeP CACPCA01002003004005 006007008009001000Nu mber of Power Iteration-20-15-10-5 0510DeEPCA0100200300 40050060070080090010 00Number of Power Iteration-30-25-20-1 5-10-50DeEPCADePCA01 00200300400500600700 8009001000Number of Power Iteration-16-14-12-1 0-8-6-4-202DeEPCADeP CACPCA 0.49
英語(論文から抽出)日本語訳スコア
(a)(cid:13)(cid:13)S − ¯S ⊗ 1(cid:13)(cid:13) with K = 1 (a)(cid:13)(cid:13)S − (cid:13)(cid:13)K = 1 0.90
(b)(cid:13)(cid:13)W − ¯W ⊗ 1(cid:13)(cid:13) with K = 1 (b)(cid:13)(cid:13)W −1(cid:13)(cid:13)K = 1 0.89
(c) tan θk(U, W ) with K = 1 (c) tan θk(U, W ) with K = 1 0.91
(d)(cid:13)(cid:13)S − ¯S ⊗ 1(cid:13)(cid:13) with K = 5 (d)(cid:13)(cid:13)S −1(cid:13)(cid:13)K = 5 0.90
(e)(cid:13)(cid:13)W − ¯W ⊗ 1(cid:13)(cid:13) with K = 5 (e)(cid:13)(cid:13)W −1(cid:13)(cid:13)K = 5 0.89
(f) tan θk(U, W ) with K = 5 (f) K = 5 の tan θk(U, W ) 0.87
(g)(cid:13)(cid:13)S − ¯S ⊗ 1(cid:13)(cid:13) with K = 10 (g)(cid:13)(cid:13)S −1(cid:13)(cid:13)K = 10 0.89
(h)(cid:13)(cid:13)W − ¯W ⊗ 1(cid:13)(cid:13) with K = 10 (h)(cid:13)(cid:13)W −1(cid:13)(cid:13)K = 10 0.89
(i) tan θk(U, W ) with K = 10 (i) K = 10 の tan θk(U, W ) 0.87
Figure 2: Experiment on ‘a9a’. 図2: 'a9a' の実験。 0.85
Experiment Results In our experiments, we compare DeEPCA with decentralized PCA (DePCA) (Wai et al., 2017), and centralized PCA (CPCA). 実験結果 本実験では, DeEPCAと分散PCA (DePCA) (Wai et al., 2017) と集中PCA (CPCA) を比較した。 0.80
We will study how consensus steps affect the convergence rate of DeEPCA empirically. コンセンサスステップがDeEPCAの収束率に与える影響を実証的に検討する。 0.62
Thus, we set different K’s in our experiment,. そこで、我々は実験で異なるK’sを設定しました。 0.74
We will report the convergence rate of j ). jの収束率を報告します)。 0.51
We report experiment results in Figure 1 and Figure 2. 実験結果を図1および図2に報告します。 0.83
(cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)wt-1) 0.73
(cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)st-1 0.74
j=1 tan θk(U, W t j=1 tan (U, W t) 0.91
(cid:13)(cid:13)(cid :13), (cid:13)(cid:13)(cid :13) 0.77
Figure 1 shows that multi-consensus step is required in our DeEPCA. 図1は、DeEPCAにはマルチコンセンサスステップが必要です。 0.72
When K = 3, DeEPCA can not converge to the top-k principal components of A. K = 3 のとき、DeEPCA は A のトップ k の主成分に収束できない。 0.80
The number of consensus steps of DeECPA in each power iteration should be determined by the heterogeneity of the data just as discussed in Remark 2. 各パワーイテレーションにおけるDeECPAのコンセンサスステップの数は、Remark 2で述べたようにデータの均一性によって決定されるべきである。 0.75
Furthermore, once consensus steps of DeECPA are sufficient, then DeEPCA can achieve a fast convergence rate comparable to centralized PCA which can be observed from Figure 1 and Figure 2. さらに、DeECPAのコンセンサスステップが十分であれば、DeEPCAは図1と図2から観察できる集中型PCAに匹敵する高速収束率を達成することができる。 0.78
This validates our convergence analysis of DeEPCA in Theorem 1. これは、 Theorem 1 における DeEPCA の収束解析を検証します。 0.66
Figure 1 and Figure 2 show that without increasing consensus steps, DePCA can not converge to 図1と図2は、DePCAがコンセンサスステップを増やさなければ収束できないことを示している。
訳抜け防止モード: 図1と図2は 合意のステップを増やさなければ、DePCAは収束できない
0.82
(cid:13)(cid:13)(cid :13) and 1 (cid:13)(cid:13)(cid :13)と1 0.76
m Pm 17 01002003004005006007 008009001000Number of Power Iteration-15-10-5051 015DeEPCA01002003004 00500600700800900100 0Number of Power Iteration-25-20-15-1 0-505DeEPCADePCA0100 20030040050060070080 09001000Number of Power Iteration-12-10-8-6- 4-202DeEPCADePCACPCA 01002003004005006007 008009001000Number of Power Iteration-15-10-5051 0DeEPCA0100200300400 5006007008009001000N umber of Power Iteration-30-25-20-1 5-10-50DeEPCADePCA01 00200300400500600700 8009001000Number of Power Iteration-10-8-6-4-2 02DeEPCADePCACPCA010 02003004005006007008 009001000Number of Power Iteration-15-10-5051 0DeEPCA0100200300400 5006007008009001000N umber of Power Iteration-30-25-20-1 5-10-50DeEPCADePCA01 00200300400500600700 8009001000Number of Power Iteration-10-8-6-4-2 02DeEPCADePCACPCA M Pm 17 01002003004005006007 008009001000Number of Power Iteration-15-10-5051 015DeEPCA01002003004 00500600700800900100 0Number of Power Iteration-25-20-15-1 0-505DeEPCADePCA0100 20030040050060070080 09001000Number of Power Iteration-12-10-8-6- 4-202DeEPCADePCACPCA 01002003004005006007 008009001000Number of Power Iteration-15-10-5051 0DeEPCA0100200300400 5006007008009001000N umber of Power Iteration-30-25-20-1 5-10-50DeEPCADePCA01 00200300400500600700 8009001000Number of Power Iteration-10-8-6-4-2 02DeEPCADePCACPCA010 02003004005006007008 009001000Number of Power Iteration-15-10-5051 0DeEPCA0100200300400 5006007008009001000N umber of Power Iteration-30-25-20-1 5-10-50DeEPCADePCA01 00200300400500600700 8009001000Number of Power Iteration-10-8-6-4-2 02DeEPCADePCACPCA 0.65
英語(論文から抽出)日本語訳スコア
the top-k principal components of A. A の上位 k 個の主成分 0.76
Because of lacking of subspace tracking, to achieve a high precision solution, DePCA can only depends on an increasing consensus steps which can be observed from third columns of Figure 1 and Figure 2. サブスペース追跡が不足しているため、高精度なソリューションを達成するために、DePCAは、図1および図2の第3列から観察できるコンセンサスステップの増加にのみ依存できます。 0.75
Comparing DeEPCA and DePCA, we can conclude that DeEPCA has great advantages in communication cost. DeEPCA と DePCA を比較すると、DeEPCA は通信コストに大きな利点があります。 0.80
6 Conclusion This paper proposed a novel decentralized PCA algorithm DeEPCA that can achieve a linear convergence rate similar to the centralized PCA method, and the number of communications per multi-consensus step does not depend on the target precision . 6 結論 本論文では,集中型PCA法に類似した線形収束速度を達成できる分散型PCAアルゴリズムDeEPCAを提案する。
訳抜け防止モード: 6 結論 本稿では,分散化PCAアルゴリズムDeEPCAを提案する。 集中型PCA法と同様の線形収束率を達成することができる。 そして、マルチコンセンサスステップ当たりの通信回数は、対象の精度に依らない。
0.75
In this way, DeEPCA can achieve the best known communication complexity for decentralized PCA. このように、DeEPCAは分散PCAのための最もよく知られたコミュニケーションの複雑さを達成できます。 0.58
Our experiments also verifies the communication efficiency of DeEPCA. 私たちの実験はDeEPCAの通信効率も検証します。 0.70
Although the analysis of DeEPCA is based on undirected graph and ‘FastMix’, it can be easily extended to handle directed graphs because our analysis of DeEPCA only requires averaging. DeEPCAの分析は、非指向グラフと ‘FastMix’ に基づいているが、DeEPCAの分析は平均化しか必要としないため、直接グラフを扱うように容易に拡張できる。 0.79
As a final remark, we note that DeEPCA employs the power method, which can be applied to eigenvector finding, low rank matrix approximation, spectral analysis, etc. 最後に,DeEPCAは固有ベクトル探索,低階行列近似,スペクトル解析などに適用可能なパワー方式を採用していることに留意する。 0.70
Therefore DeEPCA can be used to design communication efficient decentralized algorithms for these problems as well. したがって、DeEPCAは通信効率のよい分散アルゴリズムの設計にも利用できる。 0.70
References Bertrand, A. Bertrand (複数形 Bertrands) 0.60
& Moonen, M. (2014). and moonen, m. (2014)。 0.79
Distributed adaptive estimation of covariance matrix eigenvectors in wireless sensor networks with application to distributed pca. 無線センサネットワークにおける共分散行列固有ベクトルの分散適応推定と分散pcaへの応用 0.79
Signal Processing, 104, 120–135. 信号処理 104, 120–135。 0.85
Bishop, C. M. (2006). C.M.司教(2006年)。 0.65
Pattern recognition and machine learning. パターン認識と機械学習。 0.75
springer. Cadima, J., Cerdeira, J. O., & Minhoto, M. (2004). スプリングアー Cadima, J., Cerdeira, J. O., & Minhoto, M. (2004)。 0.68
Computational aspects of algorithms for variable selection in the context of principal components. 主成分の文脈における変数選択のためのアルゴリズムの計算的側面 0.81
Computational statistics & data analysis, 47(2), 225–236. 計算統計とデータ分析、47(2)、225-236。 0.83
Defazio, A., Bach, F., & Lacoste-Julien, S. (2014). Defazio, A., Bach, F., & Lacoste-Julien, S. (2014)。 0.98
Saga: a fast incremental gradient method with support for non-strongly convex composite objectives. Saga: 非強凸複合目的をサポートする高速インクリメンタル勾配法。 0.64
In Proceedings of the 27th International Conference on Neural Information Processing Systems-Volume 1 (pp. 第27回神経情報処理システム国際会議紀要-第1巻(pp) 0.62
1646–1654). 1646–1654). 0.78
Dhillon, P. S., Foster, D. P., & Ungar, L. H. (2015). Dhillon, P. S., Foster, D. P., & Ungar, L. H. (2015)。 0.96
Eigenwords: Spectral word embeddings. Eigenwords:スペクトルワード埋め込み。 0.73
The Journal of Machine Learning Research, 16(1), 3035–3078. あらすじ Journal of Machine Learning Research, 16(1), 3035–3078。 0.60
Ding, C. & He, X. Ding, C. & He, X。 0.91
(2004). K-means clustering via principal component analysis. (2004). 主成分分析によるK平均クラスタリング 0.82
In Proceedings of in Proceedings of ~ 0.79
the twenty-first international conference on Machine learning (pp.˜29). 機械学習に関する第21回国際会議(pp.29)。 0.73
Golub, G. H. & Van Loan, C. F. (2012). Golub, G. H. & Van Loan, C. F. (2012)。 0.91
Matrix computations, volume 3. マトリクス計算、ボリューム3。 0.65
JHU Press. Hardt, M. & Price, E. (2014). JHUプレス所属。 Hardt, M. & Price, E. (2014)。 0.87
The noisy power method: A meta algorithm with applications. ノイズの多いパワーメソッド:アプリケーションを持つメタアルゴリズム。 0.77
Advances in Neural Information Processing Systems, 27, 2861–2869. ニューラル情報処理システムの進歩, 27, 2861–2869。 0.84
18 18 0.85
英語(論文から抽出)日本語訳スコア
Horn, R. A. & Johnson, C. R. (2012). ホーン、R.A。 & johnson, c. r. (2012)。 0.78
Matrix analysis. Cambridge university press. マトリックス分析。 ケンブリッジ大学出版局。 0.69
Johnson, R. & Zhang, T. (2013). Johnson, R. & Zhang, T. (2013)。 0.95
Accelerating stochastic gradient descent using predictive variance 予測分散による確率勾配勾配の加速 0.75
reduction. Advances in neural information processing systems, 26, 315–323. 削減。 神経情報処理システムの進歩、26, 315–323。 0.76
Kairouz, P., McMahan, H. B., Avent, B., Bellet, A., Bennis, M., Bhagoji, A. N., Bonawitz, K., Charles, Z., Cormode, G., Cummings, R., et al. Kairouz, P., McMahan, H.B., Avent, B., Bellet, A., Bennis, M., Bhagoji, A.N., Bonawitz, K., Charles, Z., Cormode, G., Cummings, R., et al。 0.88
(2019). Advances and open problems in federated learning. (2019). 連合学習の進歩とオープン問題 0.71
arXiv preprint arXiv:1912.04977. arXiv preprint arXiv:1912.04977 0.71
Kempe, D. & McSherry, F. (2008). Kempe, D. & McSherry, F. (2008)。 0.96
A decentralized algorithm for spectral analysis. スペクトル解析のための分散アルゴリズム。 0.83
Journal of Computer and System Sciences, 74(1), 70–83. 日誌 computer and system sciences, 74(1), 70–83頁。 0.67
Lee, D., Lee, W., Lee, Y., & Pawitan, Y. Lee, D., Lee, W., Lee, Y., & Pawitan, Y. 0.85
(2010). Super-sparse principal component analyses for (2010). 超スパース主成分分析 0.78
high-throughput genomic data. 高スループットゲノムデータ。 0.71
BMC bioinformatics, 11(1), 296. BMCバイオインフォマティクス, 11(1), 296。 0.71
Lian, X., Zhang, C., Zhang, H., Hsieh, C.-J., Zhang, W., & Liu, J. Lian, X., Zhang, C., Zhang, H., Hsieh, C.-J., Zhang, W., & Liu, J. 0.92
(2017). Can decentralized algorithms outperform centralized algorithms? (2017). 分散アルゴリズムは集中型アルゴリズムを上回るか? 0.73
a case study for decentralized parallel stochastic gradient descent. 分散並列確率勾配勾配のケーススタディ。 0.52
In Advances in Neural Information Processing Systems (pp. ニューラル情報処理システムの進歩(p。 0.58
5330–5340). 5330–5340). 0.78
Liu, J. & Morse, A. S. (2011). Liu, J。 & Morse, A. S. (2011)。 0.87
Accelerated linear iterations for distributed averaging. 分散平均化のための加速線形反復。 0.70
Annual Reviews in Control, 35(2), 160–165. 年 原題: Control, 35(2), 160–165。 0.68
Moon, H. & Phillips, P. J. Moon, H. & Phillips, P. J. (英語) 0.70
(2001). Computational and performance aspects of pca-based face- (2001). pcaベースの顔の計算と性能 0.82
recognition algorithms. Perception, 30(3), 303–321. 認識アルゴリズム。 知覚、30(3)、303-321。 0.72
Nedic, A. & Ozdaglar, A. ネディック、A。 とOzdaglar、A。 0.60
(2009). Distributed subgradient methods for multi-agent optimization. (2009). マルチエージェント最適化のための分散段階的手法 0.76
IEEE Transactions on Automatic Control, 54(1), 48–61. IEEE Transactions on Automatic Control, 54(1), 48-61。 0.83
Qu, G. & Li, N. (2017). Qu, G. & Li, N. (2017)。 0.95
Harnessing smoothness to accelerate distributed optimization. 分散最適化を加速するスムーズさ。 0.73
Transactions on Control of Network Systems, 5(3), 1245–1260. ネットワークシステムの制御に関するトランザクション 5(3), 1245-1260。 0.82
IEEE Qu, Y., Ostrouchov, G., Samatova, N., & Geist, A. IEEE Qu, Y., Ostrouchov, G., Samatova, N., & Geist, A。 0.84
(2002). Principal component analysis for In Proceedings of IEEE International (2002). IEEE International の In Proceedings における主成分分析 0.89
dimension reduction in massive distributed data sets. 大規模な分散データセットの寸法削減。 0.78
Conference on Data Mining (ICDM), volume 1318 (pp. データマイニングに関する会議(ICDM)、ボリューム1318(pp。 0.70
1788). Raja, H. & Bajwa, W. U. 1788). Raja, H. & Bajwa, W. U. 0.92
(2015). Cloud k-svd: A collaborative dictionary learning algorithm for (2015). Cloud k-svd: 協調型辞書学習アルゴリズム 0.84
big, distributed data. 大規模な分散データ。 0.80
IEEE Transactions on Signal Processing, 64(1), 173–188. IEEE Transactions on Signal Processing, 64(1), 173–188。 0.86
Scaglione, A., Pagliari, R., & Krim, H. (2008). Scaglione, A., Pagliari, R., & Krim, H. (2008)。 0.86
The decentralized estimation of the sample covariance. サンプル共分散の分散推定。 0.55
In 2008 42nd Asilomar Conference on Signals, Systems and Computers (pp. 2008年 第42回Asilomar Conference on Signals, Systems and Computers (pp。 0.85
1722–1726). 1722–1726). 0.78
: IEEE. Shi, W., Ling, Q., Wu, G., & Yin, W. (2015). IEEE。 Shi, W., Ling, Q., Wu, G., & Yin, W. (2015)。 0.70
Extra: An exact first-order algorithm for decentralized Extra: 分散化のための正確な一階アルゴリズム 0.60
consensus optimization. コンセンサス最適化。 0.57
SIAM Journal on Optimization, 25(2), 944–966. SIAM Journal on Optimization, 25(2), 944–966。 0.87
Stewart, G. (1977). スチュワート、G.(1977年)。 0.56
Perturbation bounds for the qr factorization of a matrix. 行列のqr因子分解に対する摂動境界。 0.61
SIAM Journal on Numerical Analysis, 14(3), 509–518. SIAMジャーナル 数値解析、14(3)、509-518。 0.68
19 19 0.85
英語(論文から抽出)日本語訳スコア
Suleiman, W., Pesavento, M., & Zoubir, A. M. (2016). Suleiman, W., Pesavento, M., & Zoubir, A. M. (2016)。 0.92
Performance analysis of the decentralized eigendecomposition and esprit algorithm. 分散固有分解アルゴリズムとエスプリットアルゴリズムの性能解析 0.56
IEEE Transactions on Signal Processing, 64(9), 2375– 2386. IEEE Transactions on Signal Processing, 64(9), 2375– 2386。 0.81
Wai, H.-T., Scaglione, A., Lafond, J., & Moulines, E. (2017). Wai, H.-T., Scaglione, A., Lafond, J., & Moulines, E. (2017)。 0.95
Fast and privacy preserving distributed low-rank regression. 分散低ランクレグレッションを高速かつプライバシに保存する。 0.48
In 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 2017年、IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp。 0.79
4451–4455). 4451–4455). 0.78
: IEEE. Wu, S. X., Wai, H.-T., Li, L., & Scaglione, A. IEEE。 Wu, S. X., Wai, H.-T., Li, L., & Scaglione, A。 0.75
(2018). A review of distributed algorithms for (2018). 分散アルゴリズムの見直し 0.67
principal component analysis. Proceedings of the IEEE, 106(8), 1321–1340. 主成分分析。 IEEE, 106(8), 1321–1340。 0.64
Xiao, L. & Boyd, S. (2004). Xiao, L. & Boyd, S. (2004)。 0.95
Fast linear iterations for distributed averaging. 分散平均化のための高速線形反復。 0.71
Systems & Control Letters, 53(1), 65–78. システムと制御 手紙、53(1)、65-78。 0.77
Ye, H., Luo, L., Zhou, Z., & Zhang, T. (2020). Ye, H., Luo, L., Zhou, Z., & Zhang, T. (2020)。 0.85
Multi-consensus decentralized accelerated gradient マルチコンセンサス分散加速勾配 0.73
descent. arXiv preprint arXiv:2005.00797. 下降 arXiv preprint arXiv:2005.00797。 0.47
Yuan, K., Ling, Q., & Yin, W. (2016). Yuan, K., Ling, Q., & Yin, W. (2016)。 0.87
On the convergence of decentralized gradient descent. 分散勾配勾配の収束について 0.54
SIAM Journal on Optimization, 26(3), 1835–1854. SIAM Journal on Optimization, 26(3), 1835–1854。 0.86
20 20 0.85
英語(論文から抽出)日本語訳スコア
A Proof of Lemmas in Section 4.3 第4.3節における補題の証明 0.56
We will prove our lemmas in the order of their appearance. 私たちは彼らの登場順に補題を証明します。 0.64
A.1 Proof of Lemma 2 Proof of Lemma 2. A.1 Lemma 2 Proof of Lemma 2 Proof of Lemma 2 0.88
First, because the operation ‘FastMix’ is linear, we can obtain that まず、「FastMix」の操作が線形であるため、それを得ることができます。 0.67
¯St+1 = ¯St + ¯Gt+1 − ¯Gt. St+1 = 「St + 「Gt+1」 − 「Gt」。 0.43
We prove the result by induction. 私たちはその結果を誘導によって証明する。 0.56
When t = 0, it holds that ¯S0 = ¯G0 = W 0. t = 0 のとき、s0 = sg0 = w 0 となる。 0.85
Supposing it holds that ¯St = ¯Gt, then we have もしそれが 「St = 「Gt」 を持つと仮定すると、我々はそれを持つ。 0.38
Thus, for each t = 0, 1, . したがって、各 t = 0, 1 に対して。 0.84
. . , it holds that ¯St = ¯Gt. . . とすると、sg = sgt となる。 0.69
¯St+1 = ¯St + ¯Gt+1 − ¯Gt = ¯Gt+1. St+1 = 「St + 「Gt+1」 − 「Gt」 = 「Gt+1」。 0.41
A.2 Proof of Lemma 3 Proof of Lemma 3. A.2 Lemma 3 Proof of Lemma 3 0.71
By the definition of ¯Gt and ¯H t in Eqn. Eqn における「Gt」と「Ht」の定義により。 0.60
(4.4), we have (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) 1 (4.4) (cid:13)(cid:13)(cid :13)(cid:13) 1 0.75
m mX j=1 AjW t−1 M mX j=1 AjW t−1 0.72
j − 1 m Aj ¯W t−1 j − 1 M Aj ~W t−1 0.73
mX j=1 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)2 mX j=1 (cid:13)(cid:13)(cid :13)(cid:13)2 0.78
j=1 j − ¯W t−1) j=1 j − ~W t−1) 0.66
(cid:13)(cid:13)(cid :13)2 j − ¯W t−1(cid:13)(cid:13)(ci d:13)2 (cid:13)(cid:13)(cid :13)2j-1(cid:13)(cid :13)(cid:13)2 0.77
(cid:13)(cid:13)(cid :13)Aj(W t−1 mX 2 ·(cid:13)(cid:13)(cid :13)W t−1 mX kAjk2 j − ¯W t−1(cid:13)(cid:13)(ci d:13)2 (cid:13)(cid:13)(cid :13)W t−1 mX (cid:13)(cid:13)(cid :13)Wt−1 − ¯W t−1 ⊗ 1 (cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13)aj(w t−1 mx 2 ·(cid:13)(cid:13)(cid :13)(cid:13)w t−1(cid:13)(cid:13)(ci d:13)2 (cid:13)(cid:13)(cid :13)w t−1 mx (cid:13)(cid:13)(cid :13)wt−1-1-1-1 − sw t−1 (cid:13)(cid:13)(cid :13)wt−1-1)w t−1 (cid:13)(cid:13)2 0.61
j=1 j=1 , ≤ 1 j=1 j=1 , ≤ 1 0.72
m ≤ 1 m ≤ L2 M ≤ 1 M ≤ L2 0.81
m = L2 m where the last inequality is because of the assumption kAjk2 ≤ L for j = 1, . M =L2 M 最後の不等式は j = 1 に対する kAjk2 ≤ L の仮定のためである。 0.77
. . , m. A.3 Proof of Lemma 4 Proof of Lemma 4. . . A.3 Proof of Lemma 4 Proof of Lemma 4 0.82
For notation convenience, we use T(W) to denote the ‘FastMix’ operation on W, which is used in Algorithm 1. 表記の利便性のために、アルゴリズム1で使用されているW上の「FastMix」操作を表すためにT(W)を使用します。 0.74
That is, Then for W, it holds that その通りです。 すると W に対して、それは成り立つ。 0.57
T(W) (cid:44) FastMix(W, K). T(W) (cid:44) FastMix(W, K)。 0.89
(cid:13)(cid:13)(cid :13)T(W) − ¯W ⊗ 1 (cid:13)(cid:13)(cid :13)T(W) −W1 0.81
(cid:13)(cid:13)(cid :13) ≤ ρ ·(cid:13)(cid:13)(cid :13)W − ¯W ⊗ 1 (cid:13)(cid:13)(cid :13) . (cid:13)(cid:13)(cid :13) ≤ ρ ·(cid:13)(cid:13)(cid :13)w-1(cid:13)(cid: 13)(cid:13) 0.81
(A.1) 21 (A.1) 21 0.82
英語(論文から抽出)日本語訳スコア
It is obvious that the ‘FastMix’ operation T(·) is linear. FastMix’ 演算 T(·) が線型であることは明らかである。 0.70
By the update rule of St, we have Stの更新ルールによって、私たちは 0.85
(cid:13)(cid:13)(cid :13)St+1 − ¯St+1 ⊗ 1 (cid:13)(cid:13)(cid :13)st+1-1) 0.63
(cid:13)(cid:13)(cid :13) (4.2)= (cid:13)(cid:13)(cid :13) (4.2)= 0.75
where the second inequality is because the fact that for any W ∈ Rd×k×m, it holds that 2つ目の不等式は、任意の w ∈ rd×k×m に対して、それが成り立つという事実である。
訳抜け防止モード: 二つ目の不等式は 任意の W ∈ Rd×k×m に対しては、それが成り立つ。
0.68
(cid:13)(cid:13)(cid :13)W − ¯W ⊗ 1 (cid:13)(cid:13)(cid :13)2 = (cid:13)(cid:13)(cid :13)W-1(cid:13)(cid: 13)(cid:13)2= 0.82
(cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) 0.74
(A.1)≤ ρ ≤ρ (A.1)≤ ρ ≤ρ 0.92
j =ρ ≤ρ (cid:13)(cid:13)(cid :13)2 j =ρ ≤ρ (cid:13)(cid:13)(cid :13)2 0.79
j − W t−1 j j − W t−1 j 0.85
(cid:13)(cid:13)(cid :13)T(St + Gt+1 − Gt) −(cid:16) ¯St+1 + ¯Gt+1 − ¯Gt(cid:17) ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Gt+1 − Gt − ( ¯Gt+1 − ¯Gt) ⊗ 1 (cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) + ρ (cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)Gt+1 − Gt(cid:13)(cid:13)(c id:13) (cid:13)(cid:13)(cid :13) + ρ vuut mX (cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) + ρ (cid:13)(cid:13)(cid :13)Aj(W t (cid:13)(cid:13)(cid :13)Wt − Wt−1(cid:13)(cid:13)(ci d:13) . (cid:13)(cid:13)(cid :13)T(St + Gt+1 − Gt) −(cid:16) ¯St+1 + ¯Gt+1 − ¯Gt(cid:17) ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Gt+1 − Gt − ( ¯Gt+1 − ¯Gt) ⊗ 1 (cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) + ρ (cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)Gt+1 − Gt(cid:13)(cid:13)(c id:13) (cid:13)(cid:13)(cid :13) + ρ vuut mX (cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) + ρ (cid:13)(cid:13)(cid :13)Aj(W t (cid:13)(cid:13)(cid :13)Wt − Wt−1(cid:13)(cid:13)(ci d:13) . 0.75
(cid:13)(cid:13)(cid :13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) + Lρ (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 2 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) Wj − 1 mX mX (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 1 mX mX (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 1 mX mX ≤ mX (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) + lρ (cid:13)(cid:13)(cid :13)(cid:13)2 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)wj − 1 mx mx (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 1 mx mx (cid:13)(cid:13)(cid :13) 1 mx ≤ mx (cid:13)(cid:13)(cid :13)(cid:13) 1 mx ≤ mx) 0.70
(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 2 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 2 (cid:13)(cid:13)(cid :13)(cid:13)2(cid:13 )(cid:13)(cid:13)(ci d:13)(cid:13)2 0.80
kWjk2 + kWjk2 − kWjk2 + kWjk2 − 0.88
mX mX kWjk2 mX mX kWjk2 0.83
− 2 * m i=1 − 2 * M i=1 0.76
m i=1 m i=1 M i=1 M i=1 0.67
= = + 1 m Wi = = + 1m Wi 0.84
i=1 Wi Wi Wj, i=1 Wi Wi wj! 0.69
j=1 j=1 j=1 j=1 j=1 j=1 0.59
j=1 Wi ) The last inequality is because of j=1 Wi ) 最後の不等式が原因です。 0.71
(cid:13)(cid:13)(cid :13)Aj(W t (cid:13)(cid:13)(cid :13)Aj(W t) 0.76
mX j (cid:13)(cid:13)(cid :13)2 ≤ mX mX j (cid:13)(cid:13)(cid :13)2 ≤ mX 0.83
j=1 j − W t−1 j=1 j − W t−1 0.71
j ) kAjk2 j − W t−1 j ) kAjk2 j − W t−1 0.83
j (cid:13)(cid:13)(cid :13)2 ≤ L2 j (cid:13)(cid:13)(cid :13)2 ≤ L2 0.81
mX j=1 (cid:13)(cid:13)(cid :13)W t mX j=1 (cid:13)(cid:13)(cid :13)W t 0.74
j − W t−1 j j − W t−1 j 0.85
(cid:13)(cid:13)(cid :13) = L2(cid:13)(cid:13)(c id:13)Wt − Wt−1(cid:13)(cid:13)(ci d:13)2 (cid:13)(cid:13)(cid :13) = L2(cid:13)(cid:13)(c id:13)Wt − Wt−1(cid:13)(cid:13)(ci d:13)2 0.73
. j=1 =kWk2 . j=1 kWk2 0.70
. 2 ·(cid:13)(cid:13)(cid :13)W t . 2 ·(cid:13)(cid:13)(cid :13)W t 0.84
22 22 0.85
英語(論文から抽出)日本語訳スコア
err 翻訳エラー 0.00
英語(論文から抽出)日本語訳スコア
¯S = ˜W ˜R be the QR decomposition of Sj and ¯S, respectively . Sj と S の QR 分解は、それぞれ S と S の QR 分解である。 0.69
Then we have mX mX mX があります。 mX 0.76
(cid:13)(cid:13)(cid :13)Wj − ˜W (cid:13)(cid:13)(cid :13)Wj − >W 0.72
(cid:13)(cid:13)(cid :13)2 + 2m (cid:13)(cid:13)2 + 2m) 0.93
(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) ˜W − 1 (cid:13)(cid:13)(cid :13)(cid:13) sw − 1) 0.75
m Wi = m i=1 M Wi = M i=1 0.76
(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 2 (cid:13)(cid:13)(cid :13)2 0.82
Wi (cid:13)(cid:13)(cid :13) ¯S†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) ¯S − Sj (cid:13)(cid:13)(cid :13) ¯S†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)S − ¯S ⊗ 1 (cid:13)(cid:13)(cid :13) . Wi (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)(cid :13) sj(cid:13)(cid:13)(c id:13) ss(cid:13)(cid:13)ci d:13)(cid:13)(cid:13 )(cid:13)(cid:13)(ci d:13)(cid:13)(cid:13 )s-1(cid:13)(cid:13) (cid:13)。 0.75
(cid:13)(cid:13)(cid :13) ≤ 1 (cid:13)(cid:13)(cid :13)≤ 1 0.82
4. Hence, we can obtain 4. したがって我々は得ることができる。 0.73
i=1 j=1 j=1 i=1 j=1 j=1 0.59
j=1 ≤4 ≤ 2 j=1 ≤4 ≤ 2 0.74
(cid:13)(cid:13)(cid :13)W − ¯W ⊗ 1 (cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 2 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) Wj − 1 mX mX (cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13)Wj − ˜W mX (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) ¯S†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) ¯S − Sj  3 mX (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) ¯S†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) ¯S − Sj (cid:13)(cid:13)(cid :13)2 ≤(12)2 ·(cid:13)(cid:13)(cid :13) ¯S†(cid:13)(cid:13)(cid :13)2(cid:13)(cid:13 )(cid:13)S − ¯S ⊗ 1 (cid:13)(cid:13)(cid :13) ≤ 12 (cid:13)(cid:13)(cid :13)W − ¯W ⊗ 1 (cid:13)(cid:13)(cid :13)W − ¯W ⊗ 1 (cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) 2 (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) Wj − 1 mX mX (cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13)Wj − ˜W mX (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) ¯S†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) ¯S − Sj  3 mX (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) ¯S†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13) ¯S − Sj (cid:13)(cid:13)(cid :13)2 ≤(12)2 ·(cid:13)(cid:13)(cid :13) ¯S†(cid:13)(cid:13)(cid :13)2(cid:13)(cid:13 )(cid:13)S − ¯S ⊗ 1 (cid:13)(cid:13)(cid :13) ≤ 12 (cid:13)(cid:13)(cid :13)W − ¯W ⊗ 1 0.75
2 1 − 2 j=1 2 1 − 2 j=1 0.74
, (A.2)≤ 4 , (A.2)≤ 4 0.92
where the last inequality is because of the assumption that 24 最後の不平等は 24 0.56
英語(論文から抽出)日本語訳スコア
A.6 Proof of Lemma 7 Proof of Lemma 7. A.6 Lemma 7 Proof of Lemma 7 0.72
By the update rule of Algorithm, we can obtain that アルゴリズムの更新規則により、我々はそれを得ることができる。 0.69
‘( ¯St+1) = tan θk(U, ¯St+1) 「(tSt+1) = tan θk(U, tSt+1) 0.77
= max kwk=1 = max kwk=1 0.78
≤ max kwk=1 ≤ max kwk=1 0.78
(4.7)≤ max kwk=1 (4.7)≤ max kwk=1 0.82
= max kwk=1 = max kwk=1 0.78
≤ max kwk=1 ≤ max kwk=1 0.78
≤ max kwk=1 ≤ max kwk=1 0.78
(4.11),(4.10)≤ (4.11),(4.10)≤ 0.94
max kwk=1 = max kwk=1 max kwk=1 = max kwk=1 0.75
Furthermore, we have m m さらに私たちは M M 0.75
m m kwk=1 (cid:13)(cid:13)(cid :13)V > ¯St+1w (cid:13)(cid:13)(cid :13)V > ¯Gt+1w (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)U> ¯Gt+1w (cid:13)(cid:13)(cid :13) = max (cid:13)(cid:13)(cid :13)U> ¯St+1w (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)V > ¯H t+1w (cid:13)(cid:13)(cid :13) ¯Gt+1 − ¯H t+1(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13) + (cid:13)(cid:13)(cid :13) −(cid:13)(cid:13)(cid :13) ¯Gt+1 − ¯H t+1(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13)U> ¯H t+1w (cid:13)(cid:13)(cid :13) + L√ (cid:13)(cid:13)(cid :13)V > ¯H t+1w (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)U> ¯H t+1w (cid:13)(cid:13)(cid :13) − L√ (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)V >A ¯W tw (cid:13)(cid:13)(cid :13) + L√ (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) − L√ (cid:13)(cid:13)(cid :13)U>A ¯W tw (cid:13)(cid:13)(cid :13)V > ¯W tw (cid:13)(cid:13)(cid :13) + L√ (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) − L√ (cid:13)(cid:13)(cid :13)U> ¯W tw (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)V > ˜W tw (cid:13)(cid:13)(cid :13) + λk+1 (cid:13)(cid:13)(cid :13) ˜W t − ¯W t(cid:13)(cid:13)(ci d:13) + L√ (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) − L√ (cid:13)(cid:13)(cid :13) ˜W t − ¯W t (cid:13)(cid:13)(cid :13) − λk (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)U> ˜W tw (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)V > ˜W tw (cid:13)(cid:13)(cid :13) + 12(λk+1+L) (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) − 12(λk+L) (cid:13)(cid:13)(cid :13)U> ˜W tw (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) / (cid:13)(cid:13)(cid :13)V > ˜W tw (cid:13)(cid:13)(cid :13) / (cid:13)(cid:13)(cid :13)U> ˜W tw (cid:13)(cid:13)(cid :13) + 12(λk+1+L) (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)U> ˜W tw (cid:13)(cid:13)(cid :13) / (cid:13)(cid:13)(cid :13)U> ˜W tw M M kwk=1 (cid:13)(cid:13)(cid :13)V > ¯St+1w (cid:13)(cid:13)(cid :13)V > ¯Gt+1w (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)U> ¯Gt+1w (cid:13)(cid:13)(cid :13) = max (cid:13)(cid:13)(cid :13)U> ¯St+1w (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)V > ¯H t+1w (cid:13)(cid:13)(cid :13) ¯Gt+1 − ¯H t+1(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13) + (cid:13)(cid:13)(cid :13) −(cid:13)(cid:13)(cid :13) ¯Gt+1 − ¯H t+1(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13)U> ¯H t+1w (cid:13)(cid:13)(cid :13) + L√ (cid:13)(cid:13)(cid :13)V > ¯H t+1w (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)U> ¯H t+1w (cid:13)(cid:13)(cid :13) − L√ (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)V >A ¯W tw (cid:13)(cid:13)(cid :13) + L√ (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) − L√ (cid:13)(cid:13)(cid :13)U>A ¯W tw (cid:13)(cid:13)(cid :13)V > ¯W tw (cid:13)(cid:13)(cid :13) + L√ (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) − L√ (cid:13)(cid:13)(cid :13)U> ¯W tw (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)V > ˜W tw (cid:13)(cid:13)(cid :13) + λk+1 (cid:13)(cid:13)(cid :13) ˜W t − ¯W t(cid:13)(cid:13)(ci d:13) + L√ (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13) − L√ (cid:13)(cid:13)(cid :13) ˜W t − ¯W t (cid:13)(cid:13)(cid :13) − λk (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)Wt − ¯W t ⊗ 1 (cid:13)(cid:13)(cid :13)U> ˜W tw (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)V > ˜W tw (cid:13)(cid:13)(cid :13) + 12(λk+1+L) (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) − 12(λk+L) (cid:13)(cid:13)(cid :13)U> ˜W tw (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) / (cid:13)(cid:13)(cid :13)V > ˜W tw (cid:13)(cid:13)(cid :13) / (cid:13)(cid:13)(cid :13)U> ˜W tw (cid:13)(cid:13)(cid :13) + 12(λk+1+L) (cid:13)(cid:13)(cid :13)(cid:13)h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13)U> ˜W tw (cid:13)(cid:13)(cid :13) / (cid:13)(cid:13)(cid :13)U> ˜W tw 0.70
(cid:13)(cid:13)(cid :13)U> ˜W tw (cid:13)(cid:13)(cid :13)u>tw 0.76
cos θk(U, ˜W t) . cos θk(U, yW t) である。 0.77
(cid:13)(cid:13)(cid :13) ≤ max (cid:13)(cid:13)(cid :13)≤ max 0.82
kwk=1 λk − 12(λk+L) kwk=1 λk − 12(λk+L) 0.67
√ (cid:13)(cid:13)(cid :13) = √ (cid:13)(cid:13)(cid :13) = 0.81
√ m √ m √ m √ M √ M √ M 0.80
m m (cid:13)(cid:13)(cid :13) M M (cid:13)(cid:13)(cid :13) 0.75
λk+1 λk+1 λk λk+1 λk+1 λk 0.58
λk+1 λk m m λk+1 λk M M 0.69
λk λk+1 m 1 λk λk+1 M 1 0.71
1 1 (cid:13)(cid:13)(cid :13)U> ˜W tw 1 1 (cid:13)(cid:13)(cid :13)u>tw 0.82
(cid:13)(cid:13)(cid :13) (cid:13)(cid:13)(cid :13) 0.74
. 25 . 25 0.85
英語(論文から抽出)日本語訳スコア
err 翻訳エラー 0.00
英語(論文から抽出)日本語訳スコア
Wt and Wt−1 are positive. Wt と Wt−1 は正である。 0.56
Thus, we can choose such U that shares the same direction with Wt and Wt−1. したがって、wt と wt−1 と同じ方向を共有するような u を選べる。 0.70
In this case, ˜W t and ˜W t−1 can also share the same direction with U. この場合、 tW t と tW t−1 は同じ方向を U と共有することができる。 0.79
Combining with the definition of ˜W in Eqn. Eqn の「W」の定義と組み合わさる。 0.74
(4.4), we have (cid:13)(cid:13)(cid :13) ˜W t − U (4.4) (cid:13)(cid:13)(cid :13)-u 0.67
(cid:13)(cid:13)(cid :13)2 = (cid:13)(cid:13)(cid :13)2 = 0.78
=2k(1 − cos θk( ˜W t, U)) = 2k 2k(1 − cos θk( sW t, U)) = 2k 0.95
(cid:13)(cid:13)(cid :13) ˜W t(cid:13)(cid:13)(ci d:13)2 + kUk2 − 2D ˜W t, U q q 1 + ‘2( ¯St) − 1 1 + ‘2( ¯St) ≤k · ‘2( ¯St), (cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)2 + kUk2 − 2D shW t, U q q 1 + '2( shSt) − 1 1 + ‘2( shSt) ≤k · ‘2( shSt) 0.82
=2k · = 2k · 2k · = 2k · 0.86
E ≤ 2k − 2k · σmin(U> ˜W t) 1 −  q E ≤ 2k − 2k · σmin(U> 《W t>) 《1 − 《q》 0.74
1 + ‘2( ¯St) ‘2( ¯St) 1 + '2( 「St」) '2( 「St)」 0.76
1q q 1 + ‘2( ¯St)( 1q q 1 + ‘2( >St)( 0.82
1 + ‘2( ¯St) + 1) 1 + ‘2( ¯St) + 1) 0.93
where the first inequality is because of U>(:, i) ˜W t(:, i) > 0 and the inequality 第一の不等式は U>(:, i) > W t(:, i) > 0 と不等式のためである。
訳抜け防止モード: ここで最初の不等式は U > ( :,) のためである。 i ) W t ( :, i ) > 0 不平等は
0.71
D ˜W t, U E = D-W t, U E = 0.90
kX i=1 U>(:, i) ˜W t(:, i) ≥ k · σmin(U> ˜W t). kX i=1 U>(:, i) >W t(:, i) ≥ k · σmin(U> >W t)。 0.70
Therefore, we can obtain that したがって、我々はそれを得ることができる。 0.52
(cid:13)(cid:13)(cid :13)Wt − Wt−1(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13)(cid:13)h ¯St−1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St−1 − ¯St−1 ⊗ 1 (cid:18)(cid:13)(cid :13)(cid:13)(cid:13) h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:19) (cid:13)(cid:13)(cid :13) + (cid:13)(cid:13)(cid :13)(cid:13)h ¯St−1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St−1 − ¯St−1 ⊗ 1 (cid:18)(cid:13)(cid :13)(cid:13)(cid:13) h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) + ‘( ¯St) + ‘( ¯St−1)(cid:17) mk ·(cid:16) (cid:13)(cid:13)(cid :13)(cid:13)h ¯St−1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St−1 − ¯St−1 ⊗ 1 (cid:18)(cid:13)(cid :13)(cid:13)(cid:13) h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:19) (cid:13)(cid:13)(cid :13) + (cid:13)(cid:13)(cid :13)Wt − Wt−1(cid:13)(cid:13)(ci d:13) (cid:13)(cid:13)(cid :13)(cid:13)h ¯St−1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St−1 − ¯St−1 ⊗ 1 (cid:18)(cid:13)(cid :13)(cid:13)(cid:13) h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:19) (cid:13)(cid:13)(cid :13) + (cid:13)(cid:13)(cid :13)(cid:13)h ¯St−1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St−1 − ¯St−1 ⊗ 1 (cid:18)(cid:13)(cid :13)(cid:13)(cid:13) h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13) + ‘( ¯St) + ‘( ¯St−1)(cid:17) mk ·(cid:16) (cid:13)(cid:13)(cid :13)(cid:13)h ¯St−1i†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St−1 − ¯St−1 ⊗ 1 (cid:18)(cid:13)(cid :13)(cid:13)(cid:13) h ¯Sti†(cid:13)(cid:13)(cid :13)(cid:13)(cid:13) (cid:13)(cid:13)St − ¯St ⊗ 1 (cid:13)(cid:13)(cid :13)(cid:19) (cid:13)(cid:13)(cid :13) + 0.70
+ 12 √ + ≤12 + 12 √ + ≤12 0.83
=24 (cid:13)(cid:13)(cid :13)(cid:19) =24 (cid:13)(cid:13)(cid :13)(cid:19) 0.76
mk ·(cid:16) mk ·(cid:16) 0.88
‘( ¯St) + ‘( ¯St−1)(cid:17) 訳語 '( sSt) + '( sSt−1)(cid:17) 0.75
. √ + 27 . √ + 27 0.85
                                                       ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。