論文の概要: Alternating Local Enumeration (TnALE): Solving Tensor Network Structure
Search with Fewer Evaluations
- arxiv url: http://arxiv.org/abs/2304.12875v3
- Date: Mon, 29 May 2023 06:28:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 00:38:33.809026
- Title: Alternating Local Enumeration (TnALE): Solving Tensor Network Structure
Search with Fewer Evaluations
- Title（参考訳）: 交互局所列挙(TnALE):低評価によるテンソルネットワーク構造探索の解法
- Authors: Chao Li, Junhua Zeng, Chunmei Li, Cesar Caiafa, Qibin Zhao
- Abstract要約: 局所列挙法により各構造関連変数を交互に更新する新しいアルゴリズムであるTnALEを提案する。
我々は、TnALEが最先端のアルゴリズムよりもはるかに少ない評価で、事実上優れたTNランクと置換を見つけることができることを示した。
- 参考スコア（独自算出の注目度）: 24.437786843413697
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor network (TN) is a powerful framework in machine learning, but
selecting a good TN model, known as TN structure search (TN-SS), is a
challenging and computationally intensive task. The recent approach
TNLS~\cite{li2022permutation} showed promising results for this task, however,
its computational efficiency is still unaffordable, requiring too many
evaluations of the objective function. We propose TnALE, a new algorithm that
updates each structure-related variable alternately by local enumeration,
\emph{greatly} reducing the number of evaluations compared to TNLS. We
theoretically investigate the descent steps for TNLS and TnALE, proving that
both algorithms can achieve linear convergence up to a constant if a sufficient
reduction of the objective is \emph{reached} in each neighborhood. We also
compare the evaluation efficiency of TNLS and TnALE, revealing that
$\Omega(2^N)$ evaluations are typically required in TNLS for \emph{reaching}
the objective reduction in the neighborhood, while ideally $O(N^2R)$
evaluations are sufficient in TnALE, where $N$ denotes the tensor order and $R$
reflects the \emph{``low-rankness''} of the neighborhood. Experimental results
verify that TnALE can find practically good TN-ranks and permutations with
vastly fewer evaluations than the state-of-the-art algorithms.
- Abstract（参考訳）: テンソルネットワーク(TN)は機械学習の強力なフレームワークであるが、TN構造探索(TN-SS)として知られる優れたTNモデルを選択することは困難で計算集約的なタスクである。
TNLS~\cite{li2022permutation} の最近のアプローチは、このタスクに対して有望な結果を示したが、その計算効率はまだ不満足であり、目的関数の評価が多すぎる。
本稿では,TNLSと比較して,各構造関連変数を局所列挙によって交互に更新するアルゴリズムであるTnALEを提案する。
TNLS と TnALE の降下ステップを理論的に検討し、両アルゴリズムが各近傍で目的の十分な減算が \emph{reached} であれば、定数まで線形収束を達成できることを証明した。
また、TNLS と TnALE の評価効率も比較し、TNLS では \emph{reaching} に対して $\Omega(2^N)$ 評価が要求されるのに対し、理想的には $O(N^2R)$ 評価は TnALE では十分であり、$N$ はテンソル次数を表し、$R$ は近隣の 'emph{``low-rankness'' を反映する。
実験の結果、TnALEは最先端のアルゴリズムよりもはるかに少ない評価で、実用的に優れたTNランクと置換を見出すことができた。
関連論文リスト
- A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳（メタデータ） (2023-10-21T18:48:45Z) - SVDinsTN: A Tensor Network Paradigm for Efficient Structure Search from Regularized Modeling Perspective [41.62808372395741]
ネットワーク(TN)表現はコンピュータビジョンと機械学習の強力な技術である。
TN構造探索(TN-SS)は、コンパクトな表現を実現するためにカスタマイズされた構造を探すことを目的としている。
SVD-インスパイアされたTN分解(SVDinsTN)と呼ばれる新しいTNパラダイムを提案する。
論文 参考訳（メタデータ） (2023-05-24T09:02:01Z) - Learning k-Level Sparse Neural Networks Using a New Generalized Weighted
Group Sparse Envelope Regularization [4.557963624437785]
トレーニング中の非構造化ニューラルネットワークの効率的な手法を提案する。
We use a novel sparse envelope function (SEF) used as a regularizer, called itshape group envelope function (WGSEF)。
この手法により、ハードウェアフレンドリーな構造化された深部ニューラルネットワーク(DNN)がスパースの評価を効率的に高速化する。
論文 参考訳（メタデータ） (2022-12-25T15:40:05Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Permutation Search of Tensor Network Structures via Local Sampling [27.155329364896144]
本稿では,TN置換探索 (TN-PS) と呼ばれるTN-SSの実用的変種について考察する。
本稿では,TN-PSの問題を解決するために,実用的なアルゴリズムを提案する。
数値計算により,新しいアルゴリズムは,広範囲なベンチマークにおいて,TNの必要モデルサイズを削減できることが示されている。
論文 参考訳（メタデータ） (2022-06-14T05:12:49Z) - Learning Contextual Bandits Through Perturbed Rewards [107.6210145983805]
標準正規性条件下では、$tildeO(tildedsqrtT)$ regret上界が達成可能であることを示す。
明示的な探索の必要性を排除するために、ニューラルネットワークを更新する際の報酬を混乱させます。
論文 参考訳（メタデータ） (2022-01-24T19:10:22Z) - Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。
従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。
ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
論文 参考訳（メタデータ） (2021-05-27T09:27:42Z) - Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。
本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。
次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T13:07:44Z) - Adaptive Learning of Tensor Network Structures [6.407946291544721]
我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。
本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
論文 参考訳（メタデータ） (2020-08-12T16:41:56Z) - Ranking a set of objects: a graph based least-square approach [70.7866286425868]
同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。
品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。