論文の概要: Stochastic Optimization of Tree Tensor Networks
- arxiv url: http://arxiv.org/abs/2609.00870v1
- Date: Tue, 01 Sep 2026 08:03:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.457261
- Title: Stochastic Optimization of Tree Tensor Networks
- Title(参考訳): 樹木テンソルネットワークの確率的最適化
- Authors: Marius Willner, Maximilian Scharf, André Uschmajew, Timo Felser, Marco Trenti,
- Abstract要約: 我々は, テンソルテンソルネットワーク(TTN)をパラメータと商の両方に基づいて導出する。
ハイブリッドCNN-TTNアーキテクチャを用いて,Fashion-NIST, CIFAR10, Imagenetteの手法を評価する。
- 参考スコア(独自算出の注目度): 0.08388591755871733
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Tensor networks, originally developed for quantum many-body physics, are promising models for machine learning. We derive stochastic Riemannian optimizers for tree tensor networks (TTNs) on both their parameter and quotient manifolds, including adaptive and learning-rate-free schemes suitable for minibatch training. Using a hybrid CNN-TTN architecture, we evaluate the methods on Fashion-MNIST, CIFAR10, and Imagenette. The proposed optimizers achieve predictive performance comparable to unconstrained optimization while enabling numerically stable downstream compression.
- Abstract(参考訳): もともと量子多体物理学のために開発されたテンソルネットワークは、機械学習のための有望なモデルである。
我々は,木テンソルネットワーク(TTN)に対する確率的リーマン最適化を,そのパラメータと商多様体の両方に基づいて導出する。
ハイブリッドCNN-TTNアーキテクチャを用いて,Fashion-MNIST, CIFAR10, Imagenetteの手法を評価する。
提案するオプティマイザは,数値的に安定な下流圧縮を実現しつつ,制約のない最適化に匹敵する予測性能を実現する。
関連論文リスト
- Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks [3.2254941904559917]
部分ベイズニューラルネットワーク(pBNN)は完全にベイズニューラルネットワークと競合することが示されている。
我々は、ガイド付き提案を活用し、勾配ベースのMarkovカーネルを組み込むことにより、新しいSMCベースのpBNNトレーニング手法を提案する。
提案手法は,予測性能と最適損失の点で最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2025-05-01T20:05:38Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳(メタデータ) (2024-05-22T17:23:15Z) - Edge-Efficient Deep Learning Models for Automatic Modulation Classification: A Performance Analysis [0.7428236410246183]
無線信号の自動変調分類(AMC)のための最適化畳み込みニューラルネットワーク(CNN)について検討した。
本稿では,これらの手法を組み合わせて最適化モデルを提案する。
実験結果から,提案手法と組み合わせ最適化手法は,複雑度が著しく低いモデルの開発に極めて有効であることが示唆された。
論文 参考訳(メタデータ) (2024-04-11T06:08:23Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳(メタデータ) (2023-08-23T10:48:28Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-02T16:59:37Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳(メタデータ) (2021-11-25T19:59:33Z) - Fusion-Catalyzed Pruning for Optimizing Deep Learning on Intelligent
Edge Devices [9.313154178072049]
本稿では,ニューラルネットワークの高速化を目的とした,FuPrunerと呼ばれる新しい核融合パラメトリックプルーニング手法を提案する。
モデルに等価に変換するアグレッシブ・フュージョン法を導入し、プルーニングの最適化空間を拡張した。
FuPrunerは、フュージョンとプルーニングを制御する最適化オプションを提供する。
論文 参考訳(メタデータ) (2020-10-30T10:10:08Z) - Delta-STN: Efficient Bilevel Optimization for Neural Networks using
Structured Response Jacobians [5.33024001730262]
自己チューニングネットワーク(STN)は,最近,内部目標の最適化を補正する能力によって,注目を集めている。
トレーニングを安定化する改良されたハイパーネットワークアーキテクチャであるDelta$-STNを提案する。
論文 参考訳(メタデータ) (2020-10-26T12:12:23Z) - NOVAS: Non-convex Optimization via Adaptive Stochastic Search for
End-to-End Learning and Control [22.120942106939122]
本稿では,一般のニューラルネットワーク最適化操作において,適応探索をビルディングブロックとして用いることを提案する。
我々は、合成エネルギーベースの構造化タスクにおける既存の2つの代替案に対してベンチマークを行い、最適制御アプリケーションでの使用例を示す。
論文 参考訳(メタデータ) (2020-06-22T03:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。