論文の概要: Gradient Boosting for Efficient Rank Discovery in Tensor Network Kernel Machines

• arxiv url: http://arxiv.org/abs/2611.08093v1
• Date: Thu, 05 Nov 2026 14:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.541824
• Title: Gradient Boosting for Efficient Rank Discovery in Tensor Network Kernel Machines
• Title（参考訳）: テンソルネットワークカーネルマシンにおける効率的なランク発見のためのグラディエントブースティング
• Abstract要約: ネットワークカーネルマシン(TNKM)は、非線形特徴と低ランクテンソル表現を組み合わせ、複雑な関係を効率的にモデル化する。 GB-CPKMを提案する。GB-CPKMは,固定ランク学習者を逐次追加することで,高容量な予測器を構築するフレームワークである。 実世界のレグレッションベンチマークの実験では、GB-CPKMは従来のランク選択法よりも最大6倍速く、ピークメモリは最大2倍少ない。
• 参考スコア（独自算出の注目度）: 6.101839518775971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor network kernel machines (TNKMs) combine nonlinear features with low-rank tensor representations to model complex relationships efficiently. However, selecting an appropriate tensor rank remains challenging, as conventional rank-search methods require training multiple candidate models, increasing computational costs. In this work, we focus on a canonical polyadic (CP) tensor network parameterization and propose GB-CPKM, a gradient boosting framework that builds a higher-capacity predictor by sequentially adding fixed-rank learners. This approach provides a new perspective on rank selection by incrementally increasing model capacity, with ensemble size selected based on validation performance rather than through explicit rank search. Experiments on real-world regression benchmarks show that GB-CPKM trains up to 6x faster and uses up to 2x less peak memory than a conventional rank-selection method based on cross-validation, while achieving comparable predictive performance. These results highlight the potential of gradient boosting to improve the computational efficiency and scalability of tensor-network learning.
• Abstract（参考訳）: テンソルネットワークカーネルマシン(TNKM)は、非線形特徴と低ランクテンソル表現を組み合わせ、複雑な関係を効率的にモデル化する。 しかし、従来のランク検索手法では複数の候補モデルを訓練し、計算コストを増大させる必要があるため、適切なテンソルランクを選択することは依然として困難である。 本研究では、標準ポリアディック(CP)テンソルネットワークパラメータ化に着目し、固定ランク学習器を逐次追加して高容量予測器を構築する勾配向上フレームワークGB-CPKMを提案する。 提案手法は,モデルキャパシティを漸進的に増加させ,明示的なランク探索ではなく,検証性能に基づいてアンサンブルサイズを選択することによって,ランク選択に対する新たな視点を提供する。 実世界のレグレッションベンチマークの実験では、GB-CPKMは最大6倍高速にトレーニングし、クロスバリデーションに基づく従来のランク選択法よりも最大2倍少ないピークメモリを使用する。 これらの結果は、テンソルネットワーク学習の計算効率とスケーラビリティを向上させるため、勾配向上の可能性を強調している。

関連論文リスト

• When Bayesian Tensor Completion Meets Multioutput Gaussian Processes: Functional Universality and Rank Learning [53.17227599983122]
  関数テンソル分解は実数値インデックスを用いて多次元データを解析することができる。 そこで本研究では,Right-Revealing Functional Low-rank tensor completion (RR-F)法を提案する。 連続多次元信号に対するモデルの普遍近似特性を確立する。
  論文  参考訳（メタデータ） (2025-12-25T03:15:52Z)
• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Gradient-free variational learning with conditional mixture networks [39.827869318925494]
  条件付き混合ネットワーク(CMN)の高速・勾配なし変分法であるCAVI-CMNを導入する。 CAVI-CMNは、バックプロパゲーションを伴う最大推定値(MLE)と比較して、競争力があり、しばしば優れた予測精度を達成する。 入力サイズや専門家の数が増加するにつれて、計算時間はMLEと競合的にスケールする。
  論文  参考訳（メタデータ） (2024-08-29T10:43:55Z)
• An Adaptive Tensor-Train Decomposition Approach for Efficient Deep Neural Network Compression [4.869958813908807]
  本稿では,効率的なモデル圧縮のための新しい,自動,予算を考慮したランク選択手法を提案する。 レイヤワイズインプリンティング量子化(LWIQ)は、プロキシ分類器を統合することで、ニューラルネットワーク内の各レイヤの意義を定量化する。 CIFAR-10データセットの実験結果から,LWIQのランク検索効率は63.2%向上した。
  論文  参考訳（メタデータ） (2024-08-02T18:47:11Z)
• Geometry-aware training of factorized layers in tensor Tucker format [6.701651480567394]
  重みテンソルのタッカー分解の要因を学習するための新しい手法を提案する。 トレーニングの提案は, 元の非リファクタリング力学を局所的に近似する上で最適であることが証明された。 本稿では,アルゴリズムの理論解析を行い,収束,近似,局所降下保証を示す。
  論文  参考訳（メタデータ） (2023-05-30T14:20:51Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Towards Flexible Sparsity-Aware Modeling: Automatic Tensor Rank Learning Using The Generalized Hyperbolic Prior [24.848237413017937]
  正準多進分解(CPD)のためのランク学習は、長い間必須だが難しい問題とみなされてきた。 テンソルランクの最適決定は、非決定論的時間ハード(NP-hard)タスクであることが知られている。 本稿では,確率論的モデリングモデルに先立って,より高度な一般化双曲型(GH)を導入する。
  論文  参考訳（メタデータ） (2020-09-05T06:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。