論文の概要: Asymptotic Optimism for Tensor Regression Models with Applications to Neural Network Compression
- arxiv url: http://arxiv.org/abs/2603.26048v1
- Date: Fri, 27 Mar 2026 03:37:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-30 21:49:48.345468
- Title: Asymptotic Optimism for Tensor Regression Models with Applications to Neural Network Compression
- Title（参考訳）: テンソル回帰モデルに対する漸近的最適化とニューラルネットワーク圧縮への応用
- Authors: Haoming Shi, Eric C. Chi, Hengrui Luo,
- Abstract要約: CP と Tucker の双方の分解に対して,トレーニングテストの相違(最適化)が期待できる集団表現を導出する。
これにより、クロスバリデーションと整合する予測指向のランク選択ルールが得られる。
実世界の画像回帰タスクに実用性を示し、ニューラルネットワークのテンソルベース圧縮に応用を拡張した。
- 参考スコア（独自算出の注目度）: 1.993243436749392
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We study rank selection for low-rank tensor regression under random covariates design. Under a Gaussian random-design model and some mild conditions, we derive population expressions for the expected training-testing discrepancy (optimism) for both CP and Tucker decomposition. We further demonstrate that the optimism is minimized at the true tensor rank for both CP and Tucker regression. This yields a prediction-oriented rank-selection rule that aligns with cross-validation and extends naturally to tensor-model averaging. We also discuss conditions under which under- or over-ranked models may appear preferable, thereby clarifying the scope of the method. Finally, we showcase its practical utility on a real-world image regression task and extend its application to tensor-based compression of neural network, highlighting its potential for model selection in deep learning.
- Abstract（参考訳）: ランダムな共変量設計の下で低ランクテンソル回帰のランク選択について検討する。
ガウス的ランダム設計モデルと若干の穏やかな条件の下で、CPとタッカー分解の双方に対するトレーニングテストの相違(最適性)に対する集団表現を導出する。
さらに、CP と Tucker の回帰に対して、楽観性が真のテンソルランクで最小化されることを実証する。
これにより、予測指向のランク選択規則が成立し、クロスバリデーションと整合し、テンソルモデル平均化に自然に拡張される。
また、アンダーランクモデルやオーバーランクモデルが好まれる可能性のある条件についても論じ、その方法のスコープを明確にする。
最後に、実世界の画像回帰タスクに実用性を示し、その応用をニューラルネットワークのテンソルベース圧縮に拡張し、ディープラーニングにおけるモデル選択の可能性を強調した。
関連論文リスト
- Score-Based Model for Low-Rank Tensor Recovery [49.158601255093416]
低ランクテンソル分解(TD)は、マルチウェイデータ解析に有効なフレームワークを提供する。
従来のTD法は、CPやタッカー分解のような事前定義された構造的仮定に依存している。
本稿では,事前定義された構造的仮定や分布的仮定の必要性を排除したスコアベースモデルを提案する。
論文 参考訳（メタデータ） (2025-06-27T15:05:37Z) - Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。
本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。
滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
論文 参考訳（メタデータ） (2025-06-27T11:23:10Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳（メタデータ） (2025-05-21T07:16:44Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
リッジ回帰に関する最近の結果について統一的な視点を提示する。
我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。
我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Application Performance Modeling via Tensor Completion [6.399089940376445]
これらのテンソルの近似には,低ランクカノニカル・ポリジウムテンソル分解が有効であることを示す。
次に、観測実行時間の少ない集合からCP分解を最適化するためにテンソル補完を用いる。
論文 参考訳（メタデータ） (2022-10-18T22:12:29Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-08T12:41:56Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Towards Flexible Sparsity-Aware Modeling: Automatic Tensor Rank Learning
Using The Generalized Hyperbolic Prior [24.848237413017937]
正準多進分解(CPD)のためのランク学習は、長い間必須だが難しい問題とみなされてきた。
テンソルランクの最適決定は、非決定論的時間ハード(NP-hard)タスクであることが知られている。
本稿では,確率論的モデリングモデルに先立って,より高度な一般化双曲型(GH)を導入する。
論文 参考訳（メタデータ） (2020-09-05T06:07:21Z) - Learning of Discrete Graphical Models with Neural Networks [15.171938155576566]
グラフィカルモデル学習のためのニューラルネットベースのアルゴリズムNeurISEを紹介する。
NeurISEは、真のモデルのエネルギー関数が高次であるとき、GRISEのより良い代替品であると考えられている。
また、実モデルの全エネルギー関数に対するニューラルネット表現の学習に使用できるNeurISEの変種を示す。
論文 参考訳（メタデータ） (2020-06-21T23:34:01Z) - Tensor denoising and completion based on ordinal observations [11.193504036335503]
我々は,不完全と思われる順序値の観測から,低ランクテンソル推定の問題を考える。
本稿では,マルチ線形累積リンクモデルを提案し,ランク制約付きM推定器を開発し,理論的精度の保証を得る。
提案した推定器は低ランクモデルのクラスにおいて最小限最適であることを示す。
論文 参考訳（メタデータ） (2020-02-16T07:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。