論文の概要: ReLATE: Learning Efficient Sparse Encoding for High-Performance Tensor Decomposition
- arxiv url: http://arxiv.org/abs/2509.00280v1
- Date: Fri, 29 Aug 2025 23:45:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.159119
- Title: ReLATE: Learning Efficient Sparse Encoding for High-Performance Tensor Decomposition
- Title(参考訳): ReLATE: 高性能テンソル分解のための効率的なスパース符号化
- Authors: Ahmed E. Helal, Fabio Checconi, Jan Laukemann, Yongseok Soh, Jesmin Jahan Tithi, Fabrizio Petrini, Jee Choi,
- Abstract要約: ReLATEは強化学習型適応テンソル符号化フレームワークである。
トレーニングサンプルをラベル付けすることなく、効率的なスパーステンソル表現を構築する。
幾何平均速度は1.4-1.46Xで、様々なスパーステンソルデータセットで専門家が設計したフォーマットを一貫して上回っている。
- 参考スコア(独自算出の注目度): 1.1681618004689642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor decomposition (TD) is essential for analyzing high-dimensional sparse data, yet its irregular computations and memory-access patterns pose major performance challenges on modern parallel processors. Prior works rely on expert-designed sparse tensor formats that fail to adapt to irregular tensor shapes and/or highly variable data distributions. We present the reinforcement-learned adaptive tensor encoding (ReLATE) framework, a novel learning-augmented method that automatically constructs efficient sparse tensor representations without labeled training samples. ReLATE employs an autonomous agent that discovers optimized tensor encodings through direct interaction with the TD environment, leveraging a hybrid model-free and model-based algorithm to learn from both real and imagined actions. Moreover, ReLATE introduces rule-driven action masking and dynamics-informed action filtering mechanisms that ensure functionally correct tensor encoding with bounded execution time, even during early learning stages. By automatically adapting to both irregular tensor shapes and data distributions, ReLATE generates sparse tensor representations that consistently outperform expert-designed formats across diverse sparse tensor data sets, achieving up to 2X speedup compared to the best sparse format, with a geometric-mean speedup of 1.4-1.46X.
- Abstract(参考訳): テンソル分解(TD)は高次元スパースデータを解析するのに不可欠であるが、その不規則な計算とメモリアクセスパターンは、現代の並列プロセッサにおいて大きなパフォーマンス上の課題をもたらす。
以前の研究は専門家が設計したスパーステンソル形式に依存しており、不規則なテンソル形状や高度に可変なデータ分布に適応できない。
本稿では,ラベル付きトレーニングサンプルを使わずに,効率的なスパーステンソル表現を自動構築する新しい学習拡張手法である強化学習適応テンソル符号化(ReLATE)フレームワークを提案する。
ReLATEは、TD環境と直接対話することで最適化されたテンソルエンコーディングを発見する自律エージェントを採用し、モデルフリーとモデルベースのハイブリッドアルゴリズムを利用して、現実と想像の両方のアクションから学習する。
さらに、ReLATEはルール駆動型アクションマスキングと動的インフォームドアクションフィルタリング機構を導入し、早期の学習段階においても、制限付き実行時間で機能的にテンソルエンコーディングを補正する。
不規則なテンソル形状とデータ分布の両方に自動的に適応することにより、ReLATEは、様々なスパーステンソルデータセットで専門家が設計したフォーマットを一貫して上回るスパーステンソル表現を生成し、最高のスパースフォーマットに比べて最大2倍のスピードアップを実現し、幾何学平均スピードアップは1.4-1.46Xである。
関連論文リスト
- rETF-semiSL: Semi-Supervised Learning for Neural Collapse in Temporal Data [44.17657834678967]
本稿では,ニューラル・コラプス現象を満たす潜在表現を強制する,新しい半教師付き事前学習戦略を提案する。
LSTM, トランスフォーマー, 状態空間モデルに適用した場合, 従来のプリテキストタスクよりも有意に優れることを示す。
論文 参考訳(メタデータ) (2025-08-13T19:16:47Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳(メタデータ) (2025-05-21T07:16:44Z) - Orientation-Aware Sparse Tensor PCA for Efficient Unsupervised Feature Selection [7.887782360541216]
非教師付き特徴選択(UFS)に分解(TD)技術を導入する。
この問題を解決するために、スパース特異値分解の向きに依存したテンソルテンソル積を用いる。
提案したテンソルPCAモデルは,所定のモードで間隔を制限し,スパーステンソル主成分を得る。
論文 参考訳(メタデータ) (2024-07-24T04:04:56Z) - Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。
提案手法は, 監視対象の性能を超過する。
論文 参考訳(メタデータ) (2024-03-25T17:40:32Z) - Learning Decorrelated Representations Efficiently Using Fast Fourier
Transform [3.932322649674071]
高速フーリエ変換によりO(n d log d)時間で計算できる緩和された非相関正規化器を提案する。
提案した正則化器は、ダウンストリームタスクにおける既存の正則化器に匹敵する精度を示す。
論文 参考訳(メタデータ) (2023-01-04T12:38:08Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。
我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。
製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z) - Anomaly Detection with Tensor Networks [2.3895981099137535]
テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。
画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
論文 参考訳(メタデータ) (2020-06-03T20:41:30Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。