論文の概要: Kaleidoscope: An Efficient, Learnable Representation For All Structured
Linear Maps
- arxiv url: http://arxiv.org/abs/2012.14966v2
- Date: Tue, 5 Jan 2021 07:29:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-18 20:45:00.913390
- Title: Kaleidoscope: An Efficient, Learnable Representation For All Structured
Linear Maps
- Title（参考訳）: Kaleidoscope: 構造化されたリニアマップの効率よく学習可能な表現
- Authors: Tri Dao, Nimit S. Sohoni, Albert Gu, Matthew Eichhorn, Amit Blonder,
Megan Leszczynski, Atri Rudra, Christopher R\'e
- Abstract要約: 我々は,準最適空間を持つ任意の構造行列を表現可能なk行列(kaleidoscope matrices)を導入する。
K-行列は手作りの手順を置き換えるためにエンドツーエンドのパイプライン内で自動的に学習することができる。
我々はTransformerネットワークでK-matricesを使用して、言語翻訳タスクにおいて、エンドツーエンドの推論速度を36%高速化する。
- 参考スコア（独自算出の注目度）: 20.151950843660973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern neural network architectures use structured linear transformations,
such as low-rank matrices, sparse matrices, permutations, and the Fourier
transform, to improve inference speed and reduce memory usage compared to
general linear maps. However, choosing which of the myriad structured
transformations to use (and its associated parameterization) is a laborious
task that requires trading off speed, space, and accuracy. We consider a
different approach: we introduce a family of matrices called kaleidoscope
matrices (K-matrices) that provably capture any structured matrix with
near-optimal space (parameter) and time (arithmetic operation) complexity. We
empirically validate that K-matrices can be automatically learned within
end-to-end pipelines to replace hand-crafted procedures, in order to improve
model quality. For example, replacing channel shuffles in ShuffleNet improves
classification accuracy on ImageNet by up to 5%. K-matrices can also simplify
hand-engineered pipelines -- we replace filter bank feature computation in
speech data preprocessing with a learnable kaleidoscope layer, resulting in
only 0.4% loss in accuracy on the TIMIT speech recognition task. In addition,
K-matrices can capture latent structure in models: for a challenging permuted
image classification task, a K-matrix based representation of permutations is
able to learn the right latent structure and improves accuracy of a downstream
convolutional model by over 9%. We provide a practically efficient
implementation of our approach, and use K-matrices in a Transformer network to
attain 36% faster end-to-end inference speed on a language translation task.
- Abstract（参考訳）: 現代のニューラルネットワークアーキテクチャでは、低ランク行列、スパース行列、置換、フーリエ変換などの構造化線形変換を使用して、推論速度を改善し、一般的な線形写像と比較してメモリ使用量を削減する。
しかしながら、無数の構造化変換(およびそのパラメータ化)の選択は、速度、空間、正確さのトレードオフを必要とする面倒な作業である。
我々は,準最適空間 (パラメータ) と時間 (アリトメティック操作) の複雑性を持つ任意の構造化行列を確実にキャプチャする,kaleidoscope matrices (k-matrices) と呼ばれる行列群を導入する。
モデル品質を改善するために手作りの手順を置き換えるために,K-行列がエンドツーエンドのパイプライン内で自動的に学習可能であることを実証的に検証する。
例えば、ShuffleNetのチャネルシャッフルを置き換えることで、ImageNetの分類精度が最大5%向上する。
音声データ前処理におけるフィルタバンクの特徴計算を学習可能なカレイダスコープ層に置き換えることで,TIMIT音声認識タスクの精度がわずか0.4%低下する。
さらに、k行列はモデルの潜在構造を捉えることができる: 困難な置換画像分類タスクのために、k行列に基づく置換の表現は正しい潜在構造を学習することができ、下流の畳み込みモデルの精度を9%以上向上させる。
本手法を効果的に実装し,トランスフォーマーネットワークにおけるk行列を用いて,言語翻訳タスクにおけるエンドツーエンド推論速度を36%高速化する。
関連論文リスト
- Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。
提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。
実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-11-24T13:00:44Z) - MemoryFormer: Minimize Transformer Computation by Removing Fully-Connected Layers [43.39466934693055]
本稿では,新しい視点から計算複雑性(FLOP)を大幅に低減する,新しいトランスフォーマーアーキテクチャであるMemoryFormerを提案する。
これは、完全連結層の線形射影を置き換えるために、特徴変換の代替手法を利用することで実現される。
提案手法の有効性を示すため,様々なベンチマーク実験を行った。
論文 参考訳（メタデータ） (2024-11-20T02:41:53Z) - Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。
異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。
本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
論文 参考訳（メタデータ） (2024-06-10T13:25:43Z) - Dynamic Shuffle: An Efficient Channel Mixture Method [8.720510396996142]
我々は、シャッフルのためのデータ依存の置換行列を生成するための動的シャッフルモジュールを考案した。
画像分類ベンチマークによる実験結果から,ShuffleNetsの性能は有意に向上した。
論文 参考訳（メタデータ） (2023-10-04T12:47:48Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - Generalized Learning Vector Quantization for Classification in
Randomized Neural Networks and Hyperdimensional Computing [4.4886210896619945]
本稿では,トレーニング中の計算コストの高い行列操作を回避する改良型RVFLネットワークを提案する。
提案手法は,UCI Machine Learning Repositoryから取得したデータセットの集合に対して,最先端の精度を達成した。
論文 参考訳（メタデータ） (2021-06-17T21:17:17Z) - Container: Context Aggregation Network [83.12004501984043]
最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。
マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。
より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
論文 参考訳（メタデータ） (2021-06-02T18:09:11Z) - Metalearning: Sparse Variable-Structure Automata [0.0]
本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。
アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
論文 参考訳（メタデータ） (2021-01-30T21:32:23Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳（メタデータ） (2020-02-18T17:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。