論文の概要: Sine Activated Low-Rank Matrices for Parameter Efficient Learning

• arxiv url: http://arxiv.org/abs/2403.19243v1
• Date: Thu, 28 Mar 2024 08:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 16:53:18.909226
• Title: Sine Activated Low-Rank Matrices for Parameter Efficient Learning
• Title（参考訳）: パラメータ学習のためのSine Activated Low-Rank Matrices
• Authors: Yiping Ji, Hemanth Saratchandran, Cameron Gordon, Zeyu Zhang, Simon Lucey,
• Abstract要約: 低ランク分解過程に正弦波関数を統合する新しい理論枠組みを提案する。 我々の手法は、視覚変換器(ViT)、Large Language Models(LLM)、NeRF(Neural Radiance Fields)において、既存の低ランクモデルの強化を証明している。
• 参考スコア（独自算出の注目度）: 25.12262017296922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank decomposition has emerged as a vital tool for enhancing parameter efficiency in neural network architectures, gaining traction across diverse applications in machine learning. These techniques significantly lower the number of parameters, striking a balance between compactness and performance. However, a common challenge has been the compromise between parameter efficiency and the accuracy of the model, where reduced parameters often lead to diminished accuracy compared to their full-rank counterparts. In this work, we propose a novel theoretical framework that integrates a sinusoidal function within the low-rank decomposition process. This approach not only preserves the benefits of the parameter efficiency characteristic of low-rank methods but also increases the decomposition's rank, thereby enhancing model accuracy. Our method proves to be an adaptable enhancement for existing low-rank models, as evidenced by its successful application in Vision Transformers (ViT), Large Language Models (LLMs), Neural Radiance Fields (NeRF), and 3D shape modeling. This demonstrates the wide-ranging potential and efficiency of our proposed technique.
• Abstract（参考訳）: 低ランクの分解は、ニューラルネットワークアーキテクチャにおけるパラメータ効率を高める重要なツールとして登場し、機械学習の様々なアプリケーションで注目を集めている。 これらの手法はパラメータの数を著しく減らし、コンパクト性と性能のバランスを崩した。 しかし、パラメータ効率とモデルの精度の妥協は共通の課題であり、パラメータの削減はフルランクのモデルに比べて精度の低下につながることが多い。 本研究では,低ランク分解過程に正弦波関数を統合する理論的枠組みを提案する。 このアプローチは、低ランク手法のパラメータ効率特性の利点を保存するだけでなく、分解のランクを高め、モデル精度を高める。 提案手法は,視覚変換器(ViT),Large Language Models(LLM),NeRF(Neural Radiance Fields),および3次元形状モデリング(3D shape modeling)において,既存の低ランクモデルの適応性向上を証明している。 このことは,提案手法の幅広い可能性と効率性を示すものである。

関連論文リスト

• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• LORTSAR: Low-Rank Transformer for Skeleton-based Action Recognition [4.375744277719009]
  LORTSARは2つの主要なトランスフォーマーベースモデル、"Hyperformer"と"STEP-CATFormer"に適用される。 本手法は, 認識精度の劣化や性能向上などにより, モデルパラメータの数を大幅に削減することができる。 これは、SVDと圧縮後の微調整を組み合わせることでモデル効率が向上し、人間の行動認識におけるより持続的で軽量で高性能な技術への道が開けることを確認する。
  論文  参考訳（メタデータ） (2024-07-19T20:19:41Z)
• Compressible Dynamics in Deep Overparameterized Low-Rank Learning & Adaptation [12.07880147193174]
  モデルパラメータ内のデータと圧縮可能な力学の固有な低次元構造を利用することで、計算負担を伴わずにパラメータ化の利点を享受できることが示される。 提案手法は,低ランク行列と微調整言語モデルに対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-06T14:29:49Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Do deep neural networks utilize the weight space efficiently? [2.9914612342004503]
  TransformersやConvolutional Neural Networks(CNN)といったディープラーニングモデルは、さまざまなドメインに革命をもたらしたが、パラメータ集約的な自然ハマーをリソース制約された設定に配置する。 重み行列の列空間と行空間を利用する新しい概念を導入し、性能を損なうことなくモデルパラメータを大幅に削減する。 私たちのアプローチはBottleneck層とAttention層の両方に適用され、パラメータを効果的に半分にします。
  論文  参考訳（メタデータ） (2024-01-26T21:51:49Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• An Efficient Hierarchical Kriging Modeling Method for High-dimension Multi-fidelity Problems [0.0]
  マルチファイダリティ・クリグモデルはサロゲートベース設計において有望な手法である。 多要素クリグモデルの構築コストは問題次元の増大とともに大幅に増大する。 この問題に対処するために,効率的な階層的クラッキングモデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-12-31T15:17:07Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。