論文の概要: TRAWL: Tensor Reduced and Approximated Weights for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.17261v2
• Date: Sun, 03 Nov 2024 22:38:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:41:15.984402
• Title: TRAWL: Tensor Reduced and Approximated Weights for Large Language Models
• Title（参考訳）: TRAWL:大規模言語モデルのためのテンソル削減および近似ウェイト
• Authors: Yiran Luo, Het Patel, Yu Fu, Dawon Ahn, Jia Chen, Yue Dong, Evangelos E. Papalexakis,
• Abstract要約: TRAWL (Tensor Reduced and Approximated Weights for Large Language Models) は、複数の重み行列に対してテンソル分解を適用し、大域的な構造パターンを捉えることでLLMを効果的に分解する手法である。 我々の実験によると、TRAWLは、追加のデータやトレーニング、微調整を必要とせず、ベンチマークデータセットのベースラインモデルよりも最大16%モデル性能を向上させる。
• 参考スコア（独自算出の注目度）: 11.064868044313855
• License:
• Abstract: Recent research has shown that pruning large-scale language models for inference is an effective approach to improving model efficiency, significantly reducing model weights with minimal impact on performance. Interestingly, pruning can sometimes even enhance accuracy by removing noise that accumulates during training, particularly through matrix decompositions. However, recent work has primarily focused on single matrix decompositions or lower precision techniques, which may fail to fully capture structural patterns. To address these limitations, we introduce TRAWL (Tensor Reduced and Approximated Weights for Large Language Models), a technique that applies tensor decomposition across multiple weight matrices to effectively denoise LLMs by capturing global structural patterns. Our experiments show that TRAWL improves model performance by up to 16% over baseline models on benchmark datasets, without requiring additional data, training, or fine-tuning.
• Abstract（参考訳）: 近年の研究では、推論のための大規模言語モデルのプルーニングは、モデル効率を改善する効果的なアプローチであり、性能への影響を最小限に抑えながら、モデルの重みを著しく減らすことが示されている。 興味深いことに、プルーニングはトレーニング中に蓄積するノイズを取り除き、特に行列分解によって精度を高めることもある。 しかし、最近の研究は主に単一行列分解や低い精度の手法に焦点を合わせており、構造パターンを完全に捉えることに失敗する可能性がある。 これらの制約に対処するために, TRAWL (Tensor Reduced and Approximated Weights for Large Language Models) を導入する。 我々の実験によると、TRAWLは、追加のデータやトレーニング、微調整を必要とせずに、ベンチマークデータセットのベースラインモデルよりも最大16%モデル性能を向上させる。

関連論文リスト

• Pruning Large Language Models with Semi-Structural Adaptive Sparse Training [17.381160429641316]
  適応スパーストレーナー(AST)と呼ばれるリトレーニングによる半構造化スパースモデルのプルーニングパイプラインを提案する。 ASTは、モデルがトレーニングプロセスを通して適応的にマスクを選択することを可能にし、マスキング重みに減衰を施すことにより、密度の高いモデルをスパースモデルに変換する。 本研究は,半構造化されたスパース言語モデルの実現可能性を示し,高度に圧縮されたモデルを実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T06:33:44Z)
• Single Parent Family: A Spectrum of Family Members from a Single Pre-Trained Foundation Model [20.054342930450055]
  本稿では,大規模言語モデルの圧縮に適したプログレッシブ・ローランク分解法(PLRD)を提案する。 PLRDは計算オーバーヘッドとエネルギー消費を大幅に削減する。 この結果から,PLRD は LLM の効率的なスケーリングのための新しい標準となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-28T15:27:57Z)
• The LLM Surgeon [33.90611088414982]
  我々は、スクラッチから小さなモデルをトレーニングする代替手段として、既存の事前訓練モデルのデータ駆動圧縮について検討する。 我々は、非構造的、半構造的、構造的プルーニングのための一般的なフレームワークを提供し、重み間の相関性を高めるために、重み更新を改善する。 提案手法では,OPTモデルとLlamav2-7Bの行と列を20%～30%削減できる。
  論文  参考訳（メタデータ） (2023-12-28T18:59:09Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• Efficiently Robustify Pre-trained Models [18.392732966487582]
  大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。 まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。 続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
  論文  参考訳（メタデータ） (2023-09-14T08:07:49Z)
• Efficient GPT Model Pre-training using Tensor Train Matrix Representation [65.96485282393361]
  大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。 GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。 GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:38:25Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Language model compression with weighted low-rank factorization [73.61874728240568]
  本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。 結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。 提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-06-30T21:57:07Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• Complementary Ensemble Learning [1.90365714903665]
  我々は最先端のディープラーニングモデルの性能向上手法を考案した。 具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
  論文  参考訳（メタデータ） (2021-11-09T03:23:05Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。