論文の概要: Large Language Model Evaluation via Matrix Nuclear-Norm

• arxiv url: http://arxiv.org/abs/2410.10672v1
• Date: Mon, 14 Oct 2024 16:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 20:15:14.979956
• Title: Large Language Model Evaluation via Matrix Nuclear-Norm
• Title（参考訳）: マトリックス核ノートによる大規模言語モデル評価
• Authors: Yahan Li, Tingyu Xia, Yi Chang, Yuan Wu,
• Abstract要約: 本稿では,大規模言語モデル(LLM)のデータ圧縮精度を定量化するための指標として,マトリックス核ノルムを紹介する。 さらに、(L_1,2text-norm )を用いて核ノルムを近似することにより、モデルの情報圧縮能力を効果的に評価できる。 マトリックス核ノームは、CEREBRAS-GPTモデルにおいて、サイズが111Mから6.7Bに増加するにつれて、マトリックスエントロピーの8倍から24倍の速度を達成する。
• 参考スコア（独自算出の注目度）: 11.878496378814045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) continue to evolve, efficient evaluation metrics are vital for assessing their ability to compress information and reduce redundancy. While traditional metrics like Matrix Entropy offer valuable insights, they are computationally intensive for large-scale models due to their \( O(n^3) \) time complexity with Singular Value Decomposition (SVD). To mitigate this issue, we introduce the Matrix Nuclear-Norm, which not only serves as a metric to quantify the data compression proficiency of LLM but also provides a convex approximation of matrix rank to capture both predictive discriminability and diversity. By employing the \( L_{1,2}\text{-norm} \) to further approximate the nuclear norm, we can effectively assess the model's information compression capabilities. This approach reduces the time complexity to \( O(n^2) \) and eliminates the need for SVD computation. Consequently, the Matrix Nuclear-Norm achieves speeds 8 to 24 times faster than Matrix Entropy for the CEREBRAS-GPT model as sizes increase from 111M to 6.7B. This performance gap becomes more pronounced with larger models, as validated in tests with other models like Pythia. Additionally, evaluations on benchmarks and model responses confirm that our proposed Matrix Nuclear-Norm is a reliable, scalable, and efficient tool for assessing LLMs' performance, striking a balance between accuracy and computational efficiency. The code is available at https://github.com/MLGroupJLU/MatrixNuclearNorm.
• Abstract（参考訳）: 大規模言語モデル(LLM)が進化を続けるにつれて、情報の圧縮と冗長性の低下を評価する上で、効率的な評価指標が不可欠である。 マトリックスエントロピー(Matrix Entropy)のような伝統的なメトリクスは貴重な洞察を提供するが、それらは、Singular Value Decomposition (SVD) による \(O(n^3) \) 時間の複雑さのために、大規模モデルに対して計算的に集中的である。 この問題を軽減するため,LLMのデータ圧縮精度を定量化するための指標として機能するだけでなく,予測的識別性と多様性の両方を捉えるために,行列ランクの凸近似を提供するマトリックス核ノルムを導入する。 L_{1,2}\text{-norm} \) を用いて、核ノルムをさらに近似することで、モデルの情報圧縮能力を効果的に評価できる。 このアプローチは、時間の複雑さを \(O(n^2) \) に減らし、SVD計算の必要性をなくす。 その結果、CEREBRAS-GPTモデルでは、サイズが111Mから6.7Bに増加するにつれて、マトリックス核ノルムはマトリックスエントロピーの8倍から24倍の速度を達成する。 このパフォーマンスギャップは、Pythiaのような他のモデルによるテストで検証されるように、より大きなモデルでより顕著になる。 さらに、ベンチマークとモデル応答の評価により、提案したMatrix Nuclear-Normは、LCMの性能を評価するための信頼性が高く、スケーラブルで、効率的なツールであり、精度と計算効率のバランスを保っていることを確認した。 コードはhttps://github.com/MLGroupJLU/MatrixNuclearNorm.comで入手できる。

関連論文リスト

• Combining Entropy and Matrix Nuclear Norm for Enhanced Evaluation of Language Models [0.0]
  大規模言語モデル(LLM)は進歩を続けており、正確で効率的な評価指標の必要性がより強くなっている。 伝統的なアプローチは、情報的ではあるが、しばしば計算要求と解釈可能性の制限に直面している。 本稿では,2つの確立された手法を統合した新しいハイブリッド評価手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T14:03:52Z)
• Tailed Low-Rank Matrix Factorization for Similarity Matrix Completion [14.542166904874147]
  similarity Completion Matrixは多くの機械学習タスクの中核にある基本的なツールとして機能する。 この問題に対処するために、類似行列理論(SMC)法が提案されているが、それらは複雑である。 提案手法は,PSD特性を解析して推定プロセスを導出し,低ランク解を保証するために非低ランク正規化器を組み込む2つの新しい,スケーラブルで効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T04:27:23Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• Proximal Symmetric Non-negative Latent Factor Analysis: A Novel Approach to Highly-Accurate Representation of Undirected Weighted Networks [2.1797442801107056]
  Undirected Weighted Network (UWN) は、ビッグデータ関連のアプリケーションで一般的に見られる。 既存のモデルは本質対称性や低データ密度のモデル化に失敗する。 近軸対称非負の潜在因子分析モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-06T13:03:24Z)
• Direct Estimation of Parameters in ODE Models Using WENDy: Weak-form Estimation of Nonlinear Dynamics [0.0]
  ODE の非線形システムに対するモデルパラメータを推定する Weak-form Estimation of Dynamics (WENDy) 手法を提案する。 WENDyは正確な推定値を計算し、大きな(生物学的に関係のある)測定ノイズに対して堅牢である。 個体群生物学,神経科学,生化学の共通モデルにおいて,WENDyを用いてパラメータを推定することにより,高いロバスト性と計算効率を示す。
  論文  参考訳（メタデータ） (2023-02-26T08:49:34Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Language model compression with weighted low-rank factorization [73.61874728240568]
  本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。 結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。 提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-06-30T21:57:07Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Revisiting minimum description length complexity in overparameterized models [38.21167656112762]
  本稿では,線形モデルとカーネル手法に対するMDL-COMPの広範な理論的特性について述べる。 カーネル法では,MDL-COMPがサンプル内誤差を最小化し,入力の次元が増加するにつれて減少することを示す。 また、MDL-COMPがサンプル内平均二乗誤差(MSE)を束縛していることも証明する。
  論文  参考訳（メタデータ） (2020-06-17T22:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。