論文の概要: MOYU: A Theoretical Study on Massive Over-activation Yielded Uplifts in LLMs

• arxiv url: http://arxiv.org/abs/2406.12569v2
• Date: Fri, 28 Jun 2024 07:23:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 19:11:01.307424
• Title: MOYU: A Theoretical Study on Massive Over-activation Yielded Uplifts in LLMs
• Title（参考訳）: MOYU:LLMにおける大量過剰活性化上昇に関する理論的研究
• Authors: Chi Ma, Mincong Huang, Chao Wang, Yujie Wang, Lei Yu,
• Abstract要約: MYU(Massive Over-activation Yielded Uplifts)は、大規模言語モデル固有の特性である。 Massive Over-activation Yielded Uplifts (MOYU) は、これらのモデルにおける推論を加速するために設計された、巧妙だが未探索の戦略である。
• 参考スコア（独自算出の注目度）: 20.404448253054014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Massive Over-activation Yielded Uplifts(MOYU) is an inherent property of large language models, and dynamic activation(DA) based on the MOYU property is a clever yet under-explored strategy designed to accelerate inference in these models. Existing methods that utilize MOYU often face a significant 'Impossible Trinity': struggling to simultaneously maintain model performance, enhance inference speed, and extend applicability across various architectures. Due to the theoretical ambiguities surrounding MOYU, this paper elucidates the root cause of the MOYU property and outlines the mechanisms behind two primary limitations encountered by current DA methods: 1) history-related activation uncertainty, and 2) semantic-irrelevant activation inertia. Our analysis not only underscores the limitations of current dynamic activation strategies within large-scale LLaMA models but also proposes opportunities for refining the design of future sparsity schemes.
• Abstract（参考訳）: 大規模過剰アクティベーション利上げ(MOYU)は大規模言語モデル固有の特性であり、MOYU特性に基づく動的アクティベーション(DA)は、これらのモデルにおける推論を加速するために設計された、巧妙だが未探索の戦略である。 MOYUを利用する既存の手法は、モデル性能の同時維持に苦労し、推論速度を向上し、様々なアーキテクチャにまたがる適用性を拡張するなど、重要な「不可能三位一体」に直面していることが多い。 本論文はMOYU特性の根本原因を解明し、現在のDA法で発生する2つの主要な限界の背後にあるメカニズムを概説する。 1)履歴関連アクティベーションの不確実性、及び 2)意味不明な活性化慣性。 我々の分析は、大規模LLaMAモデルにおける現在の動的アクティベーション戦略の限界を浮き彫りにするだけでなく、将来の疎性スキームの設計を洗練する機会も提案する。

関連論文リスト

• LLaMA-MoE v2: Exploring Sparsity of LLaMA from Perspective of Mixture-of-Experts with Post-Training [18.49753274534983]
  Mixture-of-Experts(MoE)モデルは、アクティベートパラメータの数を一定に保ちながら、モデルサイズをスケールする上で人気が高まっている。 変換器ブロック内のMoEモジュール(すなわちMoE)とMoEモジュールの両方に対してMoEを構築することにより,高密度LLaMAモデルの疎さを徹底的に検討する。 スパシティの増大による性能劣化に対処するために,2段階のポストトレーニング戦略を設計する。
  論文  参考訳（メタデータ） (2024-11-24T04:26:04Z)
• Can MLLMs Guide Weakly-Supervised Temporal Action Localization Tasks? [6.7065734065794835]
  MLLM4WTALと呼ばれる新しい学習パラダイムを導入する。 MLLMのポテンシャルを利用して、時間的アクションキーセマンティクスと完全なセマンティクスの事前を提供する。 キーセマンティックマッチング(KSM)と完全セマンティック再構成(CSR)の2つの異なるモジュールを統合することでこれを実現できる。
  論文  参考訳（メタデータ） (2024-11-13T09:37:24Z)
• First Activations Matter: Training-Free Methods for Dynamic Activation in Large Language Models [25.15698344467722]
  本稿では,シークエンス情報を利用したトレーニングフリーなThresholdベースの動的アクティベーション手法を提案する。 本研究は,歴史関連アクティベーションの不確かさと意味不明アクティベーション慣性という2つの重要な特徴を理論的に分析する。
  論文  参考訳（メタデータ） (2024-08-21T07:38:51Z)
• Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
  決定マンバ(Decision Mamba)は、自己進化的な政策学習戦略を持つ、新しい多粒状態空間モデルである。 雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。 この政策は、自身の過去の知識を用いて、準最適動作を洗練させ、ノイズの多い実演における堅牢性を高めることで進化する。
  論文  参考訳（メタデータ） (2024-06-08T10:12:00Z)
• Dynamic Activation Pitfalls in LLaMA Models: An Empirical Study [20.404448253054014]
  言語モデルのLLaMAファミリーにおける動的アクティベーション機構の有効性について検討した。 我々の経験的発見は、現在の動的アクティベーションスキームに固有のいくつかの落とし穴を発見した。
  論文  参考訳（メタデータ） (2024-05-15T11:42:42Z)
• ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models [74.59731375779934]
  活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。 本稿では,PLMを高活性化空間にプッシュするために,"ProSparse" という,シンプルで効果的なスペース化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T03:58:49Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Causal Dynamics Learning for Task-Independent State Abstraction [61.707048209272884]
  タスク独立状態抽象化(CDL)のための因果ダイナミクス学習を導入する。 CDLは、状態変数とアクションの間の不要な依存関係を取り除く理論的に証明された因果ダイナミクスモデルを学ぶ。 状態抽象化は、学習されたダイナミクスから導き出すことができる。
  論文  参考訳（メタデータ） (2022-06-27T17:02:53Z)
• Model-Invariant State Abstractions for Model-Based Reinforcement Learning [54.616645151708994]
  textitmodel-invarianceという新しいタイプの状態抽象化を紹介します。 これにより、状態変数の見当たらない値の新しい組み合わせへの一般化が可能になる。 このモデル不変状態抽象化を通じて最適なポリシーを学習できることを実証する。
  論文  参考訳（メタデータ） (2021-02-19T10:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。