論文の概要: Systematic Outliers in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.06415v2
• Date: Wed, 26 Feb 2025 01:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:55:04.206704
• Title: Systematic Outliers in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける体系的外乱
• Authors: Yongqi An, Xu Zhao, Tao Yu, Ming Tang, Jinqiao Wang,
• Abstract要約: 外乱はLarge Language Models (LLM) で広く観測されている。 LLMの生成過程,根本原因,機能について詳細な解析を行った。
• 参考スコア（独自算出の注目度）: 41.2150163753952
• License:
• Abstract: Outliers have been widely observed in Large Language Models (LLMs), significantly impacting model performance and posing challenges for model compression. Understanding the functionality and formation mechanisms of these outliers is critically important. Existing works, however, largely focus on reducing the impact of outliers from an algorithmic perspective, lacking an in-depth investigation into their causes and roles. In this work, we provide a detailed analysis of the formation process, underlying causes, and functions of outliers in LLMs. We define and categorize three types of outliers-activation outliers, weight outliers, and attention outliers-and analyze their distributions across different dimensions, uncovering inherent connections between their occurrences and their ultimate influence on the attention mechanism. Based on these observations, we hypothesize and explore the mechanisms by which these outliers arise and function, demonstrating through theoretical derivations and experiments that they emerge due to the self-attention mechanism's softmax operation. These outliers act as implicit context-aware scaling factors within the attention mechanism. As these outliers stem from systematic influences, we term them systematic outliers. Our study not only enhances the understanding of Transformer-based LLMs but also shows that structurally eliminating outliers can accelerate convergence and improve model compression. The code is avilable at https://github.com/an-yongqi/systematic-outliers.
• Abstract（参考訳）: 大言語モデル(LLM)では、アウトリーチが広く見られ、モデル性能に大きな影響を与え、モデル圧縮の課題を提起している。 これらの外れ値の機能と形成機構を理解することは極めて重要である。 しかし、既存の研究は、アルゴリズムの観点からは、アウトリーチの影響を減らし、その原因や役割に関する詳細な調査を欠いていることに重点を置いている。 本研究では, LLMの生成過程, 原因, 機能について詳細に解析する。 我々は,3種類のアウトリア・アクティベーション・アウトラヤ,ウェイト・アウトラヤ,アテンション・アウトラヤを定義・分類し,それらの分布を異なる次元にわたって解析し,それらの発生とアテンション機構への究極の影響を明らかにする。 これらの観測に基づいて,これらの外れ値が出現し,機能する機構を仮説化し,考察し,自己注意機構のソフトマックス操作によって生じることを理論的導出と実験を通じて実証する。 これらのアウトリーチは、アテンションメカニズム内の暗黙のコンテキスト対応のスケーリング要因として機能する。 これらのアウトレイアは系統的な影響に由来するため、系統的なアウトレイアと呼ぶ。 本研究は,トランスフォーマーを用いたLCMの理解を深めるだけでなく,構造的に外乱除去が収束を加速し,モデル圧縮を改善することを示す。 コードはhttps://github.com/an-yongqi/systematic-outliersで無効にされている。

関連論文リスト

• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Learning Causal Mechanisms through Orthogonal Neural Networks [2.77390041716769]
  歪みデータポイントから独立したメカニズムの集合の逆転を,教師なしの方法で学習する問題について検討する。 本研究では,ラベルのないデータから独立したメカニズムの集合を発見・解離する教師なしの手法を提案し,それらを逆転する方法を学習する。
  論文  参考訳（メタデータ） (2023-06-05T13:11:33Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。