論文の概要: Exploring Activation Patterns of Parameters in Language Models
- arxiv url: http://arxiv.org/abs/2405.17799v1
- Date: Tue, 28 May 2024 03:49:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 22:22:24.983443
- Title: Exploring Activation Patterns of Parameters in Language Models
- Title（参考訳）: 言語モデルにおけるパラメータの活性化パターンの探索
- Authors: Yudong Wang, Damai Dai, Zhifang Sui,
- Abstract要約: モデルパラメータのアクティベーションレベルを評価するための勾配に基づく計量法を提案する。
浅い層のパラメータは密に活性化されるため、パラメータの大部分は出力に大きな影響を与える。
深層層では、活性化パラメータの分布の類似性は経験的データ関連性と正に相関する。
- 参考スコア（独自算出の注目度）: 27.454051736471374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most work treats large language models as black boxes without in-depth understanding of their internal working mechanism. In order to explain the internal representations of LLMs, we propose a gradient-based metric to assess the activation level of model parameters. Based on this metric, we obtain three preliminary findings. (1) When the inputs are in the same domain, parameters in the shallow layers will be activated densely, which means a larger portion of parameters will have great impacts on the outputs. In contrast, parameters in the deep layers are activated sparsely. (2) When the inputs are across different domains, parameters in shallow layers exhibit higher similarity in the activation behavior than deep layers. (3) In deep layers, the similarity of the distributions of activated parameters is positively correlated to the empirical data relevance. Further, we develop three validation experiments to solidify these findings. (1) Firstly, starting from the first finding, we attempt to configure different prune ratios for different layers, and find this method can benefit model pruning. (2) Secondly, we find that a pruned model based on one calibration set can better handle tasks related to the calibration task than those not related, which validate the second finding. (3) Thirdly, Based on the STS-B and SICK benchmark, we find that two sentences with consistent semantics tend to share similar parameter activation patterns in deep layers, which aligns with our third finding. Our work sheds light on the behavior of parameter activation in LLMs, and we hope these findings will have the potential to inspire more practical applications.
- Abstract（参考訳）: ほとんどの研究は、大きな言語モデルを内部の動作メカニズムを深く理解せずにブラックボックスとして扱う。
LLMの内部表現を説明するために,モデルパラメータのアクティベーションレベルを評価するための勾配に基づく計量法を提案する。
この測定値に基づいて3つの予備的な結果を得た。
1)入力が同じドメインにある場合、浅い層のパラメータは密に活性化されるため、パラメータの大部分が出力に大きな影響を与える。
対照的に、深層層のパラメータはわずかに活性化される。
2) 入力が異なる領域にまたがる場合, 浅い層内のパラメータは, 深い層よりも活性化挙動において高い類似性を示す。
3) 深層層では, 活性化パラメータの分布の類似性は経験的データ関連性と正の相関関係を示した。
さらに,これらの知見を固形化するための3つの検証実験を開発した。
1) 第一の発見から, 異なる層に対して異なるプルーンの比率を設定しようと試み, この手法は, モデルプルーニングに有用であることがわかった。
2) 1つのキャリブレーション・セットに基づくプルーンド・モデルでは,2番目のキャリブレーション・タスクよりも,キャリブレーション・タスクに関連するタスクを処理できることがわかった。
第三に、STS-B と SICK のベンチマークから、一貫性のあるセマンティクスを持つ2つの文は、深い層で同様のパラメータ活性化パターンを共有する傾向にあり、これは第3の発見と一致する。
我々の研究は、LSMにおけるパラメータ活性化の挙動に光を当てており、これらの発見がより実用的な応用を刺激する可能性があることを願っている。
関連論文リスト
- On Layer-wise Representation Similarity: Application for Multi-Exit Models with a Single Classifier [20.17288970927518]
本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。
本稿では,内部表現の類似性を高めるための協調学習手法を提案する。
論文 参考訳（メタデータ） (2024-06-20T16:41:09Z) - Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。
我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。
A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
論文 参考訳（メタデータ） (2024-06-15T09:31:03Z) - Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。
感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。
本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
論文 参考訳（メタデータ） (2023-10-17T17:58:34Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
姿勢検出タスクにLadder-of-Thought(LoT)を導入する。
LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。
実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
論文 参考訳（メタデータ） (2023-08-31T14:31:48Z) - Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。
提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
論文 参考訳（メタデータ） (2022-12-28T03:45:56Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳（メタデータ） (2022-12-01T17:31:42Z) - BERMo: What can BERT learn from ELMo? [6.417011237981518]
言語モデル(ELMo)の埋め込みにおいて提案する線形結合スキームを用いて,異なるネットワーク深さのスケールした内部表現を組み合わせる。
提案手法の利点は,(1)下流タスクの勾配流の改善,(2)代表力の向上である。
論文 参考訳（メタデータ） (2021-10-18T17:35:41Z) - Layer Reduction: Accelerating Conformer-Based Self-Supervised Model via
Layer Consistency [31.572652956170252]
トランスフォーマーをベースとした自己教師型モデルは特徴抽出器として訓練され、多くの下流音声タスクで最先端のパフォーマンスを実現している。
従来のBERT法と同等の性能を維持しつつ、7.8Xパラメータの削減、41.9%のトレーニングスピードアップ、37.7%の推論スピードアップを実験的に達成した。
論文 参考訳（メタデータ） (2021-04-08T08:21:59Z) - Associating Multi-Scale Receptive Fields for Fine-grained Recognition [5.079292308180334]
マルチスケールの受容場を2つの操作で関連付けるために,新しい多層非局所(CNL)モジュールを提案する。
CNLはクエリ層とすべてのレスポンス層の間の相関を計算する。
モデルでは,多層層間の空間的依存関係を構築し,より識別的な特徴を学習する。
論文 参考訳（メタデータ） (2020-05-19T01:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。