論文の概要: Confidence Regulation Neurons in Language Models

• arxiv url: http://arxiv.org/abs/2406.16254v2
• Date: Fri, 08 Nov 2024 12:54:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:04.878703
• Title: Confidence Regulation Neurons in Language Models
• Title（参考訳）: 言語モデルにおける信頼制御ニューロン
• Authors: Alessandro Stolfo, Ben Wu, Wes Gurnee, Yonatan Belinkov, Xingyi Song, Mrinmaya Sachan, Neel Nanda,
• Abstract要約: 本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
• 参考スコア（独自算出の注目度）: 91.90337752432075
• License:
• Abstract: Despite their widespread use, the mechanisms by which large language models (LLMs) represent and regulate uncertainty in next-token predictions remain largely unexplored. This study investigates two critical components believed to influence this uncertainty: the recently discovered entropy neurons and a new set of components that we term token frequency neurons. Entropy neurons are characterized by an unusually high weight norm and influence the final layer normalization (LayerNorm) scale to effectively scale down the logits. Our work shows that entropy neurons operate by writing onto an unembedding null space, allowing them to impact the residual stream norm with minimal direct effect on the logits themselves. We observe the presence of entropy neurons across a range of models, up to 7 billion parameters. On the other hand, token frequency neurons, which we discover and describe here for the first time, boost or suppress each token's logit proportionally to its log frequency, thereby shifting the output distribution towards or away from the unigram distribution. Finally, we present a detailed case study where entropy neurons actively manage confidence in the setting of induction, i.e. detecting and continuing repeated subsequences.
• Abstract（参考訳）: 広く使われているにもかかわらず、大規模言語モデル(LLM)が次世代の予測の不確実性を表現し、規制するメカニズムはほとんど未解明のままである。 本研究では、最近発見されたエントロピーニューロンと、トークン周波数ニューロンと呼ばれる新しい成分群という、この不確実性に影響を与えると考えられる2つの重要な成分について検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 我々の研究は、エントロピーニューロンが未埋め込みのヌル空間に書き込むことによって動作し、ロジット自体に最小限の直接効果で残留ストリームノルムに影響を与えることを示している。 エントロピーニューロンの存在を最大70億のパラメーターで観測する。 一方、ここで初めて発見し記述したトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することにより、出力分布をユニグラム分布から遠方へシフトさせる。 最後に、エントロピーニューロンが誘導設定における信頼を積極的に管理する詳細な事例、すなわち、反復配列を検出して継続するケーススタディを示す。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)
• Universal Neurons in GPT2 Language Models [4.9892471449871305]
  異なる初期ランダムシードから学習したGPT2モデルにおける個々のニューロンの普遍性について検討した。 ニューロンの1-5%が普遍的、すなわち、同じ入力で一貫して活性化されるニューロンのペアであることがわかった。
  論文  参考訳（メタデータ） (2024-01-22T18:11:01Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• A Bio-Inspired Chaos Sensor Model Based on the Perceptron Neural Network: Machine Learning Concept and Application for Computational Neuro-Science [0.0]
  本研究では,神経力学系におけるスパイクトレインのエントロピー推定のための知覚神経ネットワークに基づくバイオインスパイアされたカオスセンサモデルを提案する。 このモデルはスパイク信号のカオス的挙動を動的に追跡し、この情報を神経力学モデルの他の部分に送信してさらなる処理を行うことができる。
  論文  参考訳（メタデータ） (2023-06-03T03:36:47Z)
• STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer [19.329190789275565]
  我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。 本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-09T18:54:23Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
  本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。 アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
  論文  参考訳（メタデータ） (2020-05-08T16:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。