論文の概要: GLUScope: A Tool for Analyzing GLU Neurons in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2602.23826v1
• Date: Fri, 27 Feb 2026 09:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.345074
• Title: GLUScope: A Tool for Analyzing GLU Neurons in Transformer Language Models
• Title（参考訳）: GLUScope:トランスフォーマー言語モデルにおけるGLUニューロンの解析ツール
• Authors: Sebastian Gerstner, Hinrich Schütze,
• Abstract要約: 本稿では,トランスフォーマーを用いた言語モデルにおいて,ニューロンを解析するためのオープンソースのツールであるGLUScopeを紹介する。 SwiGLUのようなゲートアクティベーション関数について検討する。 ゲートとニューロンの活性化は正または負であり、4つの異なるシグナルの組み合わせをもたらす。
• 参考スコア（独自算出の注目度）: 47.282163409965584
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present GLUScope, an open-source tool for analyzing neurons in Transformer-based language models, intended for interpretability researchers. We focus on more recent models than previous tools do; specifically we consider gated activation functions such as SwiGLU. This introduces a new challenge: understanding positive activations is not enough. Instead, both the gate and the in activation of a neuron can be positive or negative, leading to four different possible sign combinations that in some cases have quite different functionalities. Accordingly, for any neuron, our tool shows text examples for each of the four sign combinations, and indicates how often each combination occurs. We describe examples of how our tool can lead to novel insights. A demo is available at https: //sjgerstner.github.io/gluscope.
• Abstract（参考訳）: 本稿では,トランスフォーマーを用いた言語モデルでニューロンを解析するためのオープンソースのツールであるGLUScopeについて述べる。 SwiGLUのようなゲートアクティベーション機能について検討する。 ポジティブなアクティベーションを理解するだけでは不十分です。 代わりに、ゲートとニューロンの活性化の両方が正または負となり、4つの異なるサインの組み合わせが、場合によっては全く異なる機能を持つ。 したがって、どのニューロンに対しても、このツールは4つの記号の組み合わせのそれぞれについてテキスト例を示し、それぞれの組み合わせがどれだけ頻度で起こるかを示す。 ツールが新たな洞察にどのように結びつくかの例を解説する。 デモはhttps: //sjgerstner.github.io/gluscope.comで公開されている。

関連論文リスト

• Probing Neural Topology of Large Language Models [12.298921317333452]
  本稿では,大規模言語モデルの機能的接続を明らかにするためのグラフ探索手法を提案する。 多様なLLMファミリーやスケールのモデルを探索することにより、次の予測性能の普遍的な予測可能性を見出す。 興味深いことに、トポロジーの探索は、最大130.4%のアクティベーションでの探索よりも優れている。
  論文  参考訳（メタデータ） (2025-06-01T14:57:03Z)
• Deciphering Functions of Neurons in Vision-Language Models [38.978287253624565]
  本研究の目的は、視覚言語モデル(VLM)の内部を探索し、個々のニューロンの機能を理解することである。 入力された視覚トークンやテキストトークンに関してニューロンの活性化を観察し、いくつかの興味深い知見を明らかにした。 我々は、GPT-4oのアシスタントを用いて、ニューロンの説明を自動化するフレームワークを構築した。 視覚ニューロンに対しては,視覚ニューロンに対する説明の信頼性を評価するためのアクティベーションシミュレータを提案する。
  論文  参考訳（メタデータ） (2025-02-10T10:00:06Z)
• Neuron Empirical Gradient: Discovering and Quantifying Neurons Global Linear Controllability [14.693407823048478]
  ニューロン実験勾配(NEG)は,活性化の変化が予測にどのように影響するかを捉える。 また, NEGは, スキルニューロン探索により, 多様なプロンプトにまたがる言語スキルを効果的に捉えていることを示す。 さらに分析は、効率性、堅牢性、柔軟性、相互依存といった、NEGベースのスキル表現の重要な特性を強調している。
  論文  参考訳（メタデータ） (2024-12-24T00:01:24Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
  本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。 我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
  論文  参考訳（メタデータ） (2023-05-31T14:44:33Z)
• NeuroX Library for Neuron Analysis of Deep NLP Models [21.663464746974455]
  本稿では,自然言語処理モデルのニューロン解析を行うオープンソースツールキットNeuroXを提案する。 NeuroXは、統一されたAPIの下で様々な解釈方法を実装し、データ処理と評価のためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-05-26T16:32:56Z)
• N2G: A Scalable Approach for Quantifying Interpretable Neuron Representations in Large Language Models [0.0]
  N2Gは、ニューロンとそのデータセットの例を取り、これらの例のニューロンの振る舞いを解釈可能なグラフに自動的に蒸留するツールである。 我々は、重要なトークンのみを提示するためにトランケーションとサリエンシ法を使用し、より多様なサンプルでデータセットの例を拡大し、ニューロンの振る舞いの程度をより正確に把握する。 これらのグラフは、研究者による手動による解釈を助けるために視覚化できるが、テキスト上でトークンアクティベーションを出力して、ニューロンの基底真理アクティベーションと比較して自動検証することも可能だ。
  論文  参考訳（メタデータ） (2023-04-22T19:06:13Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。