論文の概要: RACE: Scalable Statistical Estimation of Functional Consistency in LLM Neurons

• arxiv url: http://arxiv.org/abs/2608.24758v2
• Date: Tue, 01 Sep 2026 06:11:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 14:14:25.839486
• Title: RACE: Scalable Statistical Estimation of Functional Consistency in LLM Neurons
• Title（参考訳）: RACE:LLMニューロンにおける機能的一貫性のスケーラブルな統計的推定
• Authors: Runyu Wang, Bo Liu, Xiaxin Zhang, Yu Han, Jiawei Cao, Xiaoye Zhang, Zhe Zhang, Yifan Yang, Peng Ping,
• Abstract要約: 本稿では,トランスフォーマーニューロンの領域全体の機能的整合性を評価する統計フレームワークであるRASを提案する。 勾配に基づく点推定と比較すると、RASは摂動下でよりドメイン固有の効果をもたらすニューロンランキングを生成する。
• 参考スコア（独自算出の注目度）: 12.617889891761145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discovering stable neuron behavior across entire domains remains a challenge in mechanistic interpretability. Existing methods often rely on instance-level point estimates or computationally expensive procedures, which either obscure population-level variability or limit scalable domain-wide analysis. We present RACE (Residual Alignment for Consistency Estimation), a forward-pass statistical framework that evaluates the domain-wide functional consistency of Transformer neurons. Compared with gradient-based point estimates, RACE produces neuron rankings that yield more domain-specific effects under perturbation. Token-distribution shifts support the connection between the selected neurons and the target domain, while scoring requires roughly one-hundredth of the computational overhead of the gradient-based methods. Code is available at https://github.com/Nexround/RACE.
• Abstract（参考訳）: ドメイン全体の安定なニューロンの挙動を明らかにすることは、機械的解釈可能性において依然として課題である。 既存の手法は、しばしばインスタンスレベルの点推定や計算コストのかかる手順に依存しており、これは人口レベルの多様性を曖昧にするか、拡張性のあるドメインワイド分析を制限するかのいずれかである。 本稿では、トランスフォーマーニューロンの領域全体の機能一貫性を評価するフォワードパス統計フレームワークであるRAS(Residual Alignment for Consistency Estimation)を提案する。 勾配に基づく点推定と比較すると、RASは摂動下でよりドメイン固有の効果をもたらすニューロンランキングを生成する。 トークン分布シフトは、選択されたニューロンと対象領域の接続をサポートし、スコアリングには勾配に基づく手法の計算オーバーヘッドのおよそ1倍の時間を要する。 コードはhttps://github.com/Nexround/RACEで入手できる。

関連論文リスト

• Globally Convergent Variational Inference [3.126959812401426]
  本研究では, 特定の VI 手法のグローバル収束性を確立する。 この方法は神経後部推定(NPE)の例と考えられる。 アブレーション研究と実際的な問題では,NPEの非漸近的有限ニューロン設定における挙動が説明できる。
  論文  参考訳（メタデータ） (2025-01-14T15:36:32Z)
• Nonparametric estimation of Hawkes processes with RKHSs [1.775610745277615]
  本稿では、再生カーネル空間(RKHS)に相互作用関数が存在すると仮定した非線形ホークス過程の非パラメトリック推定について述べる。 神経科学の応用によって動機づけられたこのモデルは、エキサイティングで抑制的な効果を表現するために、複雑な相互作用機能を実現する。 本稿では2つの共通近似(ReLU関数と積分作用素)に依存する推定法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:26:50Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Neural Estimation of Statistical Divergences [24.78742908726579]
  ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法 特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:42:44Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。