論文の概要: Calibrated concept profiles: making the reading of a model's neurons a measurement
- arxiv url: http://arxiv.org/abs/2611.09196v1
- Date: Fri, 06 Nov 2026 09:17:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 22:29:06.87655
- Title: Calibrated concept profiles: making the reading of a model's neurons a measurement
- Title(参考訳): 校正された概念プロファイル:モデルのニューロンの読み取りを計測する
- Abstract要約: 解釈可能性は、モデルのニューロンを直接読むことから、第1にトレーニングされた第2モデルを読むことへと大きく移行してきた。
ここでは、直接の読み取りを計測する。
ニューロンの活性化はプロンプトによって異なるため、その読みは刺激の集団の分布である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpretability has largely moved from reading a model's neurons directly to reading a second model trained on the first: a probe, a sparse autoencoder, a crosscoder. The move answered real faults -- mixed meanings, thresholds without a unit, readings that did not transfer from one study to the next -- but gave up what a direct reading alone provides: nothing trained in between, the neurons themselves named, and a reading that can be repeated and compared. Here the direct reading is made a measurement. A neuron's activation varies with the prompt, so its reading is a distribution over a population of stimuli. We declare that population: every factor around a target construct is drawn at its rate in a reference corpus and logged. From the declared distribution we generate a battery of prompts, and draw it twice. From the battery we compute the calibrated concept profile, one number per neuron, stated in units of the neuron's own spread on ordinary input; the two draws give every number a noise unit. Before the profile is read, a fixed set of checks licenses the battery on the model, and the smallest change the profile can resolve across training checkpoints is measured. Realised for Python on OpenCoder-1.5B and followed across checkpoints spanning two trillion training tokens, the profile gives what the alternatives do not report: a unit on every number, a chance level for every comparison, and which neurons carry a construct at every checkpoint. The battery, the code and the data behind every result are released.
- Abstract(参考訳): 解釈可能性は、モデルのニューロンを直接読むことから、第1のモデルでトレーニングされた第2のモデル(プローブ、スパースオートエンコーダ、クロスコーダ)を読むようになった。
この動きは、本当の欠点(意味の混合、単位のないしきい値、ある研究から別の研究に移行しなかった読み上げなど)に答えたが、直接の読み上げだけを諦めた。
ここでは、直接の読み取りを計測する。
ニューロンの活性化はプロンプトによって異なるため、その読みは刺激の集団の分布である。
対象のコンストラクトの周りのすべての要因は、参照コーパス内でその速度で描画され、ログ化されます。
宣言されたディストリビューションから、プロンプトのバッテリーを生成し、それを2回描画します。
電池から、通常の入力でニューロンが拡散する単位に記述された1つのニューロンの1つの番号という、キャリブレーションされた概念プロファイルを計算する。
プロファイルを読み込む前に、固定されたチェックセットがモデル上のバッテリをライセンスし、トレーニングチェックポイント間でプロファイルが解決できる最小限の変更を計測する。
OpenCoder-1.5B上でPython用に実現され、2兆のトレーニングトークンにまたがるチェックポイントにまたがって、プロファイルでは、すべての数値上のユニット、比較のためのチャンスレベル、チェックポイント毎にどのニューロンが構造を持つかを報告している。
バッテリー、コード、そしてすべての結果の背後にあるデータも解放される。
関連論文リスト
- The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation [55.62875959637507]
本研究では,FIDを2軸パネル上のランダムな変数として扱う。
クラス条件の ImageNet 256x256 でトレーニングした数百の SiT ネットワーク上で,その分散を直接測定する。
論文 参考訳(メタデータ) (2026-06-18T17:49:32Z) - Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。
この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
論文 参考訳(メタデータ) (2026-01-30T05:41:19Z) - Maximizing Information in Neuron Populations for Neuromorphic Spike Encoding [3.3864018929063477]
ニューロモルフィックの応用は、時間変化のアナログ刺激の代わりにスパイクを入力として使用することで、脳が行う処理をエミュレートする。
この損失を軽減するために、ある研究は1つのニューロンではなく、ニューロンの集団を用いてより多くの情報を符号化する集団符号化戦略を使用している。
本研究は,ニューロンの個体群における信号とスパイクの相互情報の最大化に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2024-12-11T23:14:12Z) - Advantages of Neural Population Coding for Deep Learning [5.384630221560811]
ニューラルネットワークの出力層に集団コードを使用する利点を示す。
まず,集団符号が入力雑音に対する頑健性を向上する合成データを用いて理論的および実験を行った。
第2に、対称オブジェクトのポーズのようなあいまいな出力を符号化するために集団符号を使用する利点を示す。
論文 参考訳(メタデータ) (2024-11-01T06:40:47Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。
ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
論文 参考訳(メタデータ) (2020-10-10T01:59:39Z) - RE-MIMO: Recurrent and Permutation Equivariant Neural MIMO Detection [85.44877328116881]
無線通信システムにおけるシンボル検出のための新しいニューラルネットワークを提案する。
無線通信システムにおけるいくつかの重要な考察に動機付けられている。
その性能を既存手法と比較し,ネットワークが可変数の送信機を効率的に処理できることを示す。
論文 参考訳(メタデータ) (2020-06-30T22:43:01Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳(メタデータ) (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。