論文の概要: Representational drift in a code model: behaviour settles, which neurons carry it does not
- arxiv url: http://arxiv.org/abs/2611.09204v1
- Date: Fri, 06 Nov 2026 09:24:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 22:29:06.878235
- Title: Representational drift in a code model: behaviour settles, which neurons carry it does not
- Title(参考訳): コードモデルにおける表現的ドリフト:行動が落ち着き、どのニューロンがそれを持たないか
- Abstract要約: 神経科学において、表現的ドリフト(英: representational drift)とは、行動が同じ状態にある間、ニューロンが表現を運ぶ変化である。
プレトレーニング中のOpenCoder-1.5Bでは,2兆トークン以上を一定の学習速度で構成するPythonの169に対して,その類似度を測定した。
169のうち16は、文法が次のトークンを固定するものであり、それらの位置における損失は、最初の4%のトレーニングで床に達する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In neuroscience, representational drift is a change in which neurons carry a representation while behaviour stays the same; we measure its analogue in OpenCoder-1.5B during pretraining, for 169 Python constructs over two trillion tokens at a constant learning rate, with a noise unit on every change, at checkpoints as close as 1,000 training steps. For 16 of the 169, those whose grammar fixes a next token, the loss at those positions reaches its floor within the first 4% of training, while the model's reliance on the neurons carrying them grows to the end: removing them costs 0.06, 0.25 and 0.40 nats more than removing a random set, at 4 billion, 84 billion and 2 trillion tokens. Which neurons carry a construct never settles: for all 169 the carrier set is still changing at the last checkpoint, and an abrupt settling at any date from 84 billion to 1.5 trillion tokens, or a gradual one before 500 billion, would have been detected in 99% of injected cases. The set measured at 84 billion tokens, removed at the end, cannot be separated from a random set, so the function is carried by whichever neurons are current. Up close the change is a persisting pool and a changing sample: a neuron that leaves a construct's set returns at three times the rate of a matched neuron, and no set reassembles. The hypothesis we fixed in advance, that the carriers settle, is refuted; we discuss candidate causes and name the experiment that would separate them.
- Abstract(参考訳): 神経科学において、表現的ドリフト(英: representational drift)とは、行動が同じである間、ニューロンが表現を持ち、その類似度をOpenCoder-1.5Bで測定する変化である。
169の内16は、文法が次のトークンを固定するが、それらの位置の損失はトレーニングの最初の4%で床に到達し、一方、それらを運ぶニューロンへの依存度は、最終的に大きくなる:それらを取り除くコストは、ランダムなセットを除去するよりも、0.06、0.25、0.40ナット、40億、84億、および2兆のトークンを除去する。
最後のチェックポイントではキャリアセットが変わらず,84億から1.5兆のトークン,あるいは500億以前の段階的なトークンが,注入されたケースの99%で検出された。
最終的に取り除かれた84億個のトークンで測定された集合はランダムな集合から切り離せないので、その関数はどのニューロンが電流であるかによって運ばれる。
コンストラクトのセットを残したニューロンは、マッチしたニューロンの3倍の速度で戻り、セットの再組み立ては行われない。
前もって修正した仮説は、キャリアが落ち着いたという仮説であり、候補原因について議論し、それらを分離する実験を命名する。
関連論文リスト
- Calibrated concept profiles: making the reading of a model's neurons a measurement [0.0]
解釈可能性は、モデルのニューロンを直接読むことから、第1にトレーニングされた第2モデルを読むことへと大きく移行してきた。
ここでは、直接の読み取りを計測する。
ニューロンの活性化はプロンプトによって異なるため、その読みは刺激の集団の分布である。
論文 参考訳(メタデータ) (2026-11-06T09:17:39Z) - Mind the Gaps: From Failure Attribution to Closed-Form Repair of Code Language Models [22.84428628659889]
既存の修復方法は、ニューロンに障害を起こし、最上位のニューロンを選択し、汎用的な更新を適用する。
ASTRAは、標的トークンと生成されたトークンの間のロジットコントラストへの寄与によってニューロンをスコアする属性であるコントラストセマンティクスによって神経細胞を標的とする。
ASTRAは平均66.7%のPass@1に達し、AlphaEdit、STAR、低ランク適応では48.4%、サンプルを2.7秒で修復する。
論文 参考訳(メタデータ) (2026-10-04T14:55:02Z) - Neural Data Needs Semantic Tokenization: Behavioral Events as Boundaries of Session-Transferable Tokens [3.1641441457189496]
本稿では,各試行ごとにタスクを1回繰り返して分割し,各状態を集団幾何学のトークンに変換する状態によるトークン化(TWS)を提案する。
TWSは、ターゲットに関する情報を持たない政権境界からでも動きをデコードする一方、これらのセッションで事前訓練されたニューロン単位のファンデーションモデルは、偶然にデコードされる。
論文 参考訳(メタデータ) (2026-10-02T08:32:36Z) - Where a Model Sends Its Own Repeated Token [0.0]
ブラックボックスモデルの識別は、自然言語のプロンプトに対するモデルの応答を評価することで機能する。
退化した入力を受け取り、モデルがそうでないときにどこに行くのかを尋ねます。
結果は語彙全体の地図であり、2つのハーフがある。
論文 参考訳(メタデータ) (2026-09-25T12:13:31Z) - Weakening Neurons: An Input-Output Functionality in Transformers with Outsize Influence [61.04955764026749]
大規模言語モデルにおけるGLUベースニューロンの入力出力挙動を解析する。
弱いニューロンは驚くべき行動を示す。
論文 参考訳(メタデータ) (2026-09-16T13:03:12Z) - ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。
ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
論文 参考訳(メタデータ) (2026-04-26T20:39:19Z) - Darkness Visible: Reading the Exception Handler of a Language Model [0.0]
GPT-2は、構文構造ではなくトークンレベルの予測可能性で動作する例外ハンドラと、直ちに動詞のサブカテゴリ化を使用する。
このアーキテクチャは終端層のみを結晶化します -- より深いモデルでは、最終層において、第11層ではなく、等価な構造を予測します。
論文 参考訳(メタデータ) (2026-04-06T15:24:05Z) - Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。
この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
論文 参考訳(メタデータ) (2026-01-30T05:41:19Z) - Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。
エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。
ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文 参考訳(メタデータ) (2024-06-24T01:31:03Z) - Astrocytes mediate analogous memory in a multi-layer neuron-astrocytic
network [52.77024349608834]
情報の一部が数秒間堅牢な活動パターンとして維持され、他の刺激が来なければ完全に消滅することを示す。
この種の短期記憶は、操作情報を数秒保存し、次のパターンとの重複を避けるために完全に忘れてしまう。
任意のパターンをロードし、一定の間隔で保存し、適切な手掛かりパターンを入力に適用した場合に検索する方法について示す。
論文 参考訳(メタデータ) (2021-08-31T16:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。