論文の概要: Through the Looking Glass: Directly Reading and Writing Transformers

• arxiv url: http://arxiv.org/abs/2609.10210v1
• Date: Wed, 09 Sep 2026 14:12:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.045859
• Title: Through the Looking Glass: Directly Reading and Writing Transformers
• Title（参考訳）: グーグルグラスで読み書きできるトランスフォーマー(動画あり)
• Abstract要約: 18のモデルでは、予測されたトークンから押し出される質量は、それを運ぶ質量の7倍の中央値である。 訓練された12のモデルのうち、124Mから7Bのパラメータで、十分なセットは2つのコンポーネントから16まで実行されます。 すべてがモデル自身のパラメータやアクティベーションから読み出され、トレーニングや調整は行われません。
• 参考スコア（独自算出の注目度）: 0.2663471820643486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How many of a transformer's components decide a token? Counted by the absolute value of each unit's and channel's contribution to the logit, one prediction rests on thousands to hundreds of thousands of them. But contributions are signed, and across eighteen models the mass pushing away from the predicted token is a median of seven times the mass carrying it. Divide by the net and the count is dozens: on the baseline, 53 components carry ninety percent of a prediction, 13 it cannot survive losing, and 8 suffice to produce it alone. Across twelve models trained elsewhere, 124M to 7B parameters, the sufficient set runs from two components to sixteen, and what a prediction draws on, followed all the way back, is one to three percent of the model, a share that does not grow with size. Three quarters of a layer's update is a fixed linear map of the state it received. Everything is read from the model's own parameters and activations, with nothing trained or fitted, and it names a component on both sides: what it writes, from the predictions it drives, reaching close to half of every model; what it reads, from its weights in the frame of its own layer, at 58.9 percent above chance over its eight strongest inputs. Sorting the remainder by upstream source yields grammatical categories the embedding cannot see. A name can be acted on. An association the model does not hold installs into one spare unit, key and value read from the weights, for a quarter of a percent of held-out loss, a fortieth of what a rank-one update costs. An installed attention head and a unit two layers above it make an edit fire only where a token occurred earlier in the context, and a unit the model trained for itself is driven from two layers upstream, 86 percent of the effect passing through it. An order-preserving activation puts a unit's inputs at the instrument's ceiling, at the price of a two-part install.
• Abstract（参考訳）: トランスフォーマーのコンポーネントのうち、トークンを決定するコンポーネントはいくつありますか? それぞれのユニットの絶対値とチャンネルのロジットへの貢献により、予測は数千から数十万にも及ぶ。 しかし、コントリビューションは署名され、18のモデルで予測されたトークンから押し出される質量は、それを運ぶ質量の7倍の中央値である。 ベースラインでは53のコンポーネントが予測の90%を担い、13のコンポーネントは損失に耐えられない。 他の場所で訓練された12のモデル、124Mから7Bのパラメータ、十分なセットは2つのコンポーネントから16まで、そして予測が引き起こすものは、そのモデルの1～3%で、サイズが大きくなることはない。 レイヤのアップデートの4分の3は、受信した状態の固定された線形マップである。 全てはモデル自身のパラメータやアクティベーションから読み出され、トレーニングや調整は行われず、各モデルの半分近くまで達する予測から記述したものと、各モデルの8つの最強入力よりも58.9%高い確率で読み出されている。 残余を上流のソースでソートすると、埋め込みが見えない文法的なカテゴリが得られる。 名前を付けることができる。 モデルが1つのスペアユニットにインストールしていない関連性、キーと値が重みから読み取られており、ホールドアウト損失の4分の1は、ランクワン更新のコストの40分の1である。 インストールされたアテンションヘッドと、その上の2つのレイヤは、コンテキスト内でトークンが早く発生した場合にのみ、編集火を放ち、モデル自身がトレーニングしたユニットは、上流の2つのレイヤから駆動され、その効果の86%がそれを通過する。 注文保存アクティベーションは、ユニットの入力を2部設置の価格で、機器の天井に配置する。

関連論文リスト

• Nested Byte-Level Vocabularies Are Cheap to Deploy and Expensive to Share: A Pre-Registered Negative Result [0.0]
  一つの言語モデルが複数の語彙サイズで動作可能であることを示す。 コントロールトークンはアクティブサイズを示し、その埋め込みと出力ヘッドをスライスすることで任意のトレーニングされたサイズにデプロイされる。 キャップトークンも出力制限もないコントロールも同じように堅牢であり、条件付けよりも多粒度トレーニングに寄与する。
  論文  参考訳（メタデータ） (2026-08-28T10:13:32Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Off-Axis, On Purpose: Where a Transformer Computes Concepts and Why it Does So [0.2663471820643486]
  変圧器の解答は1つの軸に存在し、その非埋め込み方向は読み取る。 12層のモデルが2つのフェーズで計算する。 アーリーエグジットのトレーニングのように、すべてのレイヤをリードアウトにプッシュすることは、パープレキシティ、LAMBADA、BLiMPのベースラインと一致します。
  論文  参考訳（メタデータ） (2026-08-10T21:35:48Z)
• When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models [45.91367912142692]
  異なるモデルがいまだに同じ狭い部分集合を選択している可能性を示し、単一の引用が誤りを犯さずに、引用モノカルチャーを生成する。 3つのベンダーの11のモデルが、30のランダムなパネルから少なくとも10の論文を選択しており、実際のタイトルと抽象物があるが、作者が作り直され、再割り当て年、隠れた会場と引用数がある。
  論文  参考訳（メタデータ） (2026-08-03T14:27:46Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
  ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。 一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
  論文  参考訳（メタデータ） (2026-07-31T05:34:02Z)
• Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
  2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。 実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。 実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
  論文  参考訳（メタデータ） (2026-07-21T16:31:35Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
  大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。 既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。 記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
  論文  参考訳（メタデータ） (2026-06-17T07:29:18Z)
• Moirai 2.0: When Less Is More for Time Series Forecasting [91.36760228926214]
  Moirai 2.0は、36Mシリーズの新しいコーパスで訓練されたデコーダのみの基礎モデルである。 これは、精度、速度、モデルサイズの間の強いトレードオフを達成しつつ、事前訓練された上位モデルの1つにランク付けします。 効率性とモデルサイズに関しては、Moirai 2.0は前バージョンであるMoirai 1.0-Largeの2倍の速度と30倍の小型である。
  論文  参考訳（メタデータ） (2025-11-12T12:15:35Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。