論文の概要: Reader--Writer Coupling in Transformer MLPs
- arxiv url: http://arxiv.org/abs/2610.29340v1
- Date: Wed, 21 Oct 2026 07:35:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.275266
- Title: Reader--Writer Coupling in Transformer MLPs
- Title（参考訳）: 変圧器MLPにおけるリーダ-ライタ結合
- Abstract要約: トランスフォーマーは、各隠されたチャネルに2つの役割を与える: チャンネルがいつ応答するかを決定するリーダーと、残りのストリームに何を追加するかを決定するライターである。
何を一緒に読んでいるか尋ねる。
- 参考スコア（独自算出の注目度）: 22.9840334330561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A transformer MLP gives each hidden channel two roles: a reader that decides when the channel responds, and a writer that decides what it adds back to the residual stream. Read as a key--value memory, the layer can be measured one factor set at a time: the pairing of readers to writers is carried only by their shared index, invisible to any quantity computed from one factor set alone. Yet training couples the two factors through their joint update, so we ask what reading them together shows. The block supplies the joint instrument: the MLP writes back into the very stream it reads, so the exact Jacobian of its update is square, and its agreement with its own transpose resolves into reader--writer terms whose inner products give each channel, read as a couple, a signed pairing coordinate. Ranked by this coordinate, each block we measure has a small core of strongly coupled channels; where initialization gives either sign equally, the core is nearly all opposed: each writer points against the direction its reader responds to. This opposed core recurs from the smallest models trained from scratch to released checkpoints; its sign is in place within a few percent of training and holds while the coupling grows. Read as couples, most channels return their contribution against the reader that fired it, and the readers of later blocks take it up; few show in the logits. Training holds the couples in place: flipping the opposed writers moves the output toward common tokens, and a writer permuted onto another reader regrows to fit that reader while the reader stays.
- Abstract（参考訳）: トランスフォーマーMLPは、チャネルが応答するタイミングを決定するリーダーと、残ストリームに追加するものを決定するライターの2つの役割を隠されたチャネルに与える。
キー-値メモリとして読み込むと、読み手と書き手とのペアリングは、共有インデックスによってのみ運ばれる。一方の要素から計算された量とは無関係である。しかし、トレーニングでは、共同更新を通じて2つの要素をペアリングするので、何が一緒に読むのかを問う。このブロックは、ジョイントインスツルメンツを提供する: MLPが読み込むストリームに書き込むので、その更新の正確なヤコビアンは正方形であり、内部製品がそれぞれのチャネルを与え、署名されたペアリングコーディネートとして読むことができる。
この座標によってランク付けされた各ブロックは、強く結合されたチャネルの小さなコアを持ち、初期化はいずれの符号も等しく与え、中核はほぼ全ての反対である。
この反対のコアは、スクラッチからリリースされたチェックポイントまでトレーニングされた最小モデルから再帰する。
カップルとして読むと、ほとんどのチャンネルはそれをクビにした読者に対してコントリビューションを返す。
トレーニングでは、反対のライターが共通のトークンに向かって出力を移動し、読み手が留まっている間、別の読者の履歴書に順応してその読者に適合させる。
関連論文リスト
- Contrastive Projection: Reading Transformer Internals by Differencing Logit Lenses [0.0]
トレーニング不要のトレーサを使用して、すべての位置、サブレイヤ、ヘッド平均を読みます。
Phi-2の化合物-名詞->アテンション鎖を辿り、活性化パッチによって確認される。
現実と架空のエンティティの検索サーフェスを読み、ドメイン間マッピングの集合としてメタファーを読みます。
論文 参考訳（メタデータ） (2026-09-09T09:01:09Z) - PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents [85.82624962221026]
本稿では、読みを推論から切り離すPARSERを紹介する。
単一のチャンクにバインドされた軽量サブエージェントのバンクは、ドキュメント全体を並列に読み取る。
7Kから896Kまでのコンテキストを持つマルチホップQAでは、4Bバックボーンを持つPARSERが最強のシーケンシャルメモリベースラインを上回っている。
論文 参考訳（メタデータ） (2026-09-06T16:19:01Z) - Tracing Provenance and Detecting Tampering with Complementary LLM Watermarks [68.64050157343334]
既存の透かしは編集の際は残されているが、このような堅牢性は、敵が帰属を維持しながら重要な内容を変更することを可能にする。
実証と改ざんの証拠を共同で提供する革新的な透かしを導入する。
信号は同じメカニズムを共有するが、独立キーと正規化テキスト上の異なるシードウィンドウを使用するため、一方は編集に耐性があり、もう一方は読み取り可能な変更に敏感である。
論文 参考訳（メタデータ） (2026-08-13T01:55:16Z) - ResearchStudio-Reel: Automate the Last Mile of Research from Paper to Poster, Video, and Blog [64.14077660274674]
論文をポスター、トークビデオ、ブログ記事に変える研究の普及は、まだ手作業だ。
ResearchStudio-Reelは、3つの編集可能なアーティファクトを出荷する唯一のパイプラインである。
論文 参考訳（メタデータ） (2026-07-05T17:59:33Z) - Legible-by-Construction: Attention and End-to-End Transformers [0.2663471820643486]
トランスのフィードフォワード層は明示的なファジィ集合演算から再構築することができる。
隠れたユニットは言語モデルの品質を犠牲にすることなく、名前付き論理演算子として読み上げられた。
125Mパラメータの5つの特別なアテンション設計において、44から62%の値チャネルが正当性を持つ。
論文 参考訳（メタデータ） (2026-07-05T14:08:59Z) - Tracing How Annotators Think: Augmenting Preference Judgments with Reading Processes [19.256453565219786]
PreferReadは、マウス追跡から得られた微粒なアノテータ読み取り行動のデータセットである。
ほとんどの場合、最終的に選択したオプションを再検討するが、プロンプトを再検討することは滅多にない。
読解プロセスは、複雑で主観的なNLPタスクにおいて、アノテータの信頼性、意思決定、不一致を理解するための補完的な認知次元を提供する。
論文 参考訳（メタデータ） (2025-11-26T21:07:02Z) - CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment
of Coherence in Generated Texts [15.866519123942457]
自動生成テキストの人間知覚コヒーレンスに関する新しいベンチマークである sc CoheSentia を紹介する。
我々のベンチマークには、自動生成および人称注釈付き500の段落が含まれており、それぞれが両方の方法で注釈付けされている。
解析の結果,インクリメンタルモードにおけるアノテータ間の合意は,総合的な代替よりも高いことがわかった。
論文 参考訳（メタデータ） (2023-10-25T03:21:20Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z) - Modeling Social Readers: Novel Tools for Addressing Reception from
Online Book Reviews [0.0]
5つの人気小説のレビューのコーパスを使用して、小説のメインストーリーラインの読者の蒸留を研究します。
無限語彙ネットワークの研究に3つの重要な貢献をしている。
本稿では、レビューから集約された部分軌跡に基づいてイベントのコンセンサスシーケンスを生成する新しいシーケンシングアルゴリズムREV2SEQを提案する。
論文 参考訳（メタデータ） (2021-05-03T20:10:14Z) - PGNet: Real-time Arbitrarily-Shaped Text Spotting with Point Gathering
Network [54.03560668182197]
任意形状のテキストをリアルタイムで読み取るための,完全畳み込み点収集ネットワーク(PGNet)を提案する。
PG-CTCデコーダを用いて2次元空間から高レベル文字分類ベクトルを収集し,NMSやRoI操作を使わずにテキストシンボルに復号する。
実験により,提案手法は競争精度が向上し,走行速度が著しく向上することが確認された。
論文 参考訳（メタデータ） (2021-04-12T13:27:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。