Fugu-MT 論文翻訳(概要): Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

論文の概要: Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

arxiv url: http://arxiv.org/abs/2607.24797v2
Date: Thu, 30 Jul 2026 03:05:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-02 22:55:39.071769
Title: Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code
Title（参考訳）: 読者のいない読み方:大きな言語モデルで読み書きを1つの絡み合ったコードにまとめる
Authors: Diego Saldaña Ulloa,
Abstract要約: テキストに最適化された1つの自己回帰パスからデコーダのみの大規模言語モデルが駆動されることを示す。入力側の読み取りコードの $mathbfW_E$ と出力側の書き込みコードの $mathbfW_U$ を比較して、どのように絡み合ったか尋ねる。最小対に対して、アレキサンドリアアナログは定理によって空である; 欲求生成は語彙全体のargmaxを意味するので、ペアのランクを勝ち取る。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the literate human brain, reading and writing doubly dissociate: a ventral decoding route (pure alexia) and a fronto-parietal encoding route (pure agraphia), sharing a partial orthographic core. A decoder-only large language model (LLM) drives both from one autoregressive path optimized on text (a \emph{cultural} invention, not an evolved instinct). We ask how entangled it is, comparing an input-side ``reading code'' $\mathbf{W}_{E}$ with an output-side ``writing code'' $\mathbf{W}_{U}$ via an index $\mathcal{E}\in[0,1]$ (CKA, Procrustes residual, mutual $k$-NN) calibrated against an independent-init floor and tied ceiling. On GPT-2, OPT and Pythia (14M--1.4B), untied models hold one \emph{coupled but sub-ceiling} code ($\mathcal{E}=0.23$--$0.35$, far above floor) on a non-monotonic couple-then-differentiate trajectory, $\mathbf{W}_{U}$ drifting $\sim$3.2$\times$ farther than $\mathbf{W}_{E}$ in every decile. Equally informative is a negative: the matching behavioural test, that comprehension and production fail together rather than dissociate, cannot be run. For minimal pairs the alexia analogue is empty by theorem: greedy production implies a vocabulary-wide argmax, so it wins the pairwise ranking. Differential-damage indices are not scale-identified: heavy-tailed damage makes linear standardizations collapse onto their larger term, and the rank transform fixing this is bounded, so its null saturates. Both scores also contain the target's log-probability, which alone explains most of their variance and manufactures the apparent coupling. We withdraw a coupling statistic, a cross-level bridge and a separation measure. In a model reading and writing off one next-token distribution, no output-side pair isolates either ability: entanglement needing no index to see. By analogy, not homology, this situates LLMs in the space of possible minds.
Abstract（参考訳）: 文学的なヒトの脳では、読み書きが二重に解離する:腹側脱コード経路(純粋失読)と前頭頭頂側脱コード経路(純粋失読)であり、部分的な正書法コアを共有する。デコーダのみの大規模言語モデル(LLM)は、テキストに最適化された1つの自己回帰パス(進化した本能ではなく、emph{ cultural} の発明)から両方を駆動する。入力側 ``reading code'' $\mathbf{W}_{E}$ と出力側 ``writing code'' $\mathbf{W}_{U}$ をインデックス $\mathcal{E}\in[0,1]$ (CKA, Procrustes residual, mutual $k$-NN) で、独立の階と結びついた天井に対して調整した。 GPT-2, OPT and Pythia (14M--1.4B) では、未成年モデルは1つの \emph{coupled but sub-ceiling} 符号 (\mathcal{E}=0.23$--$0.35$, far above floor) を非単調なカップル微分軌道、$\mathbf{W}_{U}$ ドリフトする$\sim$3.2$\times$ より大きい値を持つ。一致した行動テスト(理解と生産が解離するよりも一緒に失敗する)は実行できない。最小対に対して、アレキサンドリアアナログは定理によって空である: 欲求生成は語彙全体のargmaxを意味するので、ペアのランクを勝ち取る。重み付き損傷は線形標準化をより大きな項に崩壊させ、これを固定するランク変換は有界であるため、ヌルは飽和する。どちらのスコアもターゲットの対数確率を含み、その分散のほとんどを説明し、明らかな結合を生成する。我々は結合統計、クロスレベルブリッジ、分離対策を取り下げる。 1つの次のTokenディストリビューションを読み書きするモデルでは、出力側ペアがどちらの機能も分離しない。類推によって、ホモロジーではなく、これは可能な心の空間における LLM を満足させる。

論文の概要: Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

関連論文リスト