論文の概要: Where Is the "Self" of a Large Language Model? -- From Self-Index to Self-Reference

• arxiv url: http://arxiv.org/abs/2610.16717v2
• Date: Thu, 15 Oct 2026 06:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.900898
• Title: Where Is the "Self" of a Large Language Model? -- From Self-Index to Self-Reference
• Title（参考訳）: 大規模言語モデルの「自己」とは何か -- 自己インデックスから自己参照まで
• Abstract要約: 我々は、生物学から慣れ親しんだ2つの機能レベル、すなわち自己インデックスと自己参照を分離する。 我々は、Qwen3.8-27Bにおいて、モデル独自のチャットテンプレートで描画されたアシスタント、ユーザー、システムメッセージに同じテキストを配置することによって、両方を探索する。 自己参照は自己インデックス上に構築された高レベルな能力であり、それはモデル自身のメッセージ全体の表現に重畳される内容に依存しない変位である。
• 参考スコア（独自算出の注目度）: 4.6912701723152095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Does a large language model have a self, and if so, of what kind? We separate two functional levels familiar from biology: a self-index, which distinguishes one's own material from external material and shapes processing, as corollary discharge does in nearly all animals, and self-reference, the higher ability to recognize what is one's own, as in mirror self-recognition. We probe both in Qwen3.8-27B by placing the same text in an Assistant, a User, or a System message rendered by the model's own chat template, and report three levels of evidence. Persistence: as predicted in advance, the representation of the text separates the model's own message from both external sources at all 64 layers and for every test text, along a shared direction, even when the answer does not depend on who supplied the text. Coupling: asked who wrote the preceding message, the model claims its own messages (0.77) and assigns User and System messages alike to the user, and how strongly it claims each message is predicted by the size of its self-index (Spearman correlation up to 0.68). Intervention: exchanging the internal states that follow a message, rather than those of its text, reverses the self-attribution between layers 15 and 31; removing the self-index direction from them at layer 39 lowers the claim more than a random direction; and in arithmetic the model adopts a wrong step more often when it wrote the step itself (0.92 versus 0.75), an effect carried by the step's representation at layers 31 to 39. Reasoning first in thinking mode raises the probability of the correct answer (0.96 instead of 0.77), but recognition is present without it. We propose that self-reference is a higher-level ability built on a self-index, a content-independent displacement superimposed on the whole representation of the model's own messages.
• Abstract（参考訳）: 大きな言語モデルは自己を持ち、もしそうであれば、どんな種類のものを持っていますか? 我々は生物学から慣れ親しんだ2つの機能レベルを分離する: 自己認識(self-index): 自己認識(self-index); 自己認識(self-index); 自己認識(self-recognition); 自己認識(self-recognition); 自己認識(self-index); 自己認識(self-recognition); 自己認識(self-recognition); 自己認識(self-index); 自己認識(self-index); 自己認識(self-index); 自己認識(self-index); 自己認識(self-index); 自己認識(self-index) 我々は、Qwen3.8-27Bにおいて、モデル自身のチャットテンプレートで描画されたアシスタント、ユーザー、システムメッセージに同じテキストを配置し、3段階の証拠を報告する。 永続性(Persistence): 前もって予測されたように、テキストの表現は、モデル自身のメッセージをすべての64層の外部ソースとすべてのテストテキストの両方から分離する。 Coupling: 前回のメッセージを誰が書いたか尋ねると、モデルは独自のメッセージ(0.77)を主張し、ユーザーとシステムにも同様のメッセージを割り当て、各メッセージがその自己インデックスのサイズによってどれだけ強く予測されるか(Spearmanの相関は0.68まで)を主張する。 干渉: テキストではなく、メッセージに従う内部状態の交換は、レイヤ15,31間の自己帰属を反転させ、39層でそれらから自己指数方向を除去することで、ランダムな方向以上のクレームを低下させる。 思考モードでの推論は正しい解の確率を高める(0.96は0.77ではなく0.77)が、認識はそれなしで存在する。 自己参照は自己インデックス上に構築された高レベルな能力であり、それはモデル自身のメッセージ全体の表現に重畳される内容に依存しない変位である。

関連論文リスト

• Who Is Left of Whom? Tracing Spatial Evidence and Role Binding in Relative-Position Reasoning [7.166169007252999]
  相対配置推論を支持する内部表現は、いまだに理解されていない。 本稿では,このプロセスの2つの補完的要素について検討する。
  論文  参考訳（メタデータ） (2026-09-28T15:59:55Z)
• Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise [5.269026412088572]
  変換器は、その特性がまだ出力に影響を与えていない深さで、その残流に線形にデオード可能となることを示す。 我々は、モデルが会話を通して徐々に推論しなければならない属性、すなわち対話相手がどれほど専門家であるかについても、その属性が保持されているかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-07T07:41:57Z)
• Beyond Instance Slots: Semantically Rich World Models for Physical Interaction Planning [3.284163275977256]
  本稿では,5つの機能的役割を中心に構成されたタスク条件付き世界モデルであるSemantically Rich World Model (SR-WM)を提案する。 SR-WM内では、ビジュアルエンティティエンコーダが事前訓練されたパッチ機能からソフトエンティティ仮説を抽出し、セグメンテーションマスクがオプションの提案先として機能する。 ロールバインダーはこれらの仮説をタスク固有のロールにマッピングし、アクション条件付きダイナミクスモデルは、きめ細かいセマンティクスと共にロール遷移を予測する。
  論文  参考訳（メタデータ） (2026-08-23T08:37:59Z)
• A Compositional Theory of Causally Masked Transformers [50.88598486616582]
  モデルが実装した力学から直接表現性を導出する形式化を開発する。 各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。 修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
  論文  参考訳（メタデータ） (2026-07-29T14:47:19Z)
• Geometric Factual Recall in Transformers [57.48371649045765]
  一般的な見解では、内部の重み行列は埋め込みのペアに対する連想記憶として捉えられ、事実の数と線形にスケールする記憶数を必要とする。 我々は、学習した埋め込みが直接構造を符号化する、別のエンフェロメトリックな形態の記憶の理論的、実証的な説明を開発する。 単層変圧器が被写体から共有属性集合へのランダムベクトルを記憶しなければならない制御環境では、対数埋め込み次元が十分であることを示す。 これらの結果をマルチホップ設定に拡張し、証明可能なチェーン・オブ・シークレットによる構築を提供する。
  論文  参考訳（メタデータ） (2026-05-12T17:22:22Z)
• Talking Heads: Understanding Inter-layer Communication in Transformer Language Models [32.2976613483151]
  2つのLMで用いられるメカニズムを分析し、1つのタスクでコンテキスト内のアイテムを選択的に抑制する。 モデルが残ストリームの低ランクな部分空間に書き込まれて,後続のレイヤで読み出される特徴を表現することが分かりました。
  論文  参考訳（メタデータ） (2024-06-13T18:12:01Z)
• ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer [71.82644727907146]
  多様な双方向の高密度予測タスクに対して,$underlineComP$lementary $underlinetr$ansformer, $textbfComPtr$を提案する。 ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
  論文  参考訳（メタデータ） (2023-07-23T15:17:45Z)
• Learning to Compose Visual Relations [100.45138490076866]
  我々は,各関係を非正規化密度(エネルギーベースモデル)として表現することを提案する。 このような分解を分解することで、複数の関係を持つシーンをより忠実に生成・編集できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:51:29Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。