論文の概要: Where Is the "Self" of a Large Language Model? -- From Self-Index to Self-Reference

• arxiv url: http://arxiv.org/abs/2610.16717v3
• Date: Mon, 19 Oct 2026 03:37:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.277028
• Title: Where Is the "Self" of a Large Language Model? -- From Self-Index to Self-Reference
• Title（参考訳）: 大規模言語モデルの「自己」とは何か -- 自己インデックスから自己参照まで
• Abstract要約: 我々は、生物学から親しみやすい2つの機能レベル、すなわち自己インデックスと自己参照を分離する。 我々は、モデル独自のチャットテンプレートでレンダリングされたアシスタント、ユーザ、システムメッセージに同じテキストを配置することで、両方を調査する。 4つのファミリーの8つのオープンウェイトモデルにまたがって、レベルはネストされ、モデルサイズに従わない。
• 参考スコア（独自算出の注目度）: 4.6912701723152095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We separate two functional levels of self familiar from biology: a self-index, which separates one's own from external material and shapes processing, as corollary discharge does in nearly all animals, and self-reference, the higher ability to recognize what is one's own, as in mirror self-recognition. We probe both by placing the same text in an Assistant, User, or System message rendered by the model's own chat template. In Qwen3.8-27B we report three levels of evidence. Persistence: as predicted in advance, the representation of the text separates the model's own message from both external sources at all 64 layers and for every text. Coupling: asked who wrote the preceding message, the model claims its own messages (0.77) and assigns User and System messages alike to the user, and how strongly it claims each message is predicted by the size of its self-index (Spearman up to 0.68). Intervention: exchanging the internal states that follow a message reverses the self-attribution between layers 15 and 31; removing the self-index direction from them at layer 39 lowers the claim more than a random direction; and in arithmetic the model adopts a wrong step more often when it wrote the step itself (0.92 versus 0.75). Across eight open-weight models from four families, the levels are nested and do not follow model size: three models show neither, three a self-index without self-reference, Qwen3.8-Flash-Next recognizes its own messages only after reasoning (0.66, none of the external ones), and only Qwen3.8-27B shows both without thinking; no model shows self-reference without a self-index, and reasoning brings it out only where one exists. We propose that self-reference is a higher-level ability built on a self-index, a content-independent displacement superimposed on the whole representation of the model's own messages, and that neither level is a by-product of problem-solving ability.
• Abstract（参考訳）: 我々は生物学から慣れ親しんだ2つの機能レベルの自己認識を分離する: 自己認識(Self-index)は、外部の物質と形状の処理から自分自身を分離する。 我々は、モデル独自のチャットテンプレートでレンダリングされたアシスタント、ユーザ、システムメッセージに同じテキストを配置することで、両方を調査する。 Qwen3.8-27Bでは、3つのレベルの証拠を報告している。 永続性(Persistence): 前もって予測されたように、テキストの表現は、モデル自身のメッセージを、すべての64層およびすべてのテキストの外部ソースから分離する。 Coupling: 前回のメッセージを誰が書いたか尋ねると、モデルは独自のメッセージ(0.77)を主張し、ユーザーとシステムメッセージも同様に割り当てる。 干渉: メッセージに従う内部状態の交換は、レイヤ15と31間の自己帰属を反転させ、39の層でそれらから自己指数方向を除去することで、無作為な方向以上のクレームを低下させ、算術では、ステップ自体を記述したときに、より間違ったステップを採用する(0.92対0.75)。 Qwen3.8-Flash-Nextは推論後にのみ独自のメッセージを認識し(0.66、外部のものはない)、Qwen3.8-27Bだけが考えることなく、Qwen3.8-27Bだけがそれを示す。 自己参照は自己インデックス上に構築された高レベルな能力であり、その内容に依存しない変位は、モデル自身のメッセージの全体表現に重畳されるものであり、どちらのレベルも問題解決能力の副産物ではないことを提案する。

関連論文リスト

• Who Is Left of Whom? Tracing Spatial Evidence and Role Binding in Relative-Position Reasoning [7.166169007252999]
  相対配置推論を支持する内部表現は、いまだに理解されていない。 本稿では,このプロセスの2つの補完的要素について検討する。
  論文  参考訳（メタデータ） (2026-09-28T15:59:55Z)
• Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise [5.269026412088572]
  変換器は、その特性がまだ出力に影響を与えていない深さで、その残流に線形にデオード可能となることを示す。 我々は、モデルが会話を通して徐々に推論しなければならない属性、すなわち対話相手がどれほど専門家であるかについても、その属性が保持されているかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-07T07:41:57Z)
• Beyond Instance Slots: Semantically Rich World Models for Physical Interaction Planning [3.284163275977256]
  本稿では,5つの機能的役割を中心に構成されたタスク条件付き世界モデルであるSemantically Rich World Model (SR-WM)を提案する。 SR-WM内では、ビジュアルエンティティエンコーダが事前訓練されたパッチ機能からソフトエンティティ仮説を抽出し、セグメンテーションマスクがオプションの提案先として機能する。 ロールバインダーはこれらの仮説をタスク固有のロールにマッピングし、アクション条件付きダイナミクスモデルは、きめ細かいセマンティクスと共にロール遷移を予測する。
  論文  参考訳（メタデータ） (2026-08-23T08:37:59Z)
• A Compositional Theory of Causally Masked Transformers [50.88598486616582]
  モデルが実装した力学から直接表現性を導出する形式化を開発する。 各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。 修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
  論文  参考訳（メタデータ） (2026-07-29T14:47:19Z)
• Geometric Factual Recall in Transformers [57.48371649045765]
  一般的な見解では、内部の重み行列は埋め込みのペアに対する連想記憶として捉えられ、事実の数と線形にスケールする記憶数を必要とする。 我々は、学習した埋め込みが直接構造を符号化する、別のエンフェロメトリックな形態の記憶の理論的、実証的な説明を開発する。 単層変圧器が被写体から共有属性集合へのランダムベクトルを記憶しなければならない制御環境では、対数埋め込み次元が十分であることを示す。 これらの結果をマルチホップ設定に拡張し、証明可能なチェーン・オブ・シークレットによる構築を提供する。
  論文  参考訳（メタデータ） (2026-05-12T17:22:22Z)
• Talking Heads: Understanding Inter-layer Communication in Transformer Language Models [32.2976613483151]
  2つのLMで用いられるメカニズムを分析し、1つのタスクでコンテキスト内のアイテムを選択的に抑制する。 モデルが残ストリームの低ランクな部分空間に書き込まれて,後続のレイヤで読み出される特徴を表現することが分かりました。
  論文  参考訳（メタデータ） (2024-06-13T18:12:01Z)
• ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer [71.82644727907146]
  多様な双方向の高密度予測タスクに対して,$underlineComP$lementary $underlinetr$ansformer, $textbfComPtr$を提案する。 ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
  論文  参考訳（メタデータ） (2023-07-23T15:17:45Z)
• Learning to Compose Visual Relations [100.45138490076866]
  我々は,各関係を非正規化密度(エネルギーベースモデル)として表現することを提案する。 このような分解を分解することで、複数の関係を持つシーンをより忠実に生成・編集できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:51:29Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。