論文の概要: What Is the "Self" of a Large Language Model?

• arxiv url: http://arxiv.org/abs/2610.16717v1
• Date: Mon, 12 Oct 2026 12:51:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.900078
• Title: What Is the "Self" of a Large Language Model?
• Title（参考訳）: 大規模言語モデルの「自己」とは何か?
• Abstract要約: 機能的自己(英: functional self)は、モデルが記録した行動と外部から供給された物質を区別するアクター中心の情報組織である。 27B BF16モデルからの予備観測は、幾何学的な出発点となる。 我々は、この説明を動的推論、歴史的連続性、およびコンテンツ操作、ソースバインディング、権威、出力を分離した計算モデルに結びつける。
• 参考スコア（独自算出の注目度）: 4.6912701723152095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What could the "self" of a large language model be, if it is neither a particular word nor a single privileged layer? We propose a relational account: a functional self is an actor-centered organization of information that distinguishes the model's recorded actions from externally supplied material while content and reasoning operations change. Its representational candidate is a family of layer-specific source-binding components, rather than one unchanged vector throughout the network. Preliminary observations from a 27B BF16 model provide a geometric starting point. Across 150 matched message bodies, 450 role conditions, and a 75/75 discovery-held-out split, the combined Assistant-versus-external displacement transfers strongly across bodies and positions. Selected early components place User and System closer to one another than to Assistant, whereas this full-space distance relation does not persist throughout depth. These findings motivate a layered account: an early source-encoding candidate can be combined with role-specific information use and continuation preparation at later depths, without requiring monotonic overwriting of the common displacement. We connect this account to dynamic reasoning, historical continuity, and a computational model separating content operations, source binding, authority, and output. The reported evidence establishes a reproducible role-conditioned geometry; the proposed interpretation is that functional selfhood may reside in persistent relations among changing representations.
• Abstract（参考訳）: もしそれが特定の単語でもなく、単一の特権層でもなければ、大きな言語モデルの"自己"はどのようなものでしょう? 機能的自己(英: functional self)とは、モデルが記録したアクションを、コンテンツや推論操作が変化する間、外部から供給される物質と区別する、アクター中心の情報組織である。 その表現的候補は、ネットワーク全体で変化しないベクトルではなく、層特異的なソース結合コンポーネントのファミリーである。 27B BF16モデルからの予備観測は、幾何学的な出発点となる。 150以上の一致したメッセージ本体、450のロール条件、75/75の発見を保留した分割により、Assistant-versus-externalの移動は、ボディとポジションを強く横断する。 選択された初期コンポーネントは、ユーザーとシステムがAssistantよりも互いに近い位置にあるが、この全空間距離関係は、深さ全体にわたって持続しない。 早期のソースエンコーディング候補は、共通の変位の単調な上書きを必要とせず、役割特異的な情報利用と後続の深さでの継続準備とを組み合わせることができる。 我々は、この説明を動的推論、歴史的連続性、およびコンテンツ操作、ソースバインディング、権威、出力を分離した計算モデルに結びつける。 報告された証拠は再現可能な役割条件付き幾何学を確立している; 提案された解釈は、機能的自己は変化する表現の間で永続的な関係にある可能性があるというものである。

関連論文リスト

• Who Is Left of Whom? Tracing Spatial Evidence and Role Binding in Relative-Position Reasoning [7.166169007252999]
  相対配置推論を支持する内部表現は、いまだに理解されていない。 本稿では,このプロセスの2つの補完的要素について検討する。
  論文  参考訳（メタデータ） (2026-09-28T15:59:55Z)
• Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise [5.269026412088572]
  変換器は、その特性がまだ出力に影響を与えていない深さで、その残流に線形にデオード可能となることを示す。 我々は、モデルが会話を通して徐々に推論しなければならない属性、すなわち対話相手がどれほど専門家であるかについても、その属性が保持されているかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-07T07:41:57Z)
• Beyond Instance Slots: Semantically Rich World Models for Physical Interaction Planning [3.284163275977256]
  本稿では,5つの機能的役割を中心に構成されたタスク条件付き世界モデルであるSemantically Rich World Model (SR-WM)を提案する。 SR-WM内では、ビジュアルエンティティエンコーダが事前訓練されたパッチ機能からソフトエンティティ仮説を抽出し、セグメンテーションマスクがオプションの提案先として機能する。 ロールバインダーはこれらの仮説をタスク固有のロールにマッピングし、アクション条件付きダイナミクスモデルは、きめ細かいセマンティクスと共にロール遷移を予測する。
  論文  参考訳（メタデータ） (2026-08-23T08:37:59Z)
• A Compositional Theory of Causally Masked Transformers [50.88598486616582]
  モデルが実装した力学から直接表現性を導出する形式化を開発する。 各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。 修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
  論文  参考訳（メタデータ） (2026-07-29T14:47:19Z)
• Geometric Factual Recall in Transformers [57.48371649045765]
  一般的な見解では、内部の重み行列は埋め込みのペアに対する連想記憶として捉えられ、事実の数と線形にスケールする記憶数を必要とする。 我々は、学習した埋め込みが直接構造を符号化する、別のエンフェロメトリックな形態の記憶の理論的、実証的な説明を開発する。 単層変圧器が被写体から共有属性集合へのランダムベクトルを記憶しなければならない制御環境では、対数埋め込み次元が十分であることを示す。 これらの結果をマルチホップ設定に拡張し、証明可能なチェーン・オブ・シークレットによる構築を提供する。
  論文  参考訳（メタデータ） (2026-05-12T17:22:22Z)
• Talking Heads: Understanding Inter-layer Communication in Transformer Language Models [32.2976613483151]
  2つのLMで用いられるメカニズムを分析し、1つのタスクでコンテキスト内のアイテムを選択的に抑制する。 モデルが残ストリームの低ランクな部分空間に書き込まれて,後続のレイヤで読み出される特徴を表現することが分かりました。
  論文  参考訳（メタデータ） (2024-06-13T18:12:01Z)
• ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer [71.82644727907146]
  多様な双方向の高密度予測タスクに対して,$underlineComP$lementary $underlinetr$ansformer, $textbfComPtr$を提案する。 ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
  論文  参考訳（メタデータ） (2023-07-23T15:17:45Z)
• Learning to Compose Visual Relations [100.45138490076866]
  我々は,各関係を非正規化密度(エネルギーベースモデル)として表現することを提案する。 このような分解を分解することで、複数の関係を持つシーンをより忠実に生成・編集できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:51:29Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。