論文の概要: Tensor Product Representation Probes Reveal Shared Structure Across Linear Directions

• arxiv url: http://arxiv.org/abs/2605.09967v1
• Date: Mon, 11 May 2026 04:18:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.518549
• Title: Tensor Product Representation Probes Reveal Shared Structure Across Linear Directions
• Title（参考訳）: テンソル積表現が線形方向を横断する共有構造を探索する
• Authors: Andrew Lee, Fernanda Viégas, Martin Wattenberg,
• Abstract要約: 我々は、既知の線形表現を持つモデルを研究するが、高度に構造化された領域で訓練される。 我々は、線形プローブ間の共有構造を復元するためにTPRプローブを訓練する。 その結果,方向表現はより構造化された基礎表現の投影である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 48.32734639771152
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While researchers are finding concepts represented as linear directions in language models, a bag of linear directions fails to capture relational structure. To better understand this dichotomy, we study a model with known linear representations, but trained in a highly structured domain -- the board game Othello. While the model's internal board-state representation is linearly decodable, we find additional structure in the form of tensor product representations (TPRs). We train TPR probes to recover shared structure amongst the linear probes, yielding a factorization into square-embeddings, color-embeddings, and a binding matrix that composes them to construct the model's board-state representation. We find geometric signatures within the weights of our TPR probe that align with the structure of the board, but perhaps more importantly, that the linear probes can be recovered directly from the parameters of our TPR probe. Our findings suggest that directional representations may be projections of more structured underlying representations.
• Abstract（参考訳）: 研究者らは言語モデルにおいて線形方向として表現される概念を見出しているが、線形方向の袋は関係構造を捉えるのに失敗している。 この二分法をよりよく理解するために、既知の線形表現を持つモデルを研究するが、高度に構造化されたドメイン(ボードゲームOthello)で訓練される。 モデルの内部のボード状態表現は線形に退化可能であるが、テンソル積表現(TPR)の形で追加の構造が見つかる。 我々は、線形プローブ間の共有構造を復元するためにTPRプローブを訓練し、正方形埋め込み、色埋め込み、およびモデル基板状態表現を構成する結合行列に分解する。 基板の構造と一致したTPRプローブの重みの中に幾何学的シグネチャがあるが、もっと重要なのは、線形プローブが我々のTPRプローブのパラメータから直接回収できることである。 その結果,方向表現はより構造化された基礎表現の投影である可能性が示唆された。

関連論文リスト

• Sheaf Neural Networks on SPD Manifolds: Second-Order Geometric Representation Learning [9.973930984631547]
  我々はSPD多様体上で動作する最初のせん断ニューラルネットワークを開発した。 以上の結果から,SPD値のシーブはユークリッドシーブよりも厳密に表現力が高いことが明らかとなった。 当社のデュアルストリームアーキテクチャは6/7 MoleculeNetベンチマーク上でSOTAを実現しています。
  論文  参考訳（メタデータ） (2026-04-22T08:09:04Z)
• The Lattice Representation Hypothesis of Large Language Models [18.00499182102749]
  分離しきい値を持つ線形属性方向は、半空間交叉を通じて概念格子を誘導することを示す。 この幾何学は、幾何学的交叉 (intersection) と結合 (union) 演算による記号的推論を可能にする。
  論文  参考訳（メタデータ） (2026-03-01T18:42:59Z)
• Structural Disentanglement in Bilinear MLPs via Architectural Inductive Bias [0.0]
  我々は、モデルがトレーニング中に内部表現をどのように構成するかから失敗が発生すると主張している。 線形パラメータ化は勾配流条件下での非混合特性を有することを示す。 ポイントワイズ非線形ネットワークとは異なり、乗法的アーキテクチャは、基礎となる代数構造と整合した真の作用素を復元することができる。
  論文  参考訳（メタデータ） (2026-02-05T13:14:01Z)
• Linear Representation Transferability Hypothesis: Leveraging Small Models to Steer Large Models [6.390475802910619]
  同一データ上で訓練されたモデル間で学習された表現は、基本特徴の近辺集合の線形結合として表現できることを示す。 これらの基本機能は、学習タスク自体を基盤とし、スケールに関係なく、モデル間で一貫性を維持します。
  論文  参考訳（メタデータ） (2025-05-31T17:45:18Z)
• Compositional Structures in Neural Embedding and Interaction Decompositions [101.40245125955306]
  ニューラルネットワークにおけるベクトル埋め込みにおける線形代数構造間の基本的な対応について述べる。 相互作用分解」の観点から構成構造の特徴づけを導入する。 モデルの表現の中にそのような構造が存在するためには、必要かつ十分な条件を確立する。
  論文  参考訳（メタデータ） (2024-07-12T02:39:50Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。