論文の概要: The Structure of Relation Decoding Linear Operators in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.26543v1
• Date: Thu, 30 Oct 2025 14:36:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.859041
• Title: The Structure of Relation Decoding Linear Operators in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける関係復号化演算子の構造
• Authors: Miranda Anna Christ, Adrián Csiszárik, Gergely Becsó, Dániel Varga,
• Abstract要約: 変換言語モデルにおける特定の関係事実をデコードする線形演算子の構造について検討する。 このような関係復号器の集合は, 単純な順序3テンソルネットワークによって高度に圧縮可能であることを示す。 そこで本研究では, 変換言語モデルにおける線形リレーショナルデコーディングを, 関係固有性ではなく, 主に特性ベースとして解釈する。
• 参考スコア（独自算出の注目度）: 0.5219568203653522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the structure of linear operators introduced in Hernandez et al. [2023] that decode specific relational facts in transformer language models. We extend their single-relation findings to a collection of relations and systematically chart their organization. We show that such collections of relation decoders can be highly compressed by simple order-3 tensor networks without significant loss in decoding accuracy. To explain this surprising redundancy, we develop a cross-evaluation protocol, in which we apply each linear decoder operator to the subjects of every other relation. Our results reveal that these linear maps do not encode distinct relations, but extract recurring, coarse-grained semantic properties (e.g., country of capital city and country of food are both in the country-of-X property). This property-centric structure clarifies both the operators' compressibility and highlights why they generalize only to new relations that are semantically close. Our findings thus interpret linear relational decoding in transformer language models as primarily property-based, rather than relation-specific.
• Abstract（参考訳）: 本稿では、変圧器言語モデルにおける特定の関係事実を復号するHernandez et al[2023]で導入された線形作用素の構造について検討する。 単関係の結果を関係のコレクションに拡張し、組織を体系的にチャート化します。 このような関係復号器の集合は、復号精度を著しく損なうことなく、単純なオーダー3テンソルネットワークで高度に圧縮できることを示す。 この驚くべき冗長性を説明するために,線形デコーダ演算子を他のすべての関係対象に適用するクロス評価プロトコルを開発した。 以上の結果から,これらの線形写像は異なる関係を符号化するものではなく,連続的かつ粗い意味的特性(例えば,首都と食料の国はともにXの国である)を抽出する。 この性質中心構造は演算子の圧縮性の両方を明確にし、意味的に近い新しい関係にのみ一般化する理由を強調している。 そこで本研究では, 変換言語モデルにおける線形リレーショナルデコーディングを, 関係固有性ではなく, 主に特性ベースとして解釈する。

関連論文リスト

• Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL [8.57550491437633]
  本研究では,エンコーダ-デコーダ言語モデル,特にT5における構造化データの線形処理について検討する。 この結果から,スキーマリンクや構文予測など,人間設計プロセスの模倣が可能であることが判明した。 また、構造ノードエンコーディングのエゴ中心の性質を含む、モデルの内部メカニズムに関する洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-04-03T01:16:20Z)
• Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
  トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
  論文  参考訳（メタデータ） (2023-08-17T17:59:19Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Transformers Generalize Linearly [1.7709450506466664]
  変換器のシーケンス・ツー・シーケンスモデルにおける構造一般化のパターンについて検討する。 変換器が多種多様な文法マッピングタスクを階層的に一般化するのに失敗するだけでなく、線形一般化の方が同等のネットワークよりも強い傾向を示す。
  論文  参考訳（メタデータ） (2021-09-24T15:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。