論文の概要: Tracing Relational Knowledge Recall in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.19934v1
• Date: Tue, 21 Apr 2026 19:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.759495
• Title: Tracing Relational Knowledge Recall in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける関係知識の追跡的リコール
• Authors: Nicholas Popovič, Michael Färber,
• Abstract要約: 我々は,大規模言語モデルがテキスト生成中にいかに知識を思い出すかを研究する。 線形プローブによる関係分類に適した潜在表現の同定に着目する。 本研究は, 線形関係分類において, 残差ストリームに対する頭部当たりの注意力の寄与が比較的強い特徴であることを示す。
• 参考スコア（独自算出の注目度）: 4.990228412613982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how large language models recall relational knowledge during text generation, with a focus on identifying latent representations suitable for relation classification via linear probes. Prior work shows how attention heads and MLPs interact to resolve subject, predicate, and object, but it remains unclear which representations support faithful linear relation classification and why some relation types are easier to capture linearly than others. We systematically evaluate different latent representations derived from attention head and MLP contributions, showing that per-head attention contributions to the residual stream are comparatively strong features for linear relation classification. Feature attribution analyses of the trained probes, as well as characteristics of the different relation types, reveal clear correlations between probe accuracy and relation specificity, entity connectedness, and how distributed the signal on which the probe relies is across attention heads. Finally, we show how token-level feature attribution of probe predictions can be used to reveal probe behavior in further detail.
• Abstract（参考訳）: 本研究では,線形プローブによる関係分類に適した潜在表現の同定に焦点をあてて,テキスト生成中の関係知識を大規模言語モデルがいかにリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリ 先行研究は、主観、述語、対象を解決するために、注意頭とMLPがどのように相互作用するかを示しているが、どの表現が忠実な線形関係分類を支持しているのか、また、なぜいくつかの関係型が他のものよりも線形に捉えやすいのかは定かではない。 注意頭とMLPの寄与から導かれる様々な潜在表現を系統的に評価し, 線形関係分類において, 残差ストリームに対する頭当たりの注意貢献が比較的強い特徴であることを示す。 訓練されたプローブの特徴属性分析と異なる関係型の特徴は、プローブ精度と関係特異性、エンティティ接続性、およびプローブが依存する信号が注目ヘッドを越えてどのように分散されているかを明確にする。 最後に、プローブ予測のトークンレベルの特徴属性を用いて、さらに詳細にプローブの挙動を明らかにする方法を示す。

関連論文リスト

• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Document-level Relation Extraction with Relation Correlations [15.997345900917058]
  文書レベルの関係抽出は,長期問題と複数ラベル問題という,見落とされた2つの課題に直面している。 関係の共起相関を解析し,DocREタスクに初めて導入する。
  論文  参考訳（メタデータ） (2022-12-20T11:17:52Z)
• Relation-dependent Contrastive Learning with Cluster Sampling for Inductive Relation Prediction [30.404149577013595]
  帰納的関係予測のための関係依存型コントラスト学習(ReCoLe)を導入する。 GNNベースのエンコーダはコントラスト学習によって最適化され、ロングテール関係における良好な性能が保証される。 実験結果から、ReCoLeは一般的に使用される帰納的データセット上で最先端の手法より優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-11-22T13:30:49Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。