論文の概要: Tracing Relational Knowledge Recall in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.19934v2
• Date: Thu, 23 Apr 2026 11:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.036919
• Title: Tracing Relational Knowledge Recall in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける関係知識の追跡的リコール
• Abstract要約: 我々は,大規模言語モデルがテキスト生成中にいかに知識を思い出すかを研究する。 線形プローブによる関係分類に適した潜在表現の同定に着目する。 本研究は, 線形関係分類において, 残差ストリームに対する頭部当たりの注意力の寄与が比較的強い特徴であることを示す。
• 参考スコア（独自算出の注目度）: 4.990228412613982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how large language models recall relational knowledge during text generation, with a focus on identifying latent representations suitable for relation classification via linear probes. Prior work shows how attention heads and MLPs interact to resolve subject, predicate, and object, but it remains unclear which representations support faithful linear relation classification and why some relation types are easier to capture linearly than others. We systematically evaluate different latent representations derived from attention head and MLP contributions, showing that per-head attention contributions to the residual stream are comparatively strong features for linear relation classification. Feature attribution analyses of the trained probes, as well as characteristics of the different relation types, reveal clear correlations between probe accuracy and relation specificity, entity connectedness, and how distributed the signal on which the probe relies is across attention heads. Finally, we show how token-level feature attribution of probe predictions can be used to reveal probe behavior in further detail.
• Abstract（参考訳）: 本研究では,線形プローブによる関係分類に適した潜在表現の同定に焦点をあてて,テキスト生成中の関係知識を大規模言語モデルがいかにリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリレーショナルリ 先行研究は、主観、述語、対象を解決するために、注意頭とMLPがどのように相互作用するかを示しているが、どの表現が忠実な線形関係分類を支持しているのか、また、なぜいくつかの関係型が他のものよりも線形に捉えやすいのかは定かではない。 注意頭とMLPの寄与から導かれる様々な潜在表現を系統的に評価し, 線形関係分類において, 残差ストリームに対する頭当たりの注意貢献が比較的強い特徴であることを示す。 訓練されたプローブの特徴属性分析と異なる関係型の特徴は、プローブ精度と関係特異性、エンティティ接続性、およびプローブが依存する信号が注目ヘッドを越えてどのように分散されているかを明確にする。 最後に、プローブ予測のトークンレベルの特徴属性を用いて、さらに詳細にプローブの挙動を明らかにする方法を示す。

関連論文リスト

• K-Models: a Flexible and Interpretable Method for Ordinal Clustering with Application to Antigen-Antibody Interaction Profiles [65.21921642886367]
  K-Modelsは、順序的制約を統合し、観察された機能プロファイルを生成するランダムプロセスの基本的な要素を推定する新しいフレームワークである。 提案手法はシミュレーションと実世界の応用を通して評価する。
  論文  参考訳（メタデータ） (2026-05-14T13:35:44Z)
• MINERVA: Mutual Information Neural Estimation for Supervised Feature Selection [39.57737590420284]
  本稿では,特徴と対象間の相互情報のニューラル推定に基づく特徴選択のための新しい手法を提案する。 ニューラルネットワークによる相互情報の近似をパラマティフィケーションし、疎性誘導型正規化器を付加した慎重に設計された損失関数を用いて特徴選択を行う。 提案手法は,特徴選択から表現学習を分離する2段階のプロセスで実装され,より優れた一般化とより正確な特徴重要度表現を実現する。
  論文  参考訳（メタデータ） (2025-10-02T23:09:06Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Document-level Relation Extraction with Relation Correlations [15.997345900917058]
  文書レベルの関係抽出は,長期問題と複数ラベル問題という,見落とされた2つの課題に直面している。 関係の共起相関を解析し,DocREタスクに初めて導入する。
  論文  参考訳（メタデータ） (2022-12-20T11:17:52Z)
• Relation-dependent Contrastive Learning with Cluster Sampling for Inductive Relation Prediction [30.404149577013595]
  帰納的関係予測のための関係依存型コントラスト学習(ReCoLe)を導入する。 GNNベースのエンコーダはコントラスト学習によって最適化され、ロングテール関係における良好な性能が保証される。 実験結果から、ReCoLeは一般的に使用される帰納的データセット上で最先端の手法より優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-11-22T13:30:49Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。