論文の概要: Predicting Linear Relational Decodability Without the Relation

• arxiv url: http://arxiv.org/abs/2610.27241v2
• Date: Wed, 21 Oct 2026 04:56:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.206093
• Title: Predicting Linear Relational Decodability Without the Relation
• Title（参考訳）: 関係のない線形関係の可逆性予測
• Abstract要約: 我々はエンティティレンズをトレーニングし、中立的なプロンプト"で t 型のエンティティに対してモデルが出力するものを予測する。 Olmo-3-7B上のLREデータセットの28以上の関係は、関係に依存しないスコアとLREの忠実度が0.7355$ (p .01)と相関している。 分析単位を個々の事実との関係から移動させるには,新たな関係データセットと分析方法が必要であると結論づける。
• 参考スコア（独自算出の注目度）: 37.79842539938341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear relational embeddings (LREs) approximate a language model's subject-to-object mapping with an affine function. Their faithfulness varies enormously across relations, from near zero for person_father to the ceiling for country_capital_city. We investigate the factors that contribute to this variation and demonstrate that it can be significantly predicted from a readout that is not aware of the underlying relation. To do so, we propose a novel form of the Jacobian lens, the entity lens. Whereas the Jacobian lens is estimated across all tokens and concepts, the entity lens EL_t is trained to predict what the model will output for an entity of type t under the neutral prompt "{} is known for"; e.g., we train ELs for countries and persons. After estimating an entity lens, we measure how highly it ranks the model's answer for a relation without using any relation-specific information in estimation and prediction. Across 28 relations of the LRE dataset on Olmo-3-7B this relation-agnostic score correlates with LRE faithfulness at $ρ= 0.7355$ (p < .01). This suggests that linear decodability is largely a property of what a subject's representation already carries, rather than of the relation being decoded. Moving the unit of analysis from the relation to the individual fact, we conclude that new relation datasets and analysis methods are needed to address several problems in existing datasets, most prominently semantically weak first tokens (e.g., most predicted universities' first token is "University") and reference competition (e.g., the LLM confuses obscure actor names with competing non-actor entities that have the same last name). Our full pipeline is available at https://github.com/jonasrohw/entity-lens
• Abstract（参考訳）: 線形リレーショナル埋め込み(LRE)は、アフィン関数を用いた言語モデルの主観オブジェクトマッピングを近似する。 彼らの忠実さは、人=親=ゼロから国=資本=シティーの天井まで、関係によって大きく異なる。 本研究では,この変動に寄与する要因について検討し,その基礎となる関係を意識していない読み出しから顕著に予測できることを実証する。 そこで本研究では,ヤコビアンレンズの新規な形状であるエンティティレンズを提案する。 ジャコビアンレンズは全てのトークンや概念で推定されるが、実体レンズ EL_t は中立的なプロンプト "{} is known for" の下でタイプ t の実体に対して出力されるモデルを予測するために訓練される。 実体レンズを推定した後、推定・予測において関係性固有の情報を用いることなく、関係性に対するモデル回答のランク付けがどれだけ高いかを計測する。 Olmo-3-7B 上の LRE データセットの28以上の関係は、関係に依存しないスコアと LRE の忠実度が$ρ= 0.7355$ (p < .01) と相関している。 これは、線形の陰性性は、被写体の表現が既に持っている性質のほとんどであり、その関係が復号化されていることを示唆している。 分析単位を個々の事実との関係から移すと、既存のデータセットにおけるいくつかの問題に対処するためには、最も顕著に意味的に弱いファーストトークン(例えば、予測される大学の最初のトークンは"ユニバーシティ")と参照コンペティション(LLMは、同じラストを持つ競合する非アクターエンティティとあいまいなアクター名を混同する)が必要とされると結論付ける。 完全なパイプラインはhttps://github.com/jonasrohw/entity-lensで公開しています。

関連論文リスト

• Beyond Triplet Plausibility: Relation Set Completion in Knowledge Graphs [48.16012222834734]
  関係集合完了タスク(RSC)と関係集合埋め込みモデル(RelSetE)を導入する。 RSCは、あるエンティティと意味的に互換性のある欠落した関係を推論することを目的としている。 RelSetEは、観測されたエンティティの関係の中で潜在パターンをモデル化し、失われたパターンを推測する。
  論文  参考訳（メタデータ） (2026-06-29T06:54:40Z)
• Relation as a Prior: A Novel Paradigm for LLM-based Document-level Relation Extraction [4.476410350566294]
  LLMに基づく文書レベルの関係抽出(DocRE)のための新しいリレーショナル・アズ・プライマリ(RelPrior)パラダイムを提案する。 RelPriorは、二項関係を抽出の先行として利用し、2つのエンティティが相関しているかどうかを決定し、無関係なエンティティペアをフィルタリングする。 2つのベンチマークの大規模な実験により、RelPriorは既存のLCMベースの手法を超越して最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-11-11T11:55:27Z)
• Entity or Relation Embeddings? An Analysis of Encoding Strategies for Relation Extraction [19.019881161010474]
  関係抽出は、本質的にはテキスト分類問題であり、事前学習言語モデル(LM)を微調整することで取り組める。 既存のアプローチでは、LMを微調整して頭と尾のエンティティの埋め込みを学習し、それらのエンティティの埋め込みから関係を予測する。 本稿では,より直接的な方法で関係を捉えることにより,関係抽出モデルを改善することができるという仮説を立てる。
  論文  参考訳（メタデータ） (2023-12-18T09:58:19Z)
• More than Classification: A Unified Framework for Event Temporal Relation Extraction [61.44799147458621]
  イベント時間関係抽出(ETRE)は通常、マルチラベル分類タスクとして定式化される。 イベントの開始点と終了点を使ってすべての関係を解釈できることを観察する。 本稿では,時間関係を時間点の論理的表現に変換するイベント時間関係抽出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T02:09:08Z)
• Distilling Relation Embeddings from Pre-trained Language Models [35.718167335989854]
  事前学習した言語モデルから関係埋め込みを蒸留することが可能であることを示す。 我々は、(手動または自動生成)プロンプトを使って単語ペアを符号化し、言語モデルを微調整する。 結果として得られる関係埋め込みは、アナログ(教師なし)と関係分類(教師なし)のベンチマークで非常に競合する。
  論文  参考訳（メタデータ） (2021-09-21T15:05:27Z)
• Link Prediction on N-ary Relational Data Based on Relatedness Evaluation [61.61555159755858]
  我々は,n-aryリレーショナルデータ上でリンク予測を行うNaLPという手法を提案する。 各 n 個の関係事実を、その役割と役割と値のペアの集合として表現する。 実験結果は,提案手法の有効性と有用性を検証した。
  論文  参考訳（メタデータ） (2021-04-21T09:06:54Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)
• Learning Informative Representations of Biomedical Relations with Latent Variable Models [2.4366811507669115]
  本稿では,任意に柔軟な分布を持つ潜在変数モデルを提案する。 我々のモデルは、パラメータが少なく、トレーニングがかなり速く、両方のタスクの強いベースラインと競合する結果が得られることを実証する。
  論文  参考訳（メタデータ） (2020-11-20T08:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。