論文の概要: On Entity Identification in Language Models

• arxiv url: http://arxiv.org/abs/2506.02701v2
• Date: Wed, 04 Jun 2025 03:15:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 13:54:39.552053
• Title: On Entity Identification in Language Models
• Title（参考訳）: 言語モデルにおけるエンティティ同定について
• Authors: Masaki Sakata, Sho Yokoi, Benjamin Heinzerling, Takumi Ito, Kentaro Inui,
• Abstract要約: 言語モデル(LM)の内部表現は、名前付きエンティティの言及を識別し、区別する。 まず、エンティティの言及の曖昧さと可変性という2つの問題を定式化します。 本稿では,クラスタリング品質指標に類似したフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 22.988199295121134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyze the extent to which internal representations of language models (LMs) identify and distinguish mentions of named entities, focusing on the many-to-many correspondence between entities and their mentions. We first formulate two problems of entity mentions -- ambiguity and variability -- and propose a framework analogous to clustering quality metrics. Specifically, we quantify through cluster analysis of LM internal representations the extent to which mentions of the same entity cluster together and mentions of different entities remain separated. Our experiments examine five Transformer-based autoregressive models, showing that they effectively identify and distinguish entities with metrics analogous to precision and recall ranging from 0.66 to 0.9. Further analysis reveals that entity-related information is compactly represented in a low-dimensional linear subspace at early LM layers. Additionally, we clarify how the characteristics of entity representations influence word prediction performance. These findings are interpreted through the lens of isomorphism between LM representations and entity-centric knowledge structures in the real world, providing insights into how LMs internally organize and use entity information.
• Abstract（参考訳）: 言語モデル(LM)の内部表現が、名前付きエンティティの言及を識別し、区別する範囲を分析し、エンティティとその参照間の多対多の対応に注目した。 まず、エンティティの言及(曖昧さと可変性)の2つの問題を定式化し、クラスタリングの品質指標に類似したフレームワークを提案する。 具体的には、LMの内部表現のクラスタ分析を通して、同一のエンティティクラスタの言及が混在する程度を定量化し、異なるエンティティの言及が分離されたままである。 実験では,トランスフォーマーを用いた5つの自己回帰モデルについて検討し,0.66から0.9の範囲の精度とリコールに類似した指標を持つエンティティを効果的に識別し,識別することを示した。 さらに解析により、エンティティ関連情報は、初期のLM層における低次元線形部分空間でコンパクトに表現されていることが明らかになった。 さらに,実体表現の特徴が単語予測性能にどのように影響するかを明らかにする。 これらの知見は、実世界におけるLM表現とエンティティ中心の知識構造との間の同型性のレンズを通して解釈され、LMがエンティティ情報を内部的に構成し、利用する方法についての洞察を与える。

関連論文リスト

• Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
  大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。 我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。 モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-27T16:24:02Z)
• Disentangling Linguistic Features with Dimension-Wise Analysis of Vector Embeddings [0.0]
  本稿では,異なる言語特性(LP)を符号化したベクトル埋め込みの特定の次元を明らかにするための枠組みを提案する。 本稿では,同義語,否定語,時制,量などの10つの重要な言語的特徴を分離するLinguistically Distinct Sentence Pairsデータセットを紹介する。 このデータセットを用いて,様々な手法を用いてBERT埋め込みを分析し,各LPの最も影響力のある次元を同定する。 我々の研究結果は、否定や極性といった特定の性質が特定の次元で強固に符号化されている一方で、同義語のような他の性質はより複雑なパターンを示すことを示している。
  論文  参考訳（メタデータ） (2025-04-20T23:38:16Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Persistent Topological Features in Large Language Models [0.6597195879147556]
  トポロジ的特徴の持続性と変換を定量化する新しい指標である永続化類似性を導入する。 従来の類似度測定とは異なり、我々の手法はこれらの特徴の進化軌道全体を捉えている。 実用的なアプリケーションとして、永続化の類似性を活用して冗長なレイヤを特定し、実行します。
  論文  参考訳（メタデータ） (2024-10-14T19:46:23Z)
• Knowing Your Nonlinearities: Shapley Interactions Reveal the Underlying Structure of Data [8.029715695737567]
  我々はShapley Taylorインタラクション指標(STII)を用いて、基礎となるデータ構造がモデル表現に与える影響を分析する。 マスキングおよび自己回帰言語モデル(MLとALM)の言語構造を考えると,STIIは慣用表現内で増加することが分かる。 本研究の音声モデルでは, 音素の開口度が音素の文脈によってどの程度変化するかを, 音素の主成分として反映している。
  論文  参考訳（メタデータ） (2024-03-19T19:13:22Z)
• Two Heads Are Better Than One: Integrating Knowledge from Knowledge Graphs and Large Language Models for Entity Alignment [31.70064035432789]
  LLMEA(Large Language Model-enhanced Entity Alignment Framework)を提案する。 LLMEAは、知識グラフにまたがるエンティティ間の類似性を埋め込んだり、仮想の等価エンティティとの距離を編集することで、特定のエンティティの候補アライメントを識別する。 3つの公開データセットで実施された実験により、LLMEAが主要なベースラインモデルを上回ることが判明した。
  論文  参考訳（メタデータ） (2024-01-30T12:41:04Z)
• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
  算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。 これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
  論文  参考訳（メタデータ） (2023-05-24T11:43:47Z)
• Boundary Knowledge Translation based Reference Semantic Segmentation [62.60078935335371]
  視覚境界知識翻訳を行うための参照参照セグメンテーションネットワーク(Ref-Net)を導入する。 人間の認識機構にインスパイアされたRTMTMは、参照オブジェクトの特徴に基づいて、同じカテゴリオブジェクトをセグメント化するだけに考案されている。 Ref-Netは、数十の細かい注釈付きサンプルをガイダンスとして、完全に教師された6つのデータセットのメソッドと同等の結果を得る。
  論文  参考訳（メタデータ） (2021-08-01T07:40:09Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。