論文の概要: Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms

• arxiv url: http://arxiv.org/abs/2604.21882v1
• Date: Thu, 23 Apr 2026 17:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.787596
• Title: Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms
• Title（参考訳）: 大規模言語モデルにおける非バーベティム記憶の再検討:エンティティサーフェスフォームの役割
• Authors: Yuto Nishida, Naoki Shikoda, Yosuke Kishinami, Ryo Fujii, Makoto Morishita, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: RedirectQAは、Wikipediaのリダイレクト情報を利用して、Wikidataのファクトトリプルと各エンティティの分類されたサーフェスフォームを関連付けるエンティティベースのQAデータセットである。 本研究では, 表面条件の事実記憶について検討し, 実体表面のみが変化すると, 予測結果が頻繁に変化することを示した。 全体として、事実記憶は純粋に表面特異的でもなく、完全に表面不変でもなく、非バーベティム記憶の評価において表面形状の多様性の重要性を強調している。
• 参考スコア（独自算出の注目度）: 48.55587655052441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding what kinds of factual knowledge large language models (LLMs) memorize is essential for evaluating their reliability and limitations. Entity-based QA is a common framework for analyzing non-verbatim memorization, but typical evaluations query each entity using a single canonical surface form, making it difficult to disentangle fact memorization from access through a particular name. We introduce RedirectQA, an entity-based QA dataset that uses Wikipedia redirect information to associate Wikidata factual triples with categorized surface forms for each entity, including alternative names, abbreviations, spelling variants, and common erroneous forms. Across 13 LLMs, we examine surface-conditioned factual memorization and find that prediction outcomes often change when only the entity surface form changes. This inconsistency is category-dependent: models are more robust to minor orthographic variations than to larger lexical variations such as aliases and abbreviations. Frequency analyses further suggest that both entity- and surface-level frequencies are associated with accuracy, and that entity frequency often contributes beyond surface frequency. Overall, factual memorization appears neither purely surface-specific nor fully surface-invariant, highlighting the importance of surface-form diversity in evaluating non-verbatim memorization.
• Abstract（参考訳）: 言語モデル(LLM)が記憶する事実の知識の種類を理解することは、その信頼性と限界を評価する上で不可欠である。 エンティティベースのQAは、非バーバティム記憶を解析するための一般的なフレームワークであるが、典型的な評価では、個々のエンティティを単一の標準曲面形式でクエリし、ファクト記憶を特定の名前によるアクセスから切り離すことが困難である。 RedirectQAというエンティティベースのQAデータセットを導入し、ウィキソースのファクトトリプルを、代替名、略語、スペル変種、一般的な誤形など、各エンティティの分類された表面形式に関連付けるためにウィキペディアのリダイレクト情報を利用する。 13個のLDMに対して,実測値と実測値の相関関係を調べた結果,実測値のみが変化した場合に,予測結果が頻繁に変化することがわかった。 モデルは、エイリアスや略語のようなより大きな語彙のバリエーションよりも、小さな正書法的なバリエーションに対してより堅牢である。 さらに、周波数解析により、実体レベルと表面レベルの両方の周波数が精度に関連し、実体周波数が表面周波数を超えて寄与することが示唆される。 全体として、事実記憶は純粋に表面特異的でもなく、完全に表面不変でもなく、非バーベティム記憶の評価において表面形状の多様性の重要性を強調している。

関連論文リスト

• Evaluating Contextually Mediated Factual Recall in Multilingual Large Language Models [47.44133672489574]
  大規模言語モデル(LLM)における文脈依存的事実リコールについて検討する。 文脈的調停は事実的想起を常に低下させ、関係性にかなりの変化をもたらす。 これらの知見は、孤立した事実記憶と文脈依存言語理解のギャップを浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-01-18T19:38:55Z)
• RelationalFactQA: A Benchmark for Evaluating Tabular Fact Retrieval from Large Language Models [9.211266032947497]
  我々は,事実検索が孤立点問合せよりもかなり難しいことを実証した。 我々の実験では、最先端のLLMでさえ25%以上の精度で苦戦していることがわかった。 これらの知見は、構造化された事実知識を合成する現在のLLMの能力において、重要な限界である。
  論文  参考訳（メタデータ） (2025-05-27T16:33:38Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Do LLMs Dream of Ontologies? [13.776194387957617]
  大規模モデル言語(LLM)は、様々な自然言語処理タスクにまたがる顕著な記憶を実証している。 本稿では,LLMが公開リソースから概念識別子(ID)-ラベル関連を正しく再現する範囲について検討する。
  論文  参考訳（メタデータ） (2024-01-26T15:10:23Z)
• Open-domain Visual Entity Recognition: Towards Recognizing Millions of Wikipedia Entities [54.26896306906937]
  我々はOVEN-Wikiを提示する。そこでは、テキストクエリに関して、モデルをウィキペディアのエンティティにリンクする必要がある。 私たちは、微調整中に見たことのないWikipediaのエンティティでも、PaLIベースの自動回帰視覚認識モデルが驚くほどうまく機能していることを示します。 PaLIベースのモデルでは全体的なパフォーマンスが向上するが、CLIPベースのモデルはテールエンティティを認識するのに優れている。
  論文  参考訳（メタデータ） (2023-02-22T05:31:26Z)
• Knowledge-based Document Classification with Shannon Entropy [0.0]
  そこで我々は,シャノン・エントロピーを用いた知識ベースモデルを提案し,情報の豊かさを計測し,一様で多様なキーワードマッチングを好む。 シャノンエントロピーは偽陽性率の一定レベルにおいてリコールを著しく改善することを示す。
  論文  参考訳（メタデータ） (2022-06-06T05:39:10Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。