論文の概要: When the Text Is Silent: Memory Shortcuts and the Validity of LLM Annotation under Evidence Insufficiency

• arxiv url: http://arxiv.org/abs/2611.02273v1
• Date: Sun, 01 Nov 2026 22:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.542579
• Title: When the Text Is Silent: Memory Shortcuts and the Validity of LLM Annotation under Evidence Insufficiency
• Title（参考訳）: テキストが無意味であるとき:メモリショートカットとエビデンス不足下におけるLCMアノテーションの妥当性
• Abstract要約: 大規模言語モデル (LLMs) は、社会科学研究、コンテンツモデレーション、トレーニングデータのためのアノテートテキストとしてますます使われている。 この動作をメモリショートカットと呼び、それがいつ現れるか、何が増幅するか、どのように緩和するかを調べます。 広く認識されている995人の人物と4人の人物ごとの一致した制御名を用いて、文献的証拠を事前の知識から分離する対実的テキストを構築した。
• 参考スコア（独自算出の注目度）: 22.014571549432006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to annotate text for social science research, content moderation, and training data. Their broad knowledge of real-world entities raises a concern: when labeling a text, do they rely on its evidence or substitute what they already know? We call this behavior a memory shortcut and examine when it emerges, what amplifies it, and how to mitigate it. Using 995 widely recognized public figures and four matched control names per figure, we construct counterfactual texts that separate textual evidence from prior knowledge, and evaluate three commercial LLMs on 121,594 prompts each across five stages. We find a striking asymmetry. Although all models recognize nearly every figure, none follows memory over the text when the two conflict. Shortcuts instead emerge when evidence is absent: for one model, famous names raise the rate of remembered occupations, ages, and countries by 17.0, 14.9, and 6.8 percentage points relative to synthetic names. These effects occur only for recognized figures, and 98.6% of the resulting labels are factually correct about the namesake while none is supported by the text. Evaluation threats and answer-contingent rewards amplify shortcuts by 8.7 and 12.4 points. Famous names also raise leadership ratings of sparsely documented applicants by 0.22 and 0.28 points in two models. A namesake reminder and name masking each eliminate the shortcuts, with trade-offs in gender annotation. LLM annotations can thus be factually correct yet methodologically invalid. Trustworthy LLM annotation requires audits that test evidence absence, account for incentives in annotation instructions, and evaluate the attribute-specific trade-offs of mitigation.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、社会科学研究、コンテンツモデレーション、トレーニングデータのためのアノテートテキストとしてますます使われている。 テキストをラベル付けするとき、彼らはその証拠に依存しているのか、既に知っているものを置き換えるのか? この動作をメモリショートカットと呼び、それがいつ現れるか、何が増幅するか、どのように緩和するかを調べます。 995の広範に認識されている公開人物と4つの一致した制御名を用いて、先行知識からテキスト証拠を分離する偽造テキストを構築し、121,594段の商業LSMを5段階に分けて評価する。 顕著な非対称性を見いだす。 すべてのモデルはほぼすべての図を認識できるが、2つの衝突の際は、テキスト上の記憶に従わない。 あるモデルでは、有名な名前が記憶された職業、年齢、国の割合を17.0、14.9、および6.8ポイント引き上げる。 これらの効果は認識された数字に対してのみ発生し、結果として得られたラベルの98.6%は、テキストによって支持されることなく、実際にその名称が正しい。 評価脅威と解答報酬はショートカットを8.7点と12.4点に増幅する。 有名人は2つのモデルでわずかに文書化された応募者のリーダーシップ評価を0.22ポイント、0.28ポイント引き上げている。 名前付きリマインダーと名前マスキングは、それぞれショートカットを排除し、性別アノテーションのトレードオフがある。 LLMアノテーションは事実上正しいが、方法論的には無効である。 信頼できるLCMアノテーションは、証拠の欠如、アノテーション命令のインセンティブの説明、属性固有の緩和のトレードオフを評価する監査を必要とする。

関連論文リスト

• Character-Name Concentration in LLM Fiction: Measuring Displacement and Mitigating Repetition [41.99844472131922]
  本研究では,8つの戦略にまたがる名称集中制御の実証的研究を行い,投機的命名を導入した。 テキストと視覚刺激(88,919字)から4言語で44,782語を生成する。 リストフリー衝突計(Slop Ratio, SR)を用いて, 既知成分と創発成分に分解した濃度を測定した。
  論文  参考訳（メタデータ） (2026-10-31T21:36:29Z)
• ALIAS: Evaluating Performance and Memorization in LLM-Written TLA+ Specifications [1.4462128376169208]
  我々は、一貫した識別子リネーム(CIR)でテストし、タスク内のすべての識別子に新しい名前を与え、リコールの証拠としてリコールされたタスクの低いスコアを扱います。 111のTLA+-Benchタスクで、Claude Opus 4.8の正しさを28%から18%に下げ、GPT-5の正しさを9%から7%に下げる。 2つのモデルファミリーでは、タスクの相容れない部分で微調整され、リネームによってトレーニングの収益の約半分が取り除かれ、4.9ポイント(Qwen)と1.3ポイント(Gemma)のコストがかかる。
  論文  参考訳（メタデータ） (2026-10-21T14:02:02Z)
• How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs [61.601626186678146]
  音声大言語モデル(LLM)に対するWhisperに基づく2つの文脈バイアス法の評価を行った。 文脈バイアス法は、WERのバイアスを最大88%削減し、他の単語はほとんど影響を受けなかった。 音声LLMは読み上げ音声に優れるが、非読み出し音声にはあまり適さないため、散発的数に敏感であり、語順を誘導する。
  論文  参考訳（メタデータ） (2026-08-06T08:45:33Z)
• When Names Disappear: Revealing What LLMs Actually Understand About Code [7.691597373321699]
  大規模言語モデル(LLM)は、コードタスクにおいて強力な結果をもたらすが、どのようにプログラムの意味を導き出すかは、まだ不明である。 形式的な振る舞いを定義する構造的意味論と、意図を伝える人間の解釈可能な命名という2つのチャンネルを通じてコードがコミュニケーションすると主張する。 命名チャンネルの削除は、モデルが行ごとの記述に回帰する、要約のような意図レベルのタスクを著しく低下させる。
  論文  参考訳（メタデータ） (2025-10-03T16:53:13Z)
• Can Large Language Models Really Recognize Your Name? [23.4365383606717]
  現代大規模言語モデル(LLM)は、曖昧な文脈のため、短いテキストスニペットでも定期的に人名を見落としている。 AMBENCHは、明らかに不明瞭な人物名のベンチマークデータセットである。
  論文  参考訳（メタデータ） (2025-05-20T16:05:05Z)
• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• Deceptive Semantic Shortcuts on Reasoning Chains: How Far Can Models Go without Hallucination? [73.454943870226]
  本研究はセマンティックアソシエーションによって誘発される特定の種類の幻覚の研究である。 この現象を定量化するために,EureQAと呼ばれる新しい探索手法とベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-11-16T09:27:36Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)
• How Pre-trained Language Models Capture Factual Knowledge? A Causal-Inspired Analysis [43.86843444052966]
  PLMは, 効果的な手がかりやショートカットパターンに頼って, 欠落した単語を生成する方法を示す。 欠落した単語に典型的な3つの関連がある単語(知識依存、位置近接、高度に共起する単語)をチェックする。 PLMは、不適切な関連性に依存するため、事実知識を効果的に捉えていないと結論付けている。
  論文  参考訳（メタデータ） (2022-03-31T02:01:26Z)
• Short-Term Word-Learning in a Dynamically Changing Environment [63.025297637716534]
  本稿では、単語/フレーズメモリと、このメモリにアクセスして単語やフレーズを正しく認識するためのメカニズムを用いて、エンドツーエンドのASRシステムを補完する方法を示す。 誤報がわずかに増加しただけで, 単語の検出速度が大幅に向上した。
  論文  参考訳（メタデータ） (2022-03-29T10:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。