論文の概要: Fact Recall, Heuristics or Pure Guesswork? Precise Interpretations of Language Models for Fact Completion

• arxiv url: http://arxiv.org/abs/2410.14405v3
• Date: Mon, 10 Mar 2025 12:47:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:42:27.126271
• Title: Fact Recall, Heuristics or Pure Guesswork? Precise Interpretations of Language Models for Fact Completion
• Title（参考訳）: Fact Recall, Heuristics or Pure Guesswork : Fact Completionのための言語モデルの精密解釈
• Authors: Denitsa Saynova, Lovisa Hagström, Moa Johansson, Richard Johansson, Marco Kuhlmann,
• Abstract要約: 言語モデル(LM)はプロンプト内の多くの可能な信号に基づいて正しい予測を行うことができる。 4つの異なる予測シナリオの例を用いてデータセットを構築するためのモデル固有のレシピPrISMを提案する。
• 参考スコア（独自算出の注目度）: 9.383571944693188
• License:
• Abstract: Language models (LMs) can make a correct prediction based on many possible signals in a prompt, not all corresponding to recall of factual associations. However, current interpretations of LMs fail to take this into account. For example, given the query "Astrid Lindgren was born in" with the corresponding completion "Sweden", no difference is made between whether the prediction was based on knowing where the author was born or assuming that a person with a Swedish-sounding name was born in Sweden. In this paper, we present a model-specific recipe - PrISM - for constructing datasets with examples of four different prediction scenarios: generic language modeling, guesswork, heuristics recall and exact fact recall. We apply two popular interpretability methods to the scenarios: causal tracing (CT) and information flow analysis. We find that both yield distinct results for each scenario. Results for exact fact recall and generic language modeling scenarios confirm previous conclusions about the importance of mid-range MLP sublayers for fact recall, while results for guesswork and heuristics indicate a critical role of late last token position MLP sublayers. In summary, we contribute resources for a more extensive and granular study of fact completion in LMs, together with analyses that provide a more nuanced understanding of how LMs process fact-related queries.
• Abstract（参考訳）: 言語モデル(LM)はプロンプト内の多くの可能な信号に基づいて正しい予測を行うことができる。 しかし、現在のLMの解釈は、これを考慮に入れていない。 例えば、「Astrid Lindgren was born in」という問合せとそれに対応する「Sweden」が書かれたことを考えると、この予測は著者の生年月日を知るか、スウェーデン語で「Astrid Lindgren was born in Sweden」と仮定するかの違いはない。 本稿では、汎用言語モデリング、推測処理、ヒューリスティックスリコール、正確な事実リコールの4つのシナリオを例に、データセットを構築するためのモデル固有のレシピPrISMを提案する。 本稿では,因果トレース(CT)と情報フロー解析の2つの手法をシナリオに適用する。 どちらのシナリオでも,それぞれ異なる結果が得られます。 ファクトリコールおよびジェネリック言語モデリングシナリオの結果は、ファクトリコールにおける中距離MLPサブレイヤの重要性に関する過去の結論を裏付ける一方、推測やヒューリスティックスの結果は、後期トークン位置MLPサブレイヤの重要な役割を示している。 まとめると、我々は、LMがファクト関連クエリをどのように処理するかをより微妙に理解する分析とともに、LMにおけるファクト補完のより広範囲できめ細かい研究にリソースを貢献する。

関連論文リスト

• Model-diff: A Tool for Comparative Study of Language Models in the Input Space [34.680890752084004]
  本稿では,ブルートフォース列挙が実現不可能な大入力空間を考慮した新しいモデル比較分析手法を提案する。 実験により、大規模な入力空間におけるLM間の定量的予測の違いが初めて明らかとなり、モデルプラジャリズムのような応用のためのモデル解析が促進される可能性がある。
  論文  参考訳（メタデータ） (2024-12-13T00:06:25Z)
• Explanation sensitivity to the randomness of large language models: the case of journalistic text classification [6.240875403446504]
  本研究では,大規模言語モデルの学習におけるランダム要素の影響について,その予測可能性について検討する。 微調整のCamemBERTモデルと、関連性伝播に基づく説明手法を用いて、異なるランダムシードを用いたトレーニングは、類似の精度であるが可変的な説明を伴うモデルを生成する。
  論文  参考訳（メタデータ） (2024-10-07T14:39:45Z)
• Explaining word embeddings with perfect fidelity: Case study in research impact prediction [0.0]
  単語埋め込みを訓練したロジスティック回帰に基づく分類モデルのための自己モデルRated Entities (SMER)。 SMERは,テキスト中の個々の単語の予測平均と正確に一致するので,理論上は説明モデルと完全に一致していることを示す。
  論文  参考訳（メタデータ） (2024-09-24T09:28:24Z)
• Using LLMs for Explaining Sets of Counterfactual Examples to Final Users [0.0]
  自動意思決定シナリオでは、因果推論手法は基礎となるデータ生成プロセスを分析することができる。 カウンターファクトな例では、最小限の要素が変更される仮説的なシナリオを探求する。 本稿では,アクションの自然言語説明を生成するために,反事実を用いた新しい多段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-27T15:13:06Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。