論文の概要: LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

• arxiv url: http://arxiv.org/abs/2606.27237v1
• Date: Thu, 25 Jun 2026 16:22:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.355879
• Title: LMs as Task-Specific Knowledge Bases: An Interpretability Analysis
• Title（参考訳）: タスク特化知識ベースとしてのLM:解釈可能性分析
• Abstract要約: タスク固有の方法で知識を符号化する言語モデルについて検討する。 本研究では,あるタスクで獲得した事実が,トレーニング中に他のタスクと共存することができないことを示す。 連鎖推論は, 評価課題に関連づけられたパラメータよりも, タスク固有のパラメータを係合させることによって, その有効性の一部を引き出すことを示す。
• 参考スコア（独自算出の注目度）: 45.933429785602506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) capture large amounts of factual knowledge applicable to a wide range of tasks, motivating the view of their parameters as a knowledge base. An important property of knowledge bases is that different queries for the same fact return consistent results, drawing on a single source of truth. We investigate whether LMs satisfy this property through behavioral and mechanistic analyses. Our results suggest that they encode knowledge in a task-specific manner. Behaviorally, facts acquired on one task frequently fail to co-emerge on others during training. Parameter localization experiments suggest a mechanistic explanation, revealing distinct parameter subsets underlying different tasks for the same fact. Finally, we show that chain-of-thought reasoning draws part of its effectiveness from engaging task-specific parameters beyond those tied to the evaluation task. Our findings suggest that what the model knows and how it is asked are intertwined in parameter space, undermining the "knowledge base" analogy and carrying implications for the reliability and controllability of factual knowledge in LMs.
• Abstract（参考訳）: 言語モデル(LM)は、幅広いタスクに適用可能な大量の事実知識をキャプチャし、それらのパラメータを知識ベースとして見る動機付けます。 知識ベースの重要な特性は、同じ事実に対する異なるクエリが一貫性のある結果を返すことである。 本研究では, LMが挙動解析および力学解析により, この特性を満足するかどうかを考察する。 この結果から,知識をタスク固有の方法で符号化できることが示唆された。 行動的には、あるタスクで取得した事実は、トレーニング中に他のタスクと共存することができないことが多い。 パラメータローカライゼーション実験は、同じ事実に対して異なるタスクの基礎となる異なるパラメータサブセットを明らかにする、メカニスティックな説明を示唆する。 最後に,チェーン・オブ・シント推論が,評価タスクに関連付けられたパラメータを超えて,タスク固有のパラメータを係合させることによって,その効果の一部を引き出すことを示す。 この結果は,モデルが何を知り,どのように問うかがパラメータ空間に絡み合っていることを示唆し,「知識ベース」の類似性を損なうとともに,LMにおける事実知識の信頼性と制御性に意味があることを示唆している。

関連論文リスト

• Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict [13.091464232666835]
  大規模言語モデルは文脈知識とパラメトリックメモリの両方を必要とするが、これらの情報源は一致しない。 本稿では,モデルの信念とキュレートされた知識集合との間の不一致を自動的に検出する,モデルに依存しない診断フレームワークを用いて,この問題を考察する。 競合によるパフォーマンス劣化は、タスクの知識依存と相関している。
  論文  参考訳（メタデータ） (2025-06-06T19:20:23Z)
• Latent Causal Probing: A Formal Perspective on Probing with Causal Models of Data [3.376269351435396]
  構造因果モデル(SCM)を用いた探索の形式的視点を開発する。 我々は,合成グリッドワールドナビゲーションタスクの文脈において,最近のLMの研究を拡張した。 我々の手法は、LMがテキストの根底にある潜在概念を誘発する能力を示す、堅牢な実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:27Z)
• A Unified Causal View of Instruction Tuning [76.1000380429553]
  メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。 主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
  論文  参考訳（メタデータ） (2024-02-09T07:12:56Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Pre-training Language Models with Deterministic Factual Knowledge [42.812774794720895]
  我々は, PLM が残りのコンテキストとマスキングコンテンツとの間にある決定論的関係を学習させることを提案する。 2つの事前学習タスクを導入し、マスクを充填する際の決定論的関係に依存するようにPLMを動機付けている。 実験により, PLMは実知識の収集において, 良好な堅牢性が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-20T11:04:09Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)
• oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
  本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。 基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
  論文  参考訳（メタデータ） (2019-12-31T12:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。