論文の概要: In-Context Examples Suppress Scientific Knowledge Recall in LLMs

• arxiv url: http://arxiv.org/abs/2604.27540v1
• Date: Thu, 30 Apr 2026 07:46:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.975641
• Title: In-Context Examples Suppress Scientific Knowledge Recall in LLMs
• Title（参考訳）: LLMにおける科学知識のリコールを抑えるインテクスト事例
• Authors: Chaemin Jang, Woojin Park, Hyeok Yun, Dongman Lee, Jihee Kim,
• Abstract要約: 大規模な言語モデルは、しばしば関連する科学的公式を思い出し、適用することができることを示す。 コンテキスト内サンプルを追加することで、モデルが事前訓練されたドメイン知識に依存しなくなることを示す。 5つの領域にわたる60の潜在構造回復タスクについて,この知識の変位を報告する。
• 参考スコア（独自算出の注目度）: 2.6650207660598695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific reasoning rarely stops at what is directly observable; it often requires uncovering hidden structure from data. From estimating reaction constants in chemistry to inferring demand elasticities in economics, this latent structure recovery is what distinguishes scientific reasoning from curve fitting. Large language models (LLMs) can often recall and apply relevant scientific formulas, but we show that this ability is surprisingly easy to suppress. We show that adding in-context examples makes models rely less on pretrained domain knowledge, even when those examples are generated by the very same formula. Rather than reinforcing knowledge-driven derivation, examples shift computation toward empirical pattern fitting. We document this knowledge displacement on 60 latent structure recovery tasks across five scientific domains, 6,000 trials, and four models. This displacement is consistent across domains, but its accuracy consequences depend on how the displaced strategy compares to the one that replaces it: the same shift can lower accuracy, leave it unchanged, or appear to improve it. In all cases, however, the model shifts away from knowledge-driven reasoning. For practitioners deploying LLMs on scientific tasks, the message is cautionary: in-context examples may displace, rather than reinforce, the knowledge they are intended to support.
• Abstract（参考訳）: 科学的な推論は直接観測可能な場所で止まることは滅多になく、しばしばデータから隠れた構造を明らかにする必要がある。 化学における反応定数の推定から経済学における要求弾力性の推定まで、この潜在構造回復は、曲線の適合から科学的推論を区別するものである。 大規模言語モデル(LLM)は、しばしば関連する科学式を思い出し、適用することができるが、この能力は驚くほど簡単に抑制できることが示されている。 文脈内サンプルを追加することで、モデルが全く同じ公式によって生成された場合であっても、事前訓練されたドメイン知識に頼らずに済むことを示す。 知識駆動の導出を強化するのではなく、例は計算を経験的パターンフィッティングにシフトさせる。 5つの科学的領域、6,000のトライアル、および4つのモデルにわたる60の潜在構造回復タスクについて、この知識の変位を文書化する。 この変位は、領域間で一貫性があるが、その精度は、置換された戦略がそれを置き換える戦略とどのように比較されるかに依存する:同じシフトは、精度を下げたり、変化を残したり、改善するように見える。 しかし、いずれの場合も、モデルは知識駆動推論から遠ざかる。 科学的なタスクにLLMをデプロイする実践者にとって、このメッセージは注意が必要である。

関連論文リスト

• Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
  基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。 RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。 RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
  論文  参考訳（メタデータ） (2025-11-10T18:25:26Z)
• Atomic Reasoning for Scientific Table Claim Verification [83.14588611859826]
  非専門家は、その高い情報密度と認識される信頼性のために、科学的表に基づく主張を誤解させるおそれがある。 既存のテーブルクレーム検証モデル、例えば最先端の大規模言語モデル(LLM)は、しばしば精密なきめ細かい推論に苦しむ。 認知負荷理論に触発されて、表に基づく主張を解釈するモデルの能力を高めるには、認知負荷を減らす必要がある。
  論文  参考訳（メタデータ） (2025-06-08T02:46:22Z)
• Representation Shattering in Transformers: A Synthetic Study with Knowledge Editing [20.276952762837098]
  知識編集(KE)アルゴリズムは、モデルの重みを変更して、不正、時代遅れ、その他の望ましくない事実関連付けに対するターゲット更新を実行する。 我々は,KEの適用が,モデルのより広い事実的リコール精度に悪影響を及ぼし,推論能力が低下することを示す。 我々の研究は、KEがモデル能力に悪影響を及ぼす理由を説明するための正確な力学仮説をもたらす。
  論文  参考訳（メタデータ） (2024-10-22T17:13:34Z)
• Context-Aware Reasoning On Parametric Knowledge for Inferring Causal Variables [49.31233968546582]
  本稿では,部分因果グラフの完成を目的とした新しいベンチマークを提案する。 原因と効果の間のバックドア変数を仮説化するLLMの強い能力を示す。 固定された関連性の単純な記憶とは異なり、我々のタスクはグラフ全体のコンテキストに応じてLCMを推論する必要がある。
  論文  参考訳（メタデータ） (2024-09-04T10:37:44Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。