論文の概要: Uncovering Emergent Physics Representations Learned In-Context by Large Language Models

• arxiv url: http://arxiv.org/abs/2508.12448v1
• Date: Sun, 17 Aug 2025 17:49:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.775811
• Title: Uncovering Emergent Physics Representations Learned In-Context by Large Language Models
• Title（参考訳）: 大規模言語モデルによる文脈学習による創発的物理表現の発見
• Authors: Yeongwoo Song, Jaeyong Bae, Dong-Kyum Kim, Hawoong Jeong,
• Abstract要約: 大規模言語モデル(LLM)は、テキストプロンプトだけで幅広いタスクを解くことができる、印象的なインコンテキスト学習(ICL)能力を示す。 本稿では LLM の ICL 能力について考察する。 物理系における動的予測タスクをプロキシとして使用し、LLMが文脈で物理を学習できるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 1.8749305679160366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit impressive in-context learning (ICL) abilities, enabling them to solve wide range of tasks via textual prompts alone. As these capabilities advance, the range of applicable domains continues to expand significantly. However, identifying the precise mechanisms or internal structures within LLMs that allow successful ICL across diverse, distinct classes of tasks remains elusive. Physics-based tasks offer a promising testbed for probing this challenge. Unlike synthetic sequences such as basic arithmetic or symbolic equations, physical systems provide experimentally controllable, real-world data based on structured dynamics grounded in fundamental principles. This makes them particularly suitable for studying the emergent reasoning behaviors of LLMs in a realistic yet tractable setting. Here, we mechanistically investigate the ICL ability of LLMs, especially focusing on their ability to reason about physics. Using a dynamics forecasting task in physical systems as a proxy, we evaluate whether LLMs can learn physics in context. We first show that the performance of dynamics forecasting in context improves with longer input contexts. To uncover how such capability emerges in LLMs, we analyze the model's residual stream activations using sparse autoencoders (SAEs). Our experiments reveal that the features captured by SAEs correlate with key physical variables, such as energy. These findings demonstrate that meaningful physical concepts are encoded within LLMs during in-context learning. In sum, our work provides a novel case study that broadens our understanding of how LLMs learn in context.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストプロンプトだけで幅広いタスクを解くことができる、印象的なインコンテキスト学習(ICL)能力を示す。 これらの能力が進歩するにつれて、適用範囲は拡大し続けている。 しかし、多種多様なタスクのクラスにまたがってICCを成功させることができるLSM内の正確なメカニズムや内部構造を特定することは、いまだ解明されていない。 物理ベースのタスクは、この課題を調査するための有望なテストベッドを提供する。 基本的な算術や記号方程式のような合成列とは異なり、物理系は基本原理に基づく構造化力学に基づく実験的に制御可能な実世界のデータを提供する。 これにより, LLMの創発的推論行動について, 現実的かつトラクタブルな環境下での研究に特に適している。 本稿では LLM の ICL 能力,特に物理学的推論能力について考察する。 物理系における動的予測タスクをプロキシとして使用し、LLMが文脈で物理を学習できるかどうかを評価する。 まず、コンテキストにおける動的予測の性能が、より長い入力コンテキストで改善されることを示す。 LLMにおいてそのような機能がどのように現れるかを明らかにするために、スパースオートエンコーダ(SAE)を用いてモデルの残ストリームアクティベーションを分析する。 実験の結果,SAEが捉えた特徴はエネルギーなどの物理変数と相関していることがわかった。 これらの結果は、文脈内学習において、意味のある物理概念がLLM内にエンコードされていることを示している。 まとめると、我々の研究は、LLMが文脈でどのように学習するかについての理解を広げる新しいケーススタディを提供する。

関連論文リスト

• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• A Survey on Large Language Models with some Insights on their Capabilities and Limitations [0.3222802562733786]
  大規模言語モデル(LLM)は、様々な言語関連タスクで顕著なパフォーマンスを示す。 LLMは、そのコア機能を超えて、創発的な能力を示す。 本稿では,これらの機能を実現する基盤となるコンポーネント,スケーリング機構,アーキテクチャ戦略について検討する。
  論文  参考訳（メタデータ） (2025-01-03T21:04:49Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law [3.281128493853064]
  主にテキストに基づいて訓練された言語モデルは、微調整やプロンプトエンジニアリングなしで動的システム時系列の正確な予測を行う。 LLMから直接多桁数の確率密度関数を抽出するフレキシブルで効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-01T17:28:10Z)
• Prompting Large Language Models for Counterfactual Generation: An Empirical Study [13.506528217009507]
  大規模言語モデル(LLM)は、幅広い自然言語理解と生成タスクにおいて顕著な進歩を遂げている。 本稿では,様々な種類のNLUタスクに対する総合的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:44:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。