論文の概要: Few-Shot Demonstrations Elicit the Use of In-Context World Representations in LLMs

• arxiv url: http://arxiv.org/abs/2609.24352v1
• Date: Mon, 21 Sep 2026 09:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.980153
• Title: Few-Shot Demonstrations Elicit the Use of In-Context World Representations in LLMs
• Title（参考訳）: LLMにおけるIn-Context World Representationsの使用を緩和した短いショットデモ
• Abstract要約: 大規模言語モデル(LLM)は、観測されたデータを文脈で捉え、世界の背後にある潜在状態空間を推測し、下流の予測に利用することが期待されている。 異なる世界から各デモが生成され、予測が強化されるような、この設定を数ショットに拡張できることが示される。 数発のデモによって世界表現が移り変わり、予測的利用が増加することが分かりました。
• 参考スコア（独自算出の注目度）: 44.08991506609012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs), when acting as agents, are expected to take observed data in context, infer the latent state space underlying the world, and leverage it for downstream prediction. However, prior work demonstrated that LLMs struggle to use representations learned in context on a graph tracking task, where the model needs to construct a representation of the graph governing data generation process and use it for subsequent predictions. In this paper, we show that extending this to few-shot settings, where each demonstration is generated from a different world with either the same or different graph topologies, enhances its prediction on 6 models from 4 model families. To understand this improvement, we linearly probe a low-dimensional world representation that encodes graph information in the hidden states. Notably, we find that few-shot demonstrations relocate the world representation and increase its predictive use. Specifically, for each model, these world representations shift in directions nearly orthogonal to their original subspace, and interventions on these representations selectively impair performance more than interventions on other subspaces. Consistent with this insight, we show that few-shot demonstrations with observations from different worlds improve performance on ARC-AGI-1&2, web agent tasks, and Othello. Our findings elucidate the role and internal mechanisms of few-shot demonstrations in in-context world modeling. More broadly, our work advances our understanding of how LLM agents learn from in-context observations and provides implications for their further improvement.
• Abstract（参考訳）: エージェントとして機能する大規模言語モデル(LLM)は、観測されたデータをコンテキストで取り、世界の背後にある潜在状態空間を推測し、下流の予測に利用することが期待されている。 しかし、以前の研究は、LLMがグラフ追跡タスクの文脈で学習した表現を使用するのに苦労していることを示し、そこでは、モデルがデータ生成プロセスを管理するグラフの表現を構築し、その後の予測にそれを使う必要がある。 本稿では,これらを,同じあるいは異なるグラフトポロジを持つ異なる世界から各デモが生成されるような,数ショット設定に拡張することで,モデルファミリの6つのモデルに対する予測が向上することを示す。 この改善を理解するために,隠れ状態のグラフ情報をエンコードする低次元世界表現を線形に探索する。 特に、数発のデモによって世界表現が移り変わり、予測的利用が増加することがわかりました。 具体的には、各モデルについて、これらの世界表現は元の部分空間にほぼ直交する方向にシフトし、これらの表現への介入は他の部分空間への介入よりも選択的にパフォーマンスを損なう。 この知見に従えば, ARC-AGI-1&2 や Web エージェントタスク, Othello などにおいて, 異なる世界からの観測による数発のデモンストレーションにより, 性能が向上することを示す。 本研究は,インコンテキスト・ワールド・モデリングにおけるショット・デモの役割と内部メカニズムを明らかにするものである。 より広範に、我々の研究は、LLMエージェントが文脈内観察からどのように学習するかについての理解を深め、それらのさらなる改善に影響を及ぼす。

関連論文リスト

• Unsupervised Semantic Segmentation Facilitates Model Understanding [5.902216784679335]
  自己教師型学習(SSL)は視覚変換器(ViT)の多様な景観を生み出している 本稿では, モデル理解をより分かりやすく, 直感的にするための, シンプルかつ容易に解釈可能な可視化プロトコルを提案する。 我々は,DINOv3-Largeモデルトークンの強い境界アーティファクトを含む,異なる位置バイアスとスケーリング行動に関する新たな知見を得た。
  論文  参考訳（メタデータ） (2026-05-28T09:52:52Z)
• DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
  本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。 DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。 実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
  論文  参考訳（メタデータ） (2025-07-06T16:14:29Z)
• From Compression to Expression: A Layerwise Analysis of In-Context Learning [24.45948310980883]
  In-context Learning (ICL)は、大規模な言語モデルで、デモシーケンスから学習することで、重み付けなしで新しいタスクに適応することができる。 ICL表現の統計的幾何学的解析を行い,各層にまたがるタスク固有情報の取得方法について検討する。 この結果から,ILC の階層的ダイナミックな構造的表現が LLM 内でどのように現れるかが明らかとなり,内部表現の分析がモデル行動のより深い理解を促進することが示唆された。
  論文  参考訳（メタデータ） (2025-05-22T22:22:03Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。