論文の概要: Language Models Struggle to Use Representations Learned In-Context

• arxiv url: http://arxiv.org/abs/2602.04212v1
• Date: Wed, 04 Feb 2026 04:55:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.375179
• Title: Language Models Struggle to Use Representations Learned In-Context
• Title（参考訳）: 文脈で学習した表現の言語モデル
• Authors: Michael A. Lepori, Tal Linzen, Ann Yuan, Katja Filippova,
• Abstract要約: 本研究は,大規模言語モデルにおいて,簡単なダウンストリームタスクを完了するためにコンテキスト内表現を使用できるかどうかを考察する。 オープンウェイト LLM がコンテキスト内で定義された新しい意味論の表現の展開に苦慮していることを示す。 全体として、本研究は、モデルに対して、提示された情報をコンテキスト内にエンコードするだけでなく、この情報の柔軟な展開をサポートする方法で、モデルに奨励する新しい方法を模索している。
• 参考スコア（独自算出の注目度）: 20.328647653504184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Though large language models (LLMs) have enabled great success across a wide variety of tasks, they still appear to fall short of one of the loftier goals of artificial intelligence research: creating an artificial system that can adapt its behavior to radically new contexts upon deployment. One important step towards this goal is to create systems that can induce rich representations of data that are seen in-context, and then flexibly deploy these representations to accomplish goals. Recently, Park et al. (2024) demonstrated that current LLMs are indeed capable of inducing such representation from context (i.e., in-context representation learning). The present study investigates whether LLMs can use these representations to complete simple downstream tasks. We first assess whether open-weights LLMs can use in-context representations for next-token prediction, and then probe models using a novel task, adaptive world modeling. In both tasks, we find evidence that open-weights LLMs struggle to deploy representations of novel semantics that are defined in-context, even if they encode these semantics in their latent representations. Furthermore, we assess closed-source, state-of-the-art reasoning models on the adaptive world modeling task, demonstrating that even the most performant LLMs cannot reliably leverage novel patterns presented in-context. Overall, this work seeks to inspire novel methods for encouraging models to not only encode information presented in-context, but to do so in a manner that supports flexible deployment of this information.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、さまざまなタスクで大きな成功を収めていますが、人工知能研究の最も大きな目標の1つとして、いまだに不足しているようです。 この目標に向けた重要なステップの1つは、コンテキスト内で見られるデータのリッチな表現を誘導し、その表現を柔軟に展開して目標を達成するシステムを作ることである。 最近、Park et al (2024) は、現在の LLM が文脈(文脈内表現学習)からそのような表現を誘導できることを実証した。 本研究は,LLMがこれらの表現を用いて,単純なダウンストリームタスクを完了できるかを考察する。 オープンウェイト LLM が次トーケン予測にコンテキスト内表現を利用できるかどうかをまず評価し,新しいタスクであるアダプティブワールドモデリングを用いてモデルを探索する。 いずれのタスクにおいても,オープンウェイトLLMは,これらのセマンティクスを潜在表現にエンコードしたとしても,文脈内で定義された新しいセマンティクスの表現の展開に苦慮していることを示す。 さらに、適応的世界モデリングタスクにおけるクローズドソース、最先端の推論モデルの評価を行い、最も高性能なLLMでさえ、コンテキスト内で提示された新しいパターンを確実に活用できないことを示す。 全体として、本研究は、モデルに対して、提示された情報をコンテキスト内にエンコードするだけでなく、この情報の柔軟な展開をサポートする方法で、モデルに奨励する新しい方法を模索している。

関連論文リスト

• Language Models as Semantic Augmenters for Sequential Recommenders [20.934150208996048]
  大規模言語モデル(LLM)は、様々なモダリティをまたいだ潜在意味論と文脈的関係を捉えるのに優れています。 このようなシーケンスを自動的に強化するフレームワークであるLaMARを紹介する。 LaMARは、ユーザの意図とメタデータからの項目関係の潜在意味的側面を推測することにより、補助的なコンテキスト信号を生成する。
  論文  参考訳（メタデータ） (2025-10-20T19:36:38Z)
• Representing LLMs in Prompt Semantic Task Space [0.1784233255402269]
  大規模言語モデル(LLM)は様々なタスクに対して印象的な結果をもたらす。 与えられたタスクに対して最高のパフォーマンスのLLMを特定することは、大きな課題です。 この研究は、プロンプトのセマンティックタスク空間内でLLMを線形作用素として表すための効率的で訓練のないアプローチを示す。
  論文  参考訳（メタデータ） (2025-09-26T15:48:10Z)
• Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines [71.14354526117958]
  In-context Learning (ICL) は、事前訓練された大規模言語モデル(LLM)の重要かつ完全には理解されていない能力である。 タスク言語とフォーマット特性をキャプチャする2つのガイドラインの並列ストリームを効率よく生成するLongGuideを提案する。 LongGuideはガイドラインの最良の組み合わせを自動的に選択し、ゼロショット設定と少数ショット設定の両方で、強力なオープンソースLLMとクローズドソースLLMの両方を5%以上改善する。
  論文  参考訳（メタデータ） (2025-06-02T02:35:24Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
  CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。 低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
  論文  参考訳（メタデータ） (2024-01-04T18:53:01Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。