論文の概要: Large language models reorganize representational geometry during in-context learning
- arxiv url: http://arxiv.org/abs/2605.28854v1
- Date: Sat, 16 May 2026 22:31:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 02:55:43.044558
- Title: Large language models reorganize representational geometry during in-context learning
- Title（参考訳）: 大規模言語モデルによる文脈内学習における表現幾何学の再編成
- Abstract要約: 大規模な言語モデルは、パラメータを更新することなく、コンテキスト内の例から新しいタスクに適応することができる。
In-context Learning (ICL) は高次元表現空間における変換に依存する。
ICLの性能は,下層の分類課題の表現構造と体系的に相関していることを示す。
- 参考スコア（独自算出の注目度）: 12.471830587396532
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) exhibit remarkable flexibility: they can adapt to novel tasks from in-context examples without any parameter updates, a capability known as in-context learning (ICL). Prior work on synthetic tasks has shown that ICL can implement specific algorithms, demonstrating architectural competence, and mechanistic analyses have identified key circuits that support this behavior. However, because in-context computation -- regardless of its algorithmic form -- relies on transformations in high-dimensional representation space, it remains unclear how the geometry of that space shapes ICL effectiveness. Motivated by the neuroscience view of classification as the untangling of neural representations, we hypothesize that ICL depends on the successful online untangling of task-relevant representations. To test this idea, we study how LLMs classify in-context examples whose labels are defined by the model's own internal representations with known structure. We show that ICL performance correlates systematically with the representational structure of the underlying classification task and that successful ICL is accompanied by geometric reorganization that increases online separability. We further find that LLM behavior is well described by a prototype-like algorithm that integrates evidence while reshaping representations to support classification. These findings offer a geometric account of ICL in pretrained LLMs, establish representational geometry as a mechanistic constraint on ICL, and quantify the gap between what pretrained representations afford and what in-context learning can exploit.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、パラメータを更新することなく、インコンテキスト学習(ICL)と呼ばれる新しいタスクに適応することができる。
合成タスクに関する以前の研究は、ICLが特定のアルゴリズムを実装できることを示した。
しかし、そのアルゴリズム形式によらず、文脈内計算は高次元表現空間の変換に依存しているため、その空間の幾何学がICLの有効性をどう形作るかは定かではない。
分類の神経科学的な視点から、ICLはタスク関連表現のオンライン・アンハングリングの成功に依存していると仮定する。
この概念をテストするために,ラベルが既知構造を持つモデルの内部表現によって定義されるコンテキスト内例をLLMがどのように分類するかを検討する。
ICLの性能は下位分類課題の表現構造と体系的に相関し,オンライン分離性を高める幾何学的再編成を伴うことを示す。
さらに, LLM の挙動は, 分類を支援するために表現を変換しながら証拠を統合するプロトタイプのようなアルゴリズムによってよく説明されている。
これらの知見は、事前訓練されたLLMにおけるICLの幾何学的説明を提供し、ICLの機械的制約として表現幾何学を確立し、事前訓練された表現が持つものと文脈内学習が活用できるものとの間のギャップを定量化する。
関連論文リスト
- SERE: Structural Example Retrieval for Enhancing LLMs in Event Causality Identification [50.174050426976514]
事象因果同定(ECI)は、ある文脈におけるある一対の事象が因果関係を示すかどうかを決定するモデルを必要とする。
大規模言語モデル(LLM)は様々なNLPタスクに対して高い性能を示してきたが、因果推論のバイアスのため、ECIにおけるその有効性は制限されている。
LLMの少数ショット学習機能を活用した構造例検索フレームワークSEREを提案する。
論文 参考訳（メタデータ） (2026-05-05T12:50:19Z) - Context Structure Reshapes the Representational Geometry of Language Models [9.670218260803628]
大規模言語モデル(LLM)は入力シーケンスの表現をよりまっすぐな神経軌道に整理する。
近年の研究では、この文脈内学習が表現的変化に反映できることが示されている。
Gemma 2モデルにおける表現的ストレート化を、さまざまなコンテキスト内タスクの集合にわたって測定する。
論文 参考訳（メタデータ） (2026-01-29T22:17:17Z) - Schema for In-Context Learning [0.7850388075652649]
In-context Learning (ICL) は、実演例に条件付けすることで、言語モデルが新しいタスクに適応できるようにする。
CONTEXT(SA-ICL)におけるSCHEMAの導入
この枠組みは, 先行事例から, 推論過程に対する認知の構成要素の表現を抽出する。
SA-ICLは、単一の実演例が高品質である場合、パフォーマンスを36.19パーセントまで継続的に向上させることを示す。
論文 参考訳（メタデータ） (2025-10-14T21:00:15Z) - From Compression to Expression: A Layerwise Analysis of In-Context Learning [24.45948310980883]
In-context Learning (ICL)は、大規模な言語モデルで、デモシーケンスから学習することで、重み付けなしで新しいタスクに適応することができる。
ICL表現の統計的幾何学的解析を行い,各層にまたがるタスク固有情報の取得方法について検討する。
この結果から,ILC の階層的ダイナミックな構造的表現が LLM 内でどのように現れるかが明らかとなり,内部表現の分析がモデル行動のより深い理解を促進することが示唆された。
論文 参考訳（メタデータ） (2025-05-22T22:22:03Z) - Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [50.53703102032562]
大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。
この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
論文 参考訳（メタデータ） (2025-05-16T08:50:42Z) - Towards More Unified In-context Visual Understanding [74.55332581979292]
マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。
まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。
次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
論文 参考訳（メタデータ） (2023-12-05T06:02:21Z) - How Do Transformers Learn In-Context Beyond Simple Functions? A Case
Study on Learning with Representations [98.7450564309923]
本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。
合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。
理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
論文 参考訳（メタデータ） (2023-10-16T17:40:49Z) - Schema-learning and rebinding as mechanisms of in-context learning and
emergence [10.370506005311091]
In-context Learning (ICL)は、最近のトランスフォーマーベース大規模言語モデル(LLM)において、最も強力で予期せぬ能力の1つである。
我々は、クローン構造因果グラフ(CSCG)を用いた代替シーケンス予測学習法により、同等のICL能力を取得できることを実証した。
論文 参考訳（メタデータ） (2023-06-16T00:29:19Z) - Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal
Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。
シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。
知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文 参考訳（メタデータ） (2023-05-06T03:57:05Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳（メタデータ） (2022-06-02T19:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。