Fugu-MT 論文翻訳(概要): Large language models reorganize representational geometry during in-context learning

論文の概要: Large language models reorganize representational geometry during in-context learning

arxiv url: http://arxiv.org/abs/2605.28854v1
Date: Sat, 16 May 2026 22:31:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 02:55:43.044558
Title: Large language models reorganize representational geometry during in-context learning
Title（参考訳）: 大規模言語モデルによる文脈内学習における表現幾何学の再編成
Authors: Hua-Dong Xiong, Li Ji-An, Robert C. Wilson, Kwonjoon Lee, Xue-Xin Wei,
Abstract要約: 大規模な言語モデルは、パラメータを更新することなく、コンテキスト内の例から新しいタスクに適応することができる。 In-context Learning (ICL) は高次元表現空間における変換に依存する。 ICLの性能は,下層の分類課題の表現構造と体系的に相関していることを示す。
参考スコア（独自算出の注目度）: 12.471830587396532
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large language models (LLMs) exhibit remarkable flexibility: they can adapt to novel tasks from in-context examples without any parameter updates, a capability known as in-context learning (ICL). Prior work on synthetic tasks has shown that ICL can implement specific algorithms, demonstrating architectural competence, and mechanistic analyses have identified key circuits that support this behavior. However, because in-context computation -- regardless of its algorithmic form -- relies on transformations in high-dimensional representation space, it remains unclear how the geometry of that space shapes ICL effectiveness. Motivated by the neuroscience view of classification as the untangling of neural representations, we hypothesize that ICL depends on the successful online untangling of task-relevant representations. To test this idea, we study how LLMs classify in-context examples whose labels are defined by the model's own internal representations with known structure. We show that ICL performance correlates systematically with the representational structure of the underlying classification task and that successful ICL is accompanied by geometric reorganization that increases online separability. We further find that LLM behavior is well described by a prototype-like algorithm that integrates evidence while reshaping representations to support classification. These findings offer a geometric account of ICL in pretrained LLMs, establish representational geometry as a mechanistic constraint on ICL, and quantify the gap between what pretrained representations afford and what in-context learning can exploit.
Abstract（参考訳）: 大規模言語モデル(LLM)は、パラメータを更新することなく、インコンテキスト学習(ICL)と呼ばれる新しいタスクに適応することができる。合成タスクに関する以前の研究は、ICLが特定のアルゴリズムを実装できることを示した。しかし、そのアルゴリズム形式によらず、文脈内計算は高次元表現空間の変換に依存しているため、その空間の幾何学がICLの有効性をどう形作るかは定かではない。分類の神経科学的な視点から、ICLはタスク関連表現のオンライン・アンハングリングの成功に依存していると仮定する。この概念をテストするために,ラベルが既知構造を持つモデルの内部表現によって定義されるコンテキスト内例をLLMがどのように分類するかを検討する。 ICLの性能は下位分類課題の表現構造と体系的に相関し,オンライン分離性を高める幾何学的再編成を伴うことを示す。さらに, LLM の挙動は, 分類を支援するために表現を変換しながら証拠を統合するプロトタイプのようなアルゴリズムによってよく説明されている。これらの知見は、事前訓練されたLLMにおけるICLの幾何学的説明を提供し、ICLの機械的制約として表現幾何学を確立し、事前訓練された表現が持つものと文脈内学習が活用できるものとの間のギャップを定量化する。

論文の概要: Large language models reorganize representational geometry during in-context learning

関連論文リスト