論文の概要: In-Context Learning Operates as Concept Subspace Learning

• arxiv url: http://arxiv.org/abs/2605.18830v1
• Date: Tue, 12 May 2026 21:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 01:01:02.790797
• Title: In-Context Learning Operates as Concept Subspace Learning
• Title（参考訳）: In-Context Learning Operates as Concept Subspace Learning
• Authors: Wei Tang, Xinyan Jiang, Fakhri Karray, Lijie Hu,
• Abstract要約: 構造化された実演が低次元概念推論を誘導するかどうかを考察する。 リッジおよび最小二乗 ICL プロキシでは、予測は正確に概念座標回帰と非部分空間リークに分解される。 これらの結果は、回復可能なICL振舞いのコンパクトなタスク整列メディエータとして概念部分空間をサポートする。
• 参考スコア（独自算出の注目度）: 20.051573945788963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regression and Bayesian accounts of in-context learning (ICL) explain how demonstrations can induce predictors, while mechanistic analyses often identify compact activation directions that steer prompted behavior. However, it remains unclear whether structured demonstrations induce low-dimensional concept inference. We study this question through a concept-subspace view of ICL, in which tasks vary only along intrinsic concept coordinates, although inputs are observed in a high-dimensional ambient space. For ridge and least-squares ICL proxies, prediction decomposes exactly into concept-coordinate regression and off-subspace leakage. Under block-diagonal or near-block-diagonal covariance assumptions, the leading estimation and nuisance-sensitivity terms scale with the dimension of the concept subspace, while residual effects are controlled by cross-subspace coupling. This separation gives a mechanistic prediction: recoverable task information should concentrate in a low-dimensional, task-aligned activation subspace. On CounterFact-derived multi-relation prompts with Llama-3-8B, a 68--73-dimensional subspace of the 4096-dimensional residual stream restores 78.8% of the clean--corrupted accuracy gap, whereas patching the complementary subspace restores 0%. Concept swaps redirect predictions toward injected relations, while random and cross-task matched-rank controls are largely ineffective. Additional experiments on Qwen2.5-7B and a controlled cross-lingual rule task show the same qualitative pattern. These results support concept subspaces as compact, task-aligned mediators of recoverable ICL behavior in structured task families, without implying full-circuit recovery.
• Abstract（参考訳）: 文脈内学習(ICL)の回帰とベイジアンの記述は、デモが予測因子を誘導する方法を説明しているが、機械的解析は、しばしば、操舵が行動を促すようなコンパクトなアクティベーション方向を識別する。 しかし、構造化された実演が低次元の概念推論を引き起こすかどうかは不明である。 我々は、高次元空間において入力が観測されるが、本質的な概念座標に沿ってのみタスクが変化するICLの概念-部分空間ビューを通して、この問題を考察する。 リッジおよび最小二乗 ICL プロキシでは、予測は正確に概念座標回帰と非部分空間リークに分解される。 ブロック対角あるいは近ブロック対角共分散仮定の下では、先行推定とニュアンス感度項は概念部分空間の次元とスケールし、残効はクロス部分空間結合によって制御される。 回復可能なタスク情報は、低次元のタスクに沿ったアクティベーションサブ空間に集中する必要がある。 CounterFact- derived multi-relation prompts with Llama-3-8B, a 68-73-dimensional subspace of the 4096-dimensional residual stream restores 78.8% of the clean-corrupted accuracy gap, while patching the complementary subspace restores 0%。 概念は、注入された関係に対するリダイレクト予測を置き換えるが、ランダムとクロスタスクのマッチしたランク制御は、ほとんど効果がない。 Qwen2.5-7Bと制御された言語間規則タスクに関する追加実験は、同じ定性的パターンを示している。 これらの結果は、全回路の回復を示唆することなく、構造化されたタスクファミリーにおける回復可能なICL動作のコンパクトなタスク整列メディエータとしての概念部分空間をサポートする。

関連論文リスト

• Beyond Activation Alignment: The Geometry of Neural Sensitivity [0.0]
  そこで我々は,小摂動を識別する表現能力に着目した,局所的測位可能な情報に基づくフレームワークを提案する。 対称正定値行列の多様体上の対数スペクトル距離を用いてこれらの正規化シグネチャを比較する。 経験的に、このフレームワークは、独立に訓練された人工ニューラルネットワークで対応するレイヤのリカバリを可能にする。
  論文  参考訳（メタデータ） (2026-05-04T23:21:24Z)
• Rethinking Transferable Adversarial Attacks on Point Clouds from a Compact Subspace Perspective [55.919842734983156]
  CoSAは、共有された低次元セマンティック空間内で機能する転送可能なアタックフレームワークである。 CoSAは、最先端のトランスファー可能な攻撃を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-30T15:48:11Z)
• Sparse Concept Anchoring for Interpretable and Controllable Neural Representations [0.9831489366502301]
  Sparse Concept Anchoringは、潜在空間を偏り、対象とする概念のサブセットを配置する手法である。 アンカー付き幾何学は、2つの実践的な介入を可能にする: 推論時に概念の潜伏成分を投影する行動ステアリングと、恒久的な除去である。
  論文  参考訳（メタデータ） (2025-12-13T21:43:17Z)
• Q-function Decomposition with Intervention Semantics with Factored Action Spaces [51.01244229483353]
  元の作用空間の低次元射影部分空間上で定義されるQ-函数を考察し、分解されたQ-函数の不偏性について考察する。 これにより、標準モデルフリー強化学習アルゴリズムにおいて、予測Q関数を用いてQ関数を近似する動作分解強化学習と呼ばれる一般的なスキームが導かれる。
  論文  参考訳（メタデータ） (2025-04-30T05:26:51Z)
• Subspace Defense: Discarding Adversarial Perturbations by Learning a Subspace for Clean Signals [52.123343364599094]
  敵の攻撃は、正常な例に基づいて慎重に摂動を行い、ディープニューラルネットワーク(DNN)を騙す まず,低次元線形部分空間において,クリーン信号と逆方向の摂動の特徴が冗長であり,重なりが最小であることを示す。 これにより、DNNは、摂動が破棄されている間、クリーン信号の特徴のみが存在する部分空間を学習することができる。
  論文  参考訳（メタデータ） (2024-03-24T14:35:44Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• SubspaceNet: Deep Learning-Aided Subspace Methods for DoA Estimation [36.647703652676626]
  SubspaceNetは、観測を区別可能な部分空間に分割する方法を学ぶデータ駆動型DoA推定器である。 SubspaceNetは、コヒーレントソース、広帯域信号、低いSNR、配列ミスマッチ、限られたスナップショットに対処する様々なDoA推定アルゴリズムを実現する。
  論文  参考訳（メタデータ） (2023-06-04T06:30:13Z)
• Unsupervised Discriminative Embedding for Sub-Action Learning in Complex Activities [54.615003524001686]
  本稿では,複雑な活動における教師なしサブアクション学習の新たなアプローチを提案する。 提案手法は,視覚表現と時間表現の両方を,サブアクションを識別的に学習する潜在空間にマッピングする。 視覚-時空間埋め込みと判別的潜在概念の組み合わせにより,教師なし設定でロバストな動作表現を学習できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T20:07:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。