論文の概要: Causality $\neq$ Invariance: Function and Concept Vectors in LLMs

• arxiv url: http://arxiv.org/abs/2602.22424v1
• Date: Wed, 25 Feb 2026 21:35:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.413441
• Title: Causality $\neq$ Invariance: Function and Concept Vectors in LLMs
• Title（参考訳）: 因果性$\neq$不変性: LLMにおける関数と概念ベクトル
• Authors: Gustaw Opiełka, Hannes Rosenbusch, Claire E. Stevenson,
• Abstract要約: 大規模言語モデル(LLM)は抽象的に概念を表現するか、つまり入力形式に依存しないのか? タスク性能を因果的に駆動するインコンテキスト学習(ICL)タスクのコンパクト表現であるFVを再検討する。 より安定した概念表現を持つ概念ベクトル(CV)を同定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do large language models (LLMs) represent concepts abstractly, i.e., independent of input format? We revisit Function Vectors (FVs), compact representations of in-context learning (ICL) tasks that causally drive task performance. Across multiple LLMs, we show that FVs are not fully invariant: FVs are nearly orthogonal when extracted from different input formats (e.g., open-ended vs. multiple-choice), even if both target the same concept. We identify Concept Vectors (CVs), which carry more stable concept representations. Like FVs, CVs are composed of attention head outputs; however, unlike FVs, the constituent heads are selected using Representational Similarity Analysis (RSA) based on whether they encode concepts consistently across input formats. While these heads emerge in similar layers to FV-related heads, the two sets are largely distinct, suggesting different underlying mechanisms. Steering experiments reveal that FVs excel in-distribution, when extraction and application formats match (e.g., both open-ended in English), while CVs generalize better out-of-distribution across both question types (open-ended vs. multiple-choice) and languages. Our results show that LLMs do contain abstract concept representations, but these differ from those that drive ICL performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は抽象的に概念を表現するか、つまり入力形式に依存しないのか? タスク性能を因果的に駆動するインコンテキスト学習(ICL)タスクのコンパクト表現であるFVを再検討する。 複数の LLM 全体で FV が完全に不変ではないことを示す: FV は異なる入力形式 (例えば、オープンエンド対多重選択) から抽出されたとき、同じ概念をターゲットとしてもほぼ直交的である。 より安定した概念表現を持つ概念ベクトル(CV)を同定する。 FVと同様、CVはアテンションヘッド出力から構成されるが、FVとは異なり、コンポジションヘッドは入力形式に一貫した概念をエンコードするかどうかに基づいてRepresentational similarity Analysis (RSA) を用いて選択される。 これらの頭部は、FV関連頭部と同様の層に出現するが、2つのセットは大きな違いがあり、下層のメカニズムが異なることを示唆している。 ステアリング実験により、FVは、抽出形式とアプリケーション形式が一致した場合(例えば、どちらも英語でオープンエンド)に、FVは非分配性に優れており、CVは、質問タイプ(オープンエンド対複数選択)と言語の両方で、より良いアウト・オブ・ディストリビューションを一般化することが明らかになった。 以上の結果から,LLMは抽象概念表現を含むが,ICL性能を駆動するものとは異なっている。

関連論文リスト

• Mimicking or Reasoning: Rethinking Multi-Modal In-Context Learning in Vision-Language Models [19.361686225381447]
  視覚言語モデル(VLM)は、文脈内学習(ICL)を示すと広く想定されている 提案するMM-ICLにはReasoningパイプラインが組み込まれている。
  論文  参考訳（メタデータ） (2025-06-09T16:55:32Z)
• Analogical Reasoning Inside Large Language Models: Concept Vectors and the Limits of Abstraction [0.0]
  関数ベクトル(FV)は単純な入力変化に不変ではないことを示し、純粋概念以上を捉えることを示唆する。 我々は「匿名」のような動詞の概念に対して不変概念ベクトル(CV)を符号化する小さな注意ヘッドの集合をローカライズする。 CVは最終的な出力とは独立して動作する特徴検出器として機能する。
  論文  参考訳（メタデータ） (2025-03-05T16:59:08Z)
• Enhancing Few-Shot Vision-Language Classification with Large Multimodal Model Features [79.45405711339322]
  生成型大規模マルチモーダルモデル(LMM)は、様々な視覚言語(VL)タスクで優れている。 高い性能にもかかわらず、LMMの生成出力は視覚言語分類タスクに特化していない。 LMMの潜在空間からマルチモーダル特徴抽出を利用する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-28T18:55:41Z)
• The representation landscape of few-shot learning and fine-tuning in large language models [43.76048699313088]
  In-context Learning (ICL) と supervised Fine-tuning (SFT) は、現代の大規模言語モデル (LLM) の性能向上のための2つの一般的な戦略である。 この2つの事例において,隠れた表現の確率的景観を解析した。 ICLとSFTは、どちらもネットワークの中央で急激な遷移を行う場合において、非常に異なる内部構造を生成する。
  論文  参考訳（メタデータ） (2024-09-05T16:15:12Z)
• Function Vectors in Large Language Models [45.267194267587435]
  自己回帰変換言語モデル(LM)内のベクトルとして入力出力関数を表す単純な神経機構の存在を報告する。 多様なコンテキスト内学習(ICL)タスクの因果媒介分析を用いて、少数の注意ヘッドがデモされたタスクのコンパクトな表現を伝達し、関数ベクトル(FV)と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-23T17:55:24Z)
• ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
  本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。 本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。 本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T18:16:06Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。