論文の概要: Beyond Linear Concepts: Discovering and Aligning Non-Linear Concept Manifolds in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.01821v1
• Date: Thu, 01 Oct 2026 14:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.211324
• Title: Beyond Linear Concepts: Discovering and Aligning Non-Linear Concept Manifolds in Large Language Models
• Title（参考訳）: 線形概念を超えて:大規模言語モデルにおける非線形概念の発見と調整
• Abstract要約: 特徴マッチングを伴わない幾何学的近接度を測定するために,概念ベースアライメント(CBA)スコアを開発した。 英語とマンダリンの多言語的概念共有は,Qwenで最強,Llamaでは弱く,GPT-2では欠落している。 Tulu-3の訓練段階全体では、隣接するステージ間でのアライメントが最も高く、ベースモデルとSFTの間で最大のシフトがある。
• 参考スコア（独自算出の注目度）: 1.5446094669729622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding information processing in large language models (LLMs) requires dissecting the geometric organization of their internal token representations. While existing mechanistic interpretability (MI) methods seek to extract concepts, they are constrained by a strong linearity assumption challenged by evidence of non-linear feature manifolds. We move beyond linear concepts by adapting Non-Linear Multi-Dimensional Concept Discovery (NLMCD) from computer vision to token-level LLM activations, modeling concepts as low-dimensional manifolds. To compare concept manifolds across layers and models, we introduce a concept-based alignment (CBA) score, a generalized Rand index that measures geometric proximity without explicit feature matching. Our analysis yields six key findings: (i) a neighboring-layer sanity check shows CBA is more sensitive than PCA- or CKA-based linear baselines; (ii) layer-by-layer alignment matrices reveal two block structures in intermediate and late layers, consistent across models and obscured by linear metrics; (iii) concept composition remains syntax-dominated through most of the network before giving way to increasingly mixed syntactic-semantic concepts in later layers, with increasing output-orientation toward the final layers; (iv) multilingual concept sharing between English and Mandarin is training-dependent rather than universal, strongest in Qwen, weaker in Llama, and absent in GPT-2; (v) inter-model alignment mirrors this structure, with strong correspondence between same-family Qwen models of different scale but weak alignment across model families; and (vi) across Tulu-3 training stages, alignment is highest between adjacent stages, with the largest shift between the base model and SFT, while subsequent preference-alignment stages (DPO, RLVR) leave early layers largely unchanged and RLVR mostly preserves DPO's concepts in late layers.
• Abstract（参考訳）: 大規模言語モデル(LLM)における情報処理を理解するには、内部トークン表現の幾何学的構造を分離する必要がある。 既存の機械的解釈可能性(MI)法は概念を抽出しようとするが、非線型特徴多様体の証拠に挑戦される強い線形性仮定によって制約される。 我々は、非線形多次元概念発見(NLMCD)をコンピュータビジョンからトークンレベルのLCMアクティベーションに適応させ、低次元多様体として概念をモデル化することで、線形概念を超えて移動する。 層やモデルにまたがる概念多様体を比較するために,概念ベースアライメント(CBA)スコアを導入する。 私たちの分析では6つの重要な結果が得られます。 i) CBA は PCA や CKA ベースの線形ベースラインよりも敏感であることを示す。 (II) 層間アライメント行列は、中間層と後期層に2つのブロック構造を呈し、モデル間で整合し、線形計量によって隠蔽される。 (iii)概念構成は、ほとんどのネットワークを通して構文に支配され続けているが、その後、最終層への出力指向の増大とともに、後層における構文-意味概念の混合化が進みつつある。 (四)英語とマンダリンの多言語的概念の共有は、普遍的ではなく訓練に依存し、クウェン語で強く、ラマ語で弱く、GPT-2に欠如している。 (v)モデル間アライメントはこの構造を反映し、異なるスケールの同族Qwenモデルとモデルファミリ間の弱いアライメントの強い対応を持つ。 (vi)Tulu-3のトレーニング段階間でのアライメントが最も高く、ベースモデルとSFTの最も大きなシフトがある一方、その後の優先調整段階(DPO, RLVR)は初期層をほとんど変化せず、RLVRは後期層においてDPOの概念をほとんど保持している。

関連論文リスト

• From Models to Systems: A Comprehensive Survey of Efficient Multimodal Learning [126.2308206954491]
  本調査では,効率的なマルチモーダル学習のためのモデル・ツー・システム分類を初めて導入した。 我々は300を超える精巧な作品から3つの階層的なレベル – モデル,アルゴリズム,システム – への洞察を抽出し,アーキテクチャのパーシモニー,実行の洗練,ハードウェア対応のオーケストレーションを行う。
  論文  参考訳（メタデータ） (2026-09-16T21:27:22Z)
• Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs [12.597421665142646]
  MLLMの階層的視覚概念を学習するためのカスケードオートエンコーダ(CSAE)を紹介する。 Qwen3-VL、Gemma-3、LLaVAにまたがる複数のビジュアルデータセットによる実験により、CSAEは階層的な概念コヒーレンスの観点から解釈可能性を向上させることが示された。 コンセプトステアリングの結果は,学習した概念群がMLLM出力に対する効果的なグループレベルの介入を支援することをさらに証明している。
  論文  参考訳（メタデータ） (2026-06-15T04:10:40Z)
• Toward Native Multimodal Modeling: A Roadmap [73.2994129763275]
  マルチモーダルモデリングは、モダリティに依存しない推論から世界モデリングへの重要なステップである。 近年の取り組みは、パラダイムをネイティブなマルチモーダルモデリングへとシフトさせてきた。 その可能性にもかかわらず、ネイティブアーキテクチャの設計空間は未だ十分に定義されていない。
  論文  参考訳（メタデータ） (2026-05-25T01:57:43Z)
• Hyperbolic Concept Bottleneck Models [17.962222104908648]
  概念ボトルネックモデル(CBM)は、人間の理解可能な概念の集合に入力を拘束することで、ニューラルネットワークの解釈可能性を実現するための一般的なアプローチとなっている。 本稿では,ハイパーボリック空間における非対称な幾何学的包摂として概念活性化を再構成することにより,この構造におけるボトルネックを解消するポストホック・フレームワークであるハイパーボリック・コンセプト・ボトルネック・モデル(HypCBM)を提案する。 概念のentailment coneの範囲内でのインクルージョンの限界は、余分な監督や学習モジュールなしで、階層的に認識されたアクティベーションをもたらす。
  論文  参考訳（メタデータ） (2026-05-07T15:41:22Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Cross-Layer Discrete Concept Discovery for Interpreting Language Models [13.842670153893977]
  クロス層VQ-VAEは、ベクトル量子化を使用して層間の表現をマッピングするフレームワークである。 本手法は,量子化中のトップk温度に基づくサンプリングとEMAコードブック更新を一意に組み合わせる。
  論文  参考訳（メタデータ） (2025-06-24T22:43:36Z)
• Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
  自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。 パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。 我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
  論文  参考訳（メタデータ） (2025-06-05T06:39:43Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。