論文の概要: Capsule Lens: Locating and Tracking Concept Geometry in Model Representations

• arxiv url: http://arxiv.org/abs/2609.05575v1
• Date: Fri, 04 Sep 2026 09:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.095936
• Title: Capsule Lens: Locating and Tracking Concept Geometry in Model Representations
• Title（参考訳）: カプセルレンズ:モデル表現における位置と追跡概念幾何学
• Abstract要約: 提案するCapsule Lensは、その領域のコンセプトを、シンプルで追跡可能な幾何学形式にマッチさせるフレームワークである。 静的表現では、様々なモデルにまたがる概念幾何学の発見方法と、スパン曲線とノルム曲線が重要な幾何学的特徴を明らかにする方法を示す。 動的表現について、異なるトレーニング設定によって誘導される表現のドリフトを追跡する3つのケーススタディを提示する。
• 参考スコア（独自算出の注目度）: 8.78662595138283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how concepts are encoded in the internal representations of machine learning models is a central problem in mechanistic interpretability, essential both for the science of deep learning and for the trustworthy deployment of increasingly capable models. Existing approaches to interpret model representations mainly map representations onto more interpretable spaces and do not directly characterize how concepts occupy representation space; various hypotheses have been proposed, but often lack of rigorous validation and largely focus on static representations. In this work, we introduce Capsule Lens, a framework that matches the region a concept occupies with a simple, trackable geometric form, a capsule, defined by several interpretable parameters, fitted in closed form to each concept's geometry and validated on held-out samples. We apply Capsule Lens in two major settings: static and dynamic representations. On static representations, we demonstrate how to locate concept geometry across various models, and how the span and norm curves uncover important geometric characteristics. On dynamic representations, we present three case studies tracking representation drifts induced by distinct training settings, CLIP pretraining, RL post-training on visual question answering, and RL post-training on mathematical reasoning. These analyses reveal qualitatively different geometric dynamics, ranging from broad network-wide restructuring in CLIP pretraining to localized and concept-specific changes in RL post-training. Our results include findings aligned with existing literature as well as novel observations. We believe Capsule Lens stands as a promising tool for locating, analyzing, and tracking concept geometry in both static and dynamic representations.
• Abstract（参考訳）: 機械学習モデルの内部表現に概念がどのようにエンコードされているかを理解することは、機械的解釈可能性において中心的な問題であり、ディープラーニングの科学と、ますます有能なモデルの信頼性の高い展開に不可欠である。 モデル表現を解釈する既存のアプローチは、主により解釈可能な空間に表現をマッピングし、概念がどのように表現空間を占有するかを直接特徴付けるものではない。 本研究では,各概念の幾何形状に閉じた形状に適合し,保持されたサンプル上で検証される,単純な追跡可能な幾何形状のカプセルを,その領域に適合するフレームワークであるCapsule Lensを紹介する。 Capsule Lensを静的および動的表現の2つの主要な設定に適用する。 静的表現では、様々なモデルにまたがる概念幾何学の発見方法と、スパン曲線とノルム曲線が重要な幾何学的特徴を明らかにする方法を示す。 動的表現では,異なるトレーニング設定,CLIP事前学習,視覚的質問応答のRLポストトレーニング,数学的推論のRLポストトレーニングの3つのケーススタディを示す。 これらの分析は、CLIP事前学習における広範なネットワーク全体の再構成から、RLポストトレーニングにおける局所的および概念特異的な変化まで、定性的に異なる幾何学的ダイナミクスを明らかにしている。 本研究の結果は,既存の文献と一致した知見と,新たな観察結果を含む。 Capsule Lensは、静的および動的表現の両方において概念幾何学を探索、解析、追跡するための有望なツールであると考えています。

関連論文リスト

• Panoramic Scene Analysis: A Survey from Distortion-Aware Engineering to Sphere-Native Foundation Modeling [1.8625021794520016]
  パノラマ画像は単一のフレームで完全な視覚球をキャプチャし、従来のカメラでは達成できない空間的コンテキストを提供する。 2次元球面を平面に忠実にマッピングすることはできず、すべての平面表現は標準視覚アーキテクチャの前提となる仮定に反する歪みを導入する。 本研究は,プロジェクションに基づく適応から歪み認識工学,スフィアネイティブモデリング,基礎モデルの幾何認識トークン化に至るまで,方法論的軌道に沿ったパノラマシーン解析の進化を辿るものである。
  論文  参考訳（メタデータ） (2026-06-26T05:54:38Z)
• PointVG-R: Internalizing Geometric Reasoning in MLLMs for Precise Pointing Localization via Visual Chain of Thought [19.680475189691965]
  ポインティングに基づく視覚的グラウンドリングでは、視覚シーンとポインティングジェスチャの間の複雑な空間的関係を解読することで、ターゲットオブジェクトを正確に特定する必要がある。 推論誘導型マルチモーダル言語モデル(MLLM)であるPointVG-Rを提案する。 我々は,人間の指し示すジェスチャーを解釈する際に使用する反復的認知過程をシミュレートする,新しい幾何学的推論パイプラインを設計する。
  論文  参考訳（メタデータ） (2026-06-23T13:06:51Z)
• Feed-Forward 3D Scene Modeling: A Problem-Driven Perspective [91.23306722968509]
  汎用的なフィードフォワード3D再構築は近年急速に進展している。 既存のフィードフォワードアプローチも同様に高いレベルのアーキテクチャパターンを共有している。 本稿では,出力形式に依存しないモデル設計戦略を中心とした新しい分類法を提案する。
  論文  参考訳（メタデータ） (2026-04-15T16:07:18Z)
• Shape Happens: Automatic Feature Manifold Discovery in LLMs via Supervised Multi-Dimensional Scaling [43.70541744169649]
  特徴多様体を自動的に検出するモデルに依存しない手法であるSupervised Multi-dimensional Scaling (SMDS)を導入する。 異なる特徴が円、線、クラスターなどの様々な幾何学構造を形成することが分かる。 本研究は,LMが構造表現を符号化し変換するエンティティベースの推論モデルをサポートする特徴多様体の機能的役割について考察した。
  論文  参考訳（メタデータ） (2025-10-01T15:30:47Z)
• A Markov Categorical Framework for Language Modeling [9.910562011343009]
  自己回帰言語モデルは、優れたパフォーマンスを達成するが、内部メカニズム、訓練が表現をどのように形作り、複雑な振る舞いを可能にするかを説明する統一理論は、いまだ解明されていない。 本稿では,マルコフカテゴリーの言語を用いた情報処理段階の合成として,単一ステップ生成過程をモデル化する新しい分析フレームワークを提案する。 この研究は、モデルを通して情報がどのように流れ、訓練対象が内部形状をどう形成するかを理解するための強力な新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-07-25T13:14:03Z)
• Geometry Distributions [51.4061133324376]
  本稿では,分布として幾何学をモデル化する新しい幾何学的データ表現を提案する。 提案手法では,新しいネットワークアーキテクチャを用いた拡散モデルを用いて表面点分布の学習を行う。 本研究では,多種多様な対象に対して質的かつ定量的に表現を評価し,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-25T04:06:48Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• On the Emergence of Cross-Task Linearity in the Pretraining-Finetuning Paradigm [47.55215041326702]
  我々は、共通の事前訓練されたチェックポイントから、クロスタスク線形性(CTL)と呼ばれる異なるタスクに微調整されたモデルにおいて、興味深い線形現象を発見する。 2つの微調整モデルの重みを線形に補間すると、重み補間モデルの特徴は各層における2つの微調整モデルの特徴の線形性にほぼ等しいことが示される。 プレトレーニング-ファインタニングのパラダイムでは、ニューラルネットワークは、パラメータ空間から特徴空間への写像である線形写像として概ね機能する。
  論文  参考訳（メタデータ） (2024-02-06T03:28:36Z)
• Internal Representations of Vision Models Through the Lens of Frames on Data Manifolds [8.67467876089153]
  多様体の接束上のフレームの概念から着想を得た、そのような表現を研究するための新しいアプローチを提案する。 私たちの構成は、ニューラルネットワークフレームと呼ばれ、データポイントの特定の種類の摂動を表すベクトルの集合を組み立てることによって形成されます。 ニューラルフレームを用いて、データポイントの小さな近傍でモデル、層間、特定の変動モードの処理方法について観察する。
  論文  参考訳（メタデータ） (2022-11-19T01:48:19Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)
• Towards Self-Supervised Category-Level Object Pose and Size Estimation [121.28537953301951]
  本研究は,一深度画像からのカテゴリレベルのオブジェクトポーズとサイズ推定のための自己教師型フレームワークを提案する。 我々は、同じ形状の点雲における幾何学的整合性を利用して自己超越する。
  論文  参考訳（メタデータ） (2022-03-06T06:02:30Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。