論文の概要: A Mathematical Theory of the Jacobian Lens

• arxiv url: http://arxiv.org/abs/2610.31955v1
• Date: Thu, 22 Oct 2026 22:03:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.303593
• Title: A Mathematical Theory of the Jacobian Lens
• Title（参考訳）: ヤコビレンズの数学的理論
• Abstract要約: 本稿では, J-lens の数学的理論を導入し, コヒーレントな特徴を優先的に同定することを示す。 これらの方向に沿った小さな摂動は、層間を増幅し、トークンの位置間でほぼ一定であり、異なるコンテキスト間で一貫性がある。 隠れマルコフモデル(HMM)から放出される次のトークンを最適に予測するベイズフィルタと玩具変圧器に関する解析を検証した。
• 参考スコア（独自算出の注目度）: 9.189104155229382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work from Anthropic introduced a new interpretability tool, called the Jacobian lens (J-lens, Gurnee et al., 2026). This method identified linear directions in the hidden states of frontier language models that had properties reminiscent of working memory-like representations. However, it is unclear what mechanistic properties of such features make them detectable to the J-lens. To this end, we introduce a mathematical theory of the J-lens, and show that it preferentially identifies coherent features -- directions that act like leading, spatially coherent Lyapunov modes. Small perturbations along these directions amplify across layers, remain roughly constant across token positions, and are consistent across different contexts. While we are agnostic to whether these properties are necessarily associated with a ``Global Workspace'', the analytically derived preferences of the J-lens nevertheless explain prior empirical applied to both model classes. We validate our analysis on a Bayes filter and a toy transformer, each optimally predicting next tokens emitted from a Hidden Markov Model (HMM). We show how modulating task parameters that change the coherence of features in the Bayes filter correspondingly and predictively modulates the response of the J-lens . We also introduce of a family of J-lenses built to emphasize different temporal scales of information processing in LLMs, which we call $ω$-J-lenses.
• Abstract（参考訳）: アントロピックの最近の研究は、ヤコビアンレンズ(J-lens, Gurnee et al , 2026)と呼ばれる新しい解釈可能性ツールを導入した。 この手法は、作業メモリのような表現を連想させる特性を持つフロンティア言語モデルの隠れ状態における線形方向を同定する。 しかし、そのような特徴のメカニスティックな性質が J-len に対してどのように検出されるのかは不明である。 この目的のために、J-レンの数学的理論を導入し、空間的コヒーレントなリアプノフモードのように振る舞うコヒーレントな特徴を優先的に特定することを示す。 これらの方向に沿った小さな摂動は、層間を増幅し、トークンの位置間でほぼ一定であり、異なるコンテキスト間で一貫性がある。 これらの性質が必ずしも 'Global Workspace''' に関連付けられているかどうかを私たちは知らないが、J-lens の解析的に導かれた選好は、いずれのモデルクラスにも適用される以前の経験則を説明する。 隠れマルコフモデル(HMM)から放出される次のトークンを最適に予測し,ベイズフィルタと玩具トランスフォーマーを用いて解析を行った。 ベイズフィルタにおける特徴のコヒーレンスを変化させるタスクパラメータの調整が,Jレンズの応答を順応し,予測的に変調することを示す。 また,LLMにおける情報処理の時間スケールの違いを強調するために構築されたJレンズのファミリーを導入し,これを$ω$-Jレンズと呼ぶ。

関連論文リスト

• Short Horizons and Sparse Concepts: a Mathematical View of the Readout in the J-lens [43.12261562757025]
  ヤコビアンレンズ(J-lens)は、言語属性から言語表現を読み取る方法として提案されている。 下流マッピングの最適局所線形近似としてヤコビ行列について検討する。 我々は、そのグローバルな近似行動とバイアスを分析し、その数学的意味を将来の読み出しに対する期待として識別する。
  論文  参考訳（メタデータ） (2026-08-26T04:02:59Z)
• Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space [9.829283524934848]
  オープンウェイトな大規模言語モデル (LLM) は複雑で多段階のパイプラインによって開発が進んでいる。 LLMは、入力データにアクセスすることなく、重量空間のみに固有の指紋を呈し、その起源や系統を明らかにするかどうかを問う。 我々は、これを系統識別問題として定式化し、独立オリジン、同シリーズ、共有ベースモデルと区別する。
  論文  参考訳（メタデータ） (2026-08-07T22:18:02Z)
• Understanding the Effects of Domain Finetuning on LLMs [60.874016669351874]
  大規模医療言語モデルにおけるドメイン固有微調整に関する最初の体系的研究について述べる。 解析の結果,微調整は表現部分空間の小さな部分集合のみを修飾することがわかった。 サブ空間におけるこれらの変化を解釈するために、微調整によって引き起こされる方向パラメータシフトを明示的にキャプチャするチューニングベクトルを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:14:06Z)
• Towards Understanding the Shape of Representations in Protein Language Models [0.0]
  我々は,2乗根速度 (SRV) の表現とグラフ濾過によるタンパク質の構造と表現を同定する。 我々は PLM が直接的および局所的な残基間の関係を優先的に符号化するが、より大きな文脈長に対して劣化し始めることを発見した。
  論文  参考訳（メタデータ） (2025-09-29T15:06:24Z)
• Persistent Topological Features in Large Language Models [0.6597195879147556]
  トポロジカルな特徴である$p$次元の穴が層全体に持続し、進化していくかを測定するトポロジカル記述子を導入する。 このことは、プロンプトがどのように再配置され、それらの相対的な位置が表現空間で変化するかという統計的視点を与える。 ショーケースアプリケーションとして、レイヤプルーニングの基準を確立するためにzigzag Persistenceを使用し、最先端の手法に匹敵する結果を得る。
  論文  参考訳（メタデータ） (2024-10-14T19:46:23Z)
• Transformer Block Coupling and its Correlation with Generalization in LLMs [3.007031501305338]
  トークン埋め込みの軌跡をトランスフォーマーブロックを通過して解析し、ジャコビアン行列を通してこれらの軌跡に沿って系を線形化する。 我々は,多言語モデルにおけるtextbftransformer ブロックの結合現象を明らかにし,トークンと深さをまたいだ頂点特異ベクトルの結合を特徴とする。 さらに,これらの特性が学習中にどのように出現するかを考察し,結合の進行,線形性の向上,トークン軌道の層ワイド指数的成長を観察する。
  論文  参考訳（メタデータ） (2024-07-10T16:30:27Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• Oracle-Preserving Latent Flows [58.720142291102135]
  我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。 対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。 この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
  論文  参考訳（メタデータ） (2023-02-02T00:13:32Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。