論文の概要: Short Horizons and Sparse Concepts: a Mathematical View of the Readout in the J-lens

• arxiv url: http://arxiv.org/abs/2608.25347v1
• Date: Wed, 26 Aug 2026 04:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.588585
• Title: Short Horizons and Sparse Concepts: a Mathematical View of the Readout in the J-lens
• Title（参考訳）: 短いホライズンとスパース概念:J-lensにおける読み出しの数学的視点
• Abstract要約: ヤコビアンレンズ(J-lens)は、言語属性から言語表現を読み取る方法として提案されている。 下流マッピングの最適局所線形近似としてヤコビ行列について検討する。 我々は、そのグローバルな近似行動とバイアスを分析し、その数学的意味を将来の読み出しに対する期待として識別する。
• 参考スコア（独自算出の注目度）: 43.12261562757025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Jacobian lens (J-lens) has been proposed as a way to read verbalizable representations from language models. However, its principle and meaning lack a detailed and theoretical discussion. We provide a mathematical view of this interpretation and of its assumed causal structure. Besides treating the J-lens as a heuristic probe, we further regard it as a first-order causal transfer operator from intermediate activations to expected future readouts. We study the Jacobian matrix as the optimal local linear approximation of the downstream mapping, analyze its global approximation behavior and bias, and identify its mathematical meaning as an expectation over anticipated future readouts. Further analysis of the Jacobian energy distribution reveals that its causal geometry is highly sparse. The energy decays with depth, concentrates in an extremely small proportion, and decomposes into diagonal pathways and specific critical positions. This decomposition further resolves the expectation of the J-lens over future outputs into short-horizon and sparse concept predictions, providing a more intuitive attribution and explanation for the ability of the J-lens to visualize concepts during the thinking process. Based on the theory, we propose a simple but effective improvement strategy and decoupling method for the J-lens, which significantly enhances the ability of the J-lens to read out correct intermediate concepts.
• Abstract（参考訳）: ヤコビアンレンズ (J-lens) は言語モデルから言語化可能な表現を読み取る方法として提案されている。 しかし、その原理と意味は詳細で理論的な議論を欠いている。 我々は、この解釈とその仮定因果構造を数学的に考察する。 J-lensをヒューリスティックプローブとして扱うことに加えて、中間活性化から将来の読み出しまでの1次因果遷移演算子とみなす。 我々は,ヤコビ行列を下流マッピングの最適局所線形近似として研究し,その大域的近似挙動とバイアスを分析し,その数学的意味を今後の読み出しに対する期待として同定する。 ヤコビアンエネルギー分布のさらなる解析は、その因果幾何学が非常にスパースであることを明らかにする。 エネルギーは深さとともに崩壊し、非常に小さな割合で集中し、対角線と特定の臨界位置に分解する。 この分解により、将来の出力に対するJレンズの期待をさらに解決し、より直感的な帰属と、Jレンズの思考過程における概念を視覚化する能力の説明を提供する。 この理論に基づいて,J-lens の簡易かつ効果的な改善戦略とデカップリング手法を提案し,J-lens の正しい中間概念を読み取る能力を大幅に向上させる。

関連論文リスト

• An Asymptotic Theory of Chain-of-Thought in In-Context Learning [34.69440744042684]
  CoT推論(Chain-of-Thought reasoning)は、大規模言語モデルにおいて多段階推論を引き出すメカニズムとして広く用いられている。 線形回帰における文脈内重み予測のための理論的に解決可能なCoTモデルについて検討する。 本研究では,推定深度,事前学習データ量,文脈長の関数として,一般化誤差の正確な式を導出する。
  論文  参考訳（メタデータ） (2026-06-02T06:23:31Z)
• EXPLORE-Bench: Egocentric Scene Prediction with Long-Horizon Reasoning [63.010793398283134]
  本研究では,多モーダルな言語モデルが,エゴセントリックな視点から行動の長期的物理的帰結を確実に推論できるかどうかを考察する。 EXPLORE-Benchは,様々なシナリオにまたがる実の1人称ビデオから算出したベンチマークである。 プロプライエタリでオープンソースのMLLMの実験では、人間にとって大きなパフォーマンスギャップが示される。
  論文  参考訳（メタデータ） (2026-03-10T14:33:44Z)
• The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
  表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
  論文  参考訳（メタデータ） (2025-05-23T13:31:22Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Geometric Analysis of Reasoning Trajectories: A Phase Space Approach to Understanding Valid and Invalid Multi-Hop Reasoning in LLMs [0.0]
  本稿では,ハミルトン力学による言語モデルにおけるマルチホップ推論の新たな解析手法を提案する。 我々は、埋め込み空間における推論連鎖をハミルトン系に写像し、問題関連性(ポテンシャルエネルギー)に対する推論進行(運動エネルギー)のバランスをとる関数を定義する。
  論文  参考訳（メタデータ） (2024-10-06T09:09:14Z)
• End-To-End Latent Variational Diffusion Models for Inverse Problems in High Energy Physics [61.44793171735013]
  本稿では,最先端生成技術アプローチの潜時学習とエンドツーエンドの変分フレームワークを組み合わせた,新しい統合アーキテクチャ,潜時変分モデルを提案する。 我々の統一的アプローチは、非最新技術ベースラインの20倍以上の真理への分布自由距離を達成する。
  論文  参考訳（メタデータ） (2023-05-17T17:43:10Z)
• Correlation between Alignment-Uniformity and Performance of Dense Contrastive Representations [11.266613717084788]
  我々は,標準CNNと簡単な特徴マッチング方式を用いて,高密度コントラスト学習の理論的アイデアを分析する。 正の高密度な特徴のペアを構築する際の基本原理を発見し、その妥当性を実証的に証明した。 また、アライメント・アンド・ユニフォーム性と下流性能の相関関係を要約した新しいスカラー計量を導入する。
  論文  参考訳（メタデータ） (2022-10-17T08:08:37Z)
• Granular Directed Rough Sets, Concept Organization and Soft Clustering [0.0]
  上向きの粗集合は、著者によって以前の論文で紹介され、研究されている。 これは、驚くべき代数的意味論を持つ2つの異なる粒度の方向で、彼女によって拡張される。 この研究は、関連する領域において重要な理論的および実践的な応用が期待されている。
  論文  参考訳（メタデータ） (2022-08-13T11:01:05Z)
• On the Viability of Monocular Depth Pre-training for Semantic Segmentation [48.29060171161375]
  本研究は,意味的タスクへの下流移動において,幾何学的タスクの事前学習が有効かどうかを考察する。 単分子深度は意味的セグメンテーションのための事前学習の実行可能な形式であり、共通ベースラインの改善によって検証される。
  論文  参考訳（メタデータ） (2022-03-26T04:27:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。