論文の概要: Probing for Representation Manifolds in Superposition

• arxiv url: http://arxiv.org/abs/2605.18537v1
• Date: Mon, 18 May 2026 15:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.902726
• Title: Probing for Representation Manifolds in Superposition
• Title（参考訳）: 重ね合わせにおける表現多様体の探索
• Authors: Alexander Modell,
• Abstract要約: 本稿では,重ね合わせで表現多様体を発見する教師付き手法であるManifold Probeを紹介する。 Llama 2-7b における時間と空間の表現に関するプローブを実証する。 時間の場合、この多様体を操ることで、有名な歌曲、映画、書籍が出版された年月について、モデルの完成度に影響を与えることが示される。
• 参考スコア（独自算出の注目度）: 55.18010930078062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces the Manifold Probe, a supervised method for discovering representation manifolds in superposition. The method generalizes linear regression probes by learning the space of features of a concept that can be linearly predicted from the representations, and then learning the directions used to encode them. We demonstrate the probe on representations of time and space in Llama 2-7b, finding manifolds which linearly represent an interpretable set of features in each case. In the case of time, we show that by steering along the manifold, we can influence the model's completions about the years in which famous songs, movies and books were released, providing evidence that the Manifold Probe can discover manifolds which are causally involved in model behaviour.
• Abstract（参考訳）: 本稿では,重ね合わせの表現多様体を発見する教師付き手法であるManifold Probeを紹介する。 この方法は、表現から線形に予測できる概念の特徴空間を学習し、それらを符号化するのに使用される方向を学習することにより、線形回帰プローブを一般化する。 Llama 2-7b における時間と空間の表現に関するプローブを実演し、各ケースにおける解釈可能な特徴の集合を線型に表現する多様体を求める。 時間の場合、多様体に沿って操ることで、有名な歌曲、映画、書籍が出版された年月についてのモデルの完成に影響を与え、マニフォールドプローブがモデル行動に因果関係のある多様体を発見できることを示す。

関連論文リスト

• Riemannian Denoising Diffusion Probabilistic Models [7.964790563398277]
  関数のレベル集合であるユークリッド空間の部分多様体上の分布を学習するためのRDDPMを提案する。 連続時間限界における手法の理論解析を行う。 提案手法は,過去の研究から得られたデータセットと,新しいサンプルデータセットで実証された。
  論文  参考訳（メタデータ） (2025-05-07T11:37:16Z)
• Quantifying Manifolds: Do the manifolds learned by Generative Adversarial Networks converge to the real data manifold [1.9186271764628762]
  MLモデルにより学習された固有多様体の次元と位相的特徴、モデルのトレーニングを続けるにつれてこれらの指標がどのように変化するか、そしてこれらの指標が実データ多様体のメトリクスにトレーニングの過程で収束するかを考察する。
  論文  参考訳（メタデータ） (2024-03-08T04:23:50Z)
• Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference [110.47649327040392]
  時系列データを考えると、“今後どうなるか?”や“どうやって来たのか?”といった質問に答えるにはどうすればよいでしょう? これらの質問は、学習された表現の観点から、いかにコンパクトで閉じた形状の解が得られるかを示す。
  論文  参考訳（メタデータ） (2024-03-06T22:27:30Z)
• Convolutional Filtering on Sampled Manifolds [122.06927400759021]
  サンプル多様体上の畳み込みフィルタリングは連続多様体フィルタリングに収束することを示す。 本研究は,ナビゲーション制御の問題点を実証的に明らかにした。
  論文  参考訳（メタデータ） (2022-11-20T19:09:50Z)
• The Manifold Scattering Transform for High-Dimensional Point Cloud Data [16.500568323161563]
  本稿では,自然システムにおけるデータセットへの多様体散乱変換の実装のための実践的スキームを提案する。 本手法は信号の分類や多様体の分類に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-21T02:15:00Z)
• Sample complexity and effective dimension for regression on manifolds [13.774258153124205]
  ヒルベルト空間法を再現したカーネルを用いた多様体上の回帰理論を考える。 多様体上の滑らかな函数のある空間は、多様体次元に応じて拡大する複雑性を持つ実効有限次元であることが示される。
  論文  参考訳（メタデータ） (2020-06-13T14:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。