論文の概要: Deep Minds and Shallow Probes

• arxiv url: http://arxiv.org/abs/2605.11448v1
• Date: Tue, 12 May 2026 02:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.540209
• Title: Deep Minds and Shallow Probes
• Title（参考訳）: 深層心と浅部プローブ
• Authors: Su Hyeong Lee, Risi Kondor,
• Abstract要約: 表現にすでに存在する構造を明らかにすることを意図したプローブファミリーは、関連する表現対称性の下で安定であるべきである。 クロスモデルプローブ転送の自然な対象は、全隠れ状態ではなく、プローブファミリーに見えない表現のモジュラー方向が共有プローブ可視の商であることを示す。
• 参考スコア（独自算出の注目度）: 6.689948326302292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural representations are not unique objects. Even when two systems realize the same downstream computation, their hidden coordinates may differ by reparameterization. A probe family intended to reveal structure already present in a representation should therefore be stable under the relevant representation symmetries rather than be tied to a particular basis. We study this group action in the tractable exact setting of the final readout layer, where equivalent realizations induce affine changes of hidden coordinates. The resulting symmetry principle singles out a unique hierarchy of shallow coordinate-stable probes, with linear probes as its degree-1 member. We also show that a natural object for cross-model probe transfer is a shared probe-visible quotient--the representation modulo directions invisible to the probe family--rather than the full hidden state. Experiments on synthetic and real-world tasks support both predictions, showing where degree-2 probes help beyond linear ones and how quotient-based transfer enables coverage-aware monitor portability across model families. These results point toward a broader geometric representation theory of neural probing, with coverage-aware monitor transfer as a concrete operational consequence.
• Abstract（参考訳）: 神経表現は独特な対象ではない。 2つのシステムが同じ下流計算を実現したとしても、その隠れた座標は再パラメータ化によって異なるかもしれない。 したがって、表現にすでに存在する構造を明らかにすることを意図したプローブ族は、特定の基底に縛られるのではなく、関連する表現対称性の下で安定であるべきである。 我々は、このグループ動作を最終読み出し層の抽出可能な正確な設定で研究し、同値な実現は隠れ座標のアフィン変化を誘導する。 結果として生じる対称性の原理は、線形プローブを次数-1のメンバーとして、浅い座標安定プローブのユニークな階層を除外する。 また、クロスモデルプローブ転送の自然な対象は、全隠れ状態ではなく、プローブファミリーに見えない表現のモジュラー方向が共有プローブ可視の商であることを示す。 合成タスクと実世界のタスクの実験は、どちらの予測もサポートし、次数2プローブがリニアなタスクを超えてどのように役立つかを示し、商ベースの転送によってモデルファミリ間のポータビリティをカバーできるかを示す。 これらの結果は、網羅的モニター転送を具体的な運用上の結果とする、より広い幾何的表現理論に向けられている。

関連論文リスト

• Beyond Activation Alignment: The Geometry of Neural Sensitivity [0.0]
  そこで我々は,小摂動を識別する表現能力に着目した,局所的測位可能な情報に基づくフレームワークを提案する。 対称正定値行列の多様体上の対数スペクトル距離を用いてこれらの正規化シグネチャを比較する。 経験的に、このフレームワークは、独立に訓練された人工ニューラルネットワークで対応するレイヤのリカバリを可能にする。
  論文  参考訳（メタデータ） (2026-05-04T23:21:24Z)
• Grid-World Representations in Transformers Reflect Predictive Geometry [0.0]
  次世代予測器は、しばしば潜伏世界の内部表現とその規則を発達させる。 ランダムウォークの正確な分布からサンプリングしたベクトルに対してデコーダのみの変換器を訓練する。 モデルと層をまたいで、学習された表現は基底真実の予測ベクトルと強く一致し、しばしば低次元である。 単純化された玩具システムで実証されているが、最適予測を支持する接頭辞表現は、ニューラルネットワークが文法やその他の構造的制約を内部化する方法を研究する上で有用なレンズとなる可能性がある。
  論文  参考訳（メタデータ） (2026-03-17T15:47:33Z)
• UniSTOK: Uniform Inductive Spatio-Temporal Kriging [18.058350565240637]
  本稿では,観察不足下でのインダクティブ・クリグ・バックボーンを向上するプラグイン・アンド・プレイ・フレームワークを提案する。 我々のフレームワークは、元の観測結果と、欠落したエントリのみにプロキシシグナルを合成するジグソー a-augmented とからなるデュアルブランチ入力を形成する。 さまざまなパターンが欠如している複数の実世界のデータセットの実験は、大幅な改善を示している。
  論文  参考訳（メタデータ） (2026-03-05T15:42:03Z)
• Fubini Study geometry of representation drift in high dimensional data [0.0]
  高次元表現のドリフトは、ユークリッド距離またはコサイン距離を用いて一般的に定量化される。 フービニ・スタディ・メトリックスにおいて,表現漂流の射影幾何学的視点を導入する。 フービニ・スタディ(Fubini Study)測度は、ゲージ誘起揺らぎの下での残留不変量による内在的進化を分離することを示した。
  論文  参考訳（メタデータ） (2026-02-01T16:00:59Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Score-based Causal Representation Learning with Interventions [54.735484409244386]
  本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。 目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
  論文  参考訳（メタデータ） (2023-01-19T18:39:48Z)
• Shape And Structure Preserving Differential Privacy [70.08490462870144]
  正方形距離関数の勾配がラプラス機構よりも感度をよりよく制御できることを示す。 また,2乗距離関数の勾配を用いることで,ラプラス機構よりも感度を制御できることを示す。
  論文  参考訳（メタデータ） (2022-09-21T18:14:38Z)
• Pure Exploration in Kernel and Neural Bandits [90.23165420559664]
  我々は、特徴表現の次元が腕の数よりもはるかに大きい帯域における純粋な探索について研究する。 そこで本研究では,各アームの特徴表現を低次元空間に適応的に埋め込む手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T19:51:59Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。