論文の概要: When Does Closeness in Distribution Imply Representational Similarity? An Identifiability Perspective

• arxiv url: http://arxiv.org/abs/2506.03784v1
• Date: Wed, 04 Jun 2025 09:44:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.275563
• Title: When Does Closeness in Distribution Imply Representational Similarity? An Identifiability Perspective
• Title（参考訳）: 分布の近接性は表現の類似性を示唆する : 識別可能性の観点から
• Authors: Beatrix M. G. Nielsen, Emanuele Marconato, Andrea Dittadi, Luigi Gresele,
• Abstract要約: モデル分布間の小さなKullback-Leibler分散は、対応する表現が類似していることを保証するものではないことを証明する。 次に、近接性が表現的類似性を意味する分布距離を定義する。 合成実験において、より広いネットワークは我々の距離に近づき、より類似した表現を持つ分布を学習する。
• 参考スコア（独自算出の注目度）: 9.871955852117912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When and why representations learned by different deep neural networks are similar is an active research topic. We choose to address these questions from the perspective of identifiability theory, which suggests that a measure of representational similarity should be invariant to transformations that leave the model distribution unchanged. Focusing on a model family which includes several popular pre-training approaches, e.g., autoregressive language models, we explore when models which generate distributions that are close have similar representations. We prove that a small Kullback-Leibler divergence between the model distributions does not guarantee that the corresponding representations are similar. This has the important corollary that models arbitrarily close to maximizing the likelihood can still learn dissimilar representations, a phenomenon mirrored in our empirical observations on models trained on CIFAR-10. We then define a distributional distance for which closeness implies representational similarity, and in synthetic experiments, we find that wider networks learn distributions which are closer with respect to our distance and have more similar representations. Our results establish a link between closeness in distribution and representational similarity.
• Abstract（参考訳）: 異なるディープニューラルネットワークによって学習された表現が、いつ、なぜ類似しているのかは、アクティブな研究トピックである。 このことは、表現的類似性の尺度は、モデル分布を不変に残す変換と不変であるべきであることを示唆している。 例えば、自己回帰型言語モデルなど、人気のある事前学習アプローチを含むモデルファミリに着目し、近接した分布を生成するモデルが類似した表現を持つ場合について検討する。 モデル分布間の小さなKullback-Leibler分散は、対応する表現が類似していることを保証するものではないことを証明する。 このことは、CIFAR-10で訓練されたモデルに関する経験的な観察で反映された現象である異種表現を学習できる可能性の最大化に任意に近いモデルが学習できる重要な系である。 次に、近接性が表現の類似性を示唆する分布距離を定義し、合成実験において、より広いネットワークが我々の距離に対して近い分布を学習し、より類似した表現を持つことを示す。 この結果から,分布の近接性と表現的類似性との関係が確立された。

関連論文リスト

• Connecting Neural Models Latent Geometries with Relative Geodesic Representations [21.71782603770616]
  遅延構造を異なる潜在空間間で共有する場合、表現間の相対距離を歪みまで保存できることが示される。 異なるニューラルモデルは、ほぼ同じ基礎多様体をパラメータ化し、プルバック計量に基づく表現を導入すると仮定する。 本手法は,オートエンコーダと視覚基盤識別モデルを対象として,モデルの縫合と検索のタスクについて検証する。
  論文  参考訳（メタデータ） (2025-06-02T12:34:55Z)
• Linear Representation Transferability Hypothesis: Leveraging Small Models to Steer Large Models [6.390475802910619]
  同一データ上で訓練されたモデル間で学習された表現は、基本特徴の近辺集合の線形結合として表現できることを示す。 これらの基本機能は、学習タスク自体を基盤とし、スケールに関係なく、モデル間で一貫性を維持します。
  論文  参考訳（メタデータ） (2025-05-31T17:45:18Z)
• A solvable generative model with a linear, one-step denoiser [0.0]
  線形デノイザに基づく解析的抽出可能な単一ステップ拡散モデルを構築した。 トレーニングデータセットのサイズがデータポイントの次元に達すると,Kulback-Leibler分散の単調落下相が始まります。
  論文  参考訳（メタデータ） (2024-11-26T19:00:01Z)
• Conjuring Semantic Similarity [59.18714889874088]
  2つのテキスト表現間の意味的類似性は、潜伏者の「意味」の間の距離を測定する テキスト表現間の意味的類似性は、他の表現を言い換えるのではなく、それらが引き起こすイメージに基づいている、という新しいアプローチを提案する。 提案手法は,人間の注釈付きスコアに適合するだけでなく,テキスト条件付き生成モデル評価のための新たな道を開く意味的類似性に関する新たな視点を提供する。
  論文  参考訳（メタデータ） (2024-10-21T18:51:34Z)
• Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects [92.80955339180119]
  メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。 これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T07:00:53Z)
• Neural Representations Reveal Distinct Modes of Class Fitting in Residual Convolutional Networks [5.1271832547387115]
  ニューラル表現の確率モデルを利用して、残余ネットワークがクラスにどのように適合するかを調べる。 調査対象モデルのクラスは均一に適合していないことがわかった。 神経表現の未発見構造は, トレーニング例の堅牢性と, 対向記憶の相関性を示す。
  論文  参考訳（メタデータ） (2022-12-01T18:55:58Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。