論文の概要: Logit Distance Bounds Representational Similarity

• arxiv url: http://arxiv.org/abs/2602.15438v2
• Date: Wed, 18 Feb 2026 23:15:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.202915
• Title: Logit Distance Bounds Representational Similarity
• Title（参考訳）: 対物距離境界の表現的類似性
• Authors: Beatrix M. G. Nielsen, Emanuele Marconato, Luigi Gresele, Andrea Dittadi, Simon Buchholz,
• Abstract要約: 本稿では,ロジット差に基づく分布距離について検討し,この距離の近接性が線形類似性を保証することを示す。 さらに、モデル確率が 0 から離れたとき、KL の発散は対数距離を逸脱するが、結果として得られる有界性は実際には非自明な制御を与えないことを示す。
• 参考スコア（独自算出の注目度）: 18.79873056204737
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: For a broad family of discriminative models that includes autoregressive language models, identifiability results imply that if two models induce the same conditional distributions, then their internal representations agree up to an invertible linear transformation. We ask whether an analogous conclusion holds approximately when the distributions are close instead of equal. Building on the observation of Nielsen et al. (2025) that closeness in KL divergence need not imply high linear representational similarity, we study a distributional distance based on logit differences and show that closeness in this distance does yield linear similarity guarantees. Specifically, we define a representational dissimilarity measure based on the models' identifiability class and prove that it is bounded by the logit distance. We further show that, when model probabilities are bounded away from zero, KL divergence upper-bounds logit distance; yet the resulting bound fails to provide nontrivial control in practice. As a consequence, KL-based distillation can match a teacher's predictions while failing to preserve linear representational properties, such as linear-probe recoverability of human-interpretable concepts. In distillation experiments on synthetic and image datasets, logit-distance distillation yields students with higher linear representational similarity and better preservation of the teacher's linearly recoverable concepts.
• Abstract（参考訳）: 自己回帰型言語モデルを含む幅広い識別モデルに対して、識別可能性の結果は、2つのモデルが同じ条件分布を誘導すると、それらの内部表現が可逆線型変換に一致することを示唆する。 類似の結論が、分布が等しくではなく近いときにほぼ成立するかどうかを問う。 Nielsen et al (2025) の観測に基づいて、KL の発散における近接性は、高線形表現的類似性を含まないことを示し、ロジット差に基づく分布距離について検討し、この距離における近接性が線形類似性を保証することを示す。 具体的には,モデルの識別可能性クラスに基づく表現的相似度尺度を定義し,ロジット距離で有界であることを証明する。 さらに、モデル確率が 0 から離れたとき、KL の発散は対数距離を逸脱するが、結果として得られる有界性は実際には非自明な制御を与えないことを示す。 その結果、KLに基づく蒸留は、人間の解釈可能な概念の線形確率回復可能性のような線形表現性を保たず、教師の予測に合致する。 合成データセットと画像データセットの蒸留実験において、対数距離蒸留は、より高い線形表現的類似性と、教師の線形再生可能な概念の保存性を高める。

関連論文リスト

• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• When Does Closeness in Distribution Imply Representational Similarity? An Identifiability Perspective [9.578534178372829]
  モデル分布間の小さなKullback--Leibler分散は、対応する表現が類似していることを保証するものではないことを証明する。 次に、近接性が表現的類似性を意味する分布距離を定義する。 合成実験において、より広いネットワークは我々の距離に近づき、より類似した表現を持つ分布を学習する。
  論文  参考訳（メタデータ） (2025-06-04T09:44:22Z)
• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• BELIEF in Dependence: Leveraging Atomic Linearity in Data Bits for Rethinking Generalized Linear Models [5.726186905478233]
  我々は,バイナリ拡張線形効果(BELIEF)と呼ばれるフレームワークを開発し,任意の関係をバイナリ結果と理解する。 BELIEFフレームワークのモデルは、線形モデルの言語におけるバイナリ変数の関連性を記述するため、容易に解釈できる。
  論文  参考訳（メタデータ） (2022-10-19T19:28:09Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。