論文の概要: Bayesian Comparisons Between Representations

• arxiv url: http://arxiv.org/abs/2411.08739v1
• Date: Wed, 13 Nov 2024 16:18:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:11.005981
• Title: Bayesian Comparisons Between Representations
• Title（参考訳）: 表現のベイズ的比較
• Authors: Heiko H. Schütt,
• Abstract要約: どのニューラルネットワークが類似しているかは、機械学習と神経科学の両方にとって根本的な問題である。 本稿では,先行予測分布間の全変動距離やジェンセン・シャノン距離を用いて表現を比較することを提案する。 我々は、ImageNet-1kでトレーニングされたディープニューラルネットワークと表現類似性分析に、新しいメトリクスを適用した。
• 参考スコア（独自算出の注目度）: 0.1813006808606333
• License:
• Abstract: Which neural networks are similar is a fundamental question for both machine learning and neuroscience. Our novel method compares representations based on Bayesian statistics about linear readouts from the representations. Concretely, we suggest to use the total variation distance or Jensen-Shannon distance between prior predictive distributions to compare representations. The prior predictive distribution is a full description of the inductive bias and generalization of a model in Bayesian statistics, making it a great basis for comparisons. As Jensen-Shannon distance and total variation distance are metrics our dissimilarity measures are pseudo-metrics for representations. For a linear readout, our metrics just depend on the linear kernel matrix of the representations. Thus, our metrics connects linear read-out based comparisons to kernel based metrics like centered kernel alignment and representational similarity analysis. We apply our new metrics to deep neural networks trained on ImageNet-1k. Our new metrics can be computed efficiently including a stochastic gradient without dimensionality reductions of the representations. It broadly agrees with existing metrics, but is more stringent. It varies less across different random image samples, and it measures how well two representations could be distinguished based on a linear read out. Thus our metric nicely extends our toolkit for comparing representations.
• Abstract（参考訳）: どのニューラルネットワークが類似しているかは、機械学習と神経科学の両方にとって根本的な問題である。 提案手法は, 線形可読化に関するベイズ統計に基づく表現の比較を行う。 具体的には,従来の予測分布間の全変動距離やジェンセン・シャノン距離を用いて表現を比較することを提案する。 事前の予測分布は、ベイズ統計学におけるモデルの帰納バイアスと一般化の完全な記述であり、比較のための大きな基礎となっている。 イェンセン=シャノン距離と全変距離は測度であり、我々の異性度測度は表現の擬測度である。 線形読み出しの場合、我々のメトリクスは表現の線形カーネル行列にのみ依存する。 そこで本研究では,カーネルアライメントや表現的類似性解析などのカーネルベースのメトリクスと,線形読み出しに基づく比較を関連付ける。 私たちは、ImageNet-1kでトレーニングされたディープニューラルネットワークに新しいメトリクスを適用します。 我々の新しいメトリクスは、表現の次元的縮小を伴わずに確率的勾配を含む効率よく計算できる。 既存のメトリクスと広く一致するが、より厳密である。 異なるランダムな画像サンプル間では変化がなく、線形読み出しに基づいて2つの表現がいかにうまく区別できるかを測定する。 したがって、我々の計量は表現を比較するためのツールキットをうまく拡張する。

関連論文リスト

• Soft Matching Distance: A metric on neural representations that captures single-neuron tuning [6.5714523708869566]
  ニューラル表現(dis)相似性の共通測度は、ニューラルアクティベーション空間の回転や反射に敏感であるように設計されている。 異なる大きさのネットワーク間の距離を測定するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-11-16T00:13:00Z)
• Scalable Stochastic Gradient Riemannian Langevin Dynamics in Non-Diagonal Metrics [3.8811062755861956]
  本稿では,2つの非対角的指標について述べる。 完全接続型ニューラルネットワーク(NN)と疎結合型プリエントと、相関したプリエントを持つ畳み込みNNでは、これらのメトリクスを用いることで改善が期待できることを示す。
  論文  参考訳（メタデータ） (2023-03-09T08:20:28Z)
• Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects [92.80955339180119]
  メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。 これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T07:00:53Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Hyperbolic Vision Transformers: Combining Improvements in Metric Learning [116.13290702262248]
  計量学習のための新しい双曲型モデルを提案する。 本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。 4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-03-21T09:48:23Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Kernel distance measures for time series, random fields and other structured data [71.61147615789537]
  kdiffは、構造化データのインスタンス間の距離を推定するためのカーネルベースの新しい尺度である。 これはインスタンス間の自己類似性と交差類似性の両方を考慮し、距離分布の低い定量値を用いて定義される。 kdiffをクラスタリングと分類問題のための距離尺度として用いた分離性条件について,いくつかの理論的結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T22:54:17Z)
• Information Mandala: Statistical Distance Matrix with Clustering [4.175807931922537]
  機械学習では、距離関数を最適化するために距離空間で観測特徴を測定する。 本稿では,従来の統計距離を,統計距離行列と呼ばれる行列形式に拡張する。 統計距離行列の階層的クラスタリングを用いることで、画像画素をマンダラパターンのような中心に幾何学的に配置された複数のクラスタに分割することができる。
  論文  参考訳（メタデータ） (2020-06-07T01:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。