論文の概要: Bayesian Comparisons Between Representations

• arxiv url: http://arxiv.org/abs/2411.08739v2
• Date: Wed, 19 Feb 2025 17:55:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 15:43:05.801119
• Title: Bayesian Comparisons Between Representations
• Title（参考訳）: 表現のベイズ的比較
• Authors: Heiko H. Schütt,
• Abstract要約: 中間表現からの線形読み出しの予測分布に関する基礎的比較を提案する。 先行予測分布は、モデルの帰納バイアスと一般化の完全な記述である。 ImageNet-1kで訓練されたディープニューラルネットワークを用いた新しい手法を実演する。
• 参考スコア（独自算出の注目度）: 0.1813006808606333
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Which neural networks are similar is a fundamental question for both machine learning and neuroscience. Here, I propose to base comparisons on the predictive distributions of linear readouts from intermediate representations. In Bayesian statistics, the prior predictive distribution is a full description of the inductive bias and generalization of a model, making it a great basis for comparisons. This distribution directly gives the evidence a dataset would provide in favor of the model. If we want to compare multiple models to each other, we can use a metric for probability distributions like the Jensen-Shannon distance or the total variation distance. As these are metrics, this induces pseudo-metrics for representations, which measure how well two representations could be distinguished based on a linear read out. For a linear readout with a Gaussian prior on the read-out weights and Gaussian noise, we can analytically compute the (prior and posterior) predictive distributions without approximations. These distributions depend only on the linear kernel matrix of the representations in the model. Thus, the Bayesian metrics connect linear read-out based comparisons to kernel based metrics like centered kernel alignment and representational similarity analysis. I demonstrate the new methods with deep neural networks trained on ImageNet-1k comparing them to each other and a small subset of the Natural Scenes Dataset. The Bayesian comparisons broadly agree with existing metrics, but are more stringent. Empirically, evaluations vary less across different random image samples and yield informative results with full uncertainty information. Thus the proposed Bayesian metrics nicely extend our toolkit for comparing representations.
• Abstract（参考訳）: どのニューラルネットワークが類似しているかは、機械学習と神経科学の両方にとって根本的な問題である。 本稿では,中間表現からの線形読み出しの予測分布に関する基礎的比較を提案する。 ベイズ統計学において、先行予測分布はモデルの帰納的バイアスと一般化の完全な記述であり、比較のための大きな基礎となっている。 この分布は、データセットがモデルに有利な証拠を直接与えます。 複数のモデルを互いに比較したい場合、Jensen-Shannon距離や全変動距離といった確率分布の計量を用いることができる。 これらは測定値であるので、線形読み出しに基づいて2つの表現がどれだけよく区別できるかを測定する、表現のための擬似測度を誘導する。 読み出し重みとガウス雑音に先立ってガウスの線形読み出しを行う場合、近似なしで(前と後)予測分布を解析的に計算できる。 これらの分布はモデルの表現の線型カーネル行列にのみ依存する。 したがって、ベイズ計量は、中央のカーネルアライメントや表現的類似性分析のようなカーネルベースのメトリクスと線形読み出しに基づく比較を結びつける。 ImageNet-1kでトレーニングされたディープニューラルネットワークによる新しい手法と、それらを互いに比較し、Natural Scenes Datasetの小さなサブセットを示す。 ベイズの比較は、既存の指標と広く一致しているが、より厳密である。 実験的に、評価は異なるランダムな画像サンプル間では変化せず、完全な不確実性情報を持つ情報的結果が得られる。 このように提案されたベイズ計量は、表現を比較するためのツールキットをうまく拡張する。

関連論文リスト

• Mixture models for data with unknown distributions [0.6345523830122168]
  実数値多変量データに対する混合モデルの幅広いクラスを記述・解析する。 データの分割と分布の推定の両方を返却し、クラスタリングと密度推定を各クラスタ内で同時に効果的に行う。 提案手法を図解的アプリケーション選択で実証し,両アルゴリズムをコードで実装する。
  論文  参考訳（メタデータ） (2025-02-26T22:42:40Z)
• What Representational Similarity Measures Imply about Decodable Information [6.5879381737929945]
  我々は、デコーディングの観点から、いくつかのニューラルネットワーク類似度尺度が等価に動機付けられることを示した。 CKAやCCAといった手法は、デコードタスクの分散を通して最適な線形読み込み間の平均的なアライメントを定量化します。 全体として、我々の研究は、神経表現の幾何学と情報を線形に復号する能力の密接な関係を実証している。
  論文  参考訳（メタデータ） (2024-11-12T21:37:10Z)
• Soft Matching Distance: A metric on neural representations that captures single-neuron tuning [6.5714523708869566]
  ニューラル表現(dis)相似性の共通測度は、ニューラルアクティベーション空間の回転や反射に敏感であるように設計されている。 異なる大きさのネットワーク間の距離を測定するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-11-16T00:13:00Z)
• Scalable Stochastic Gradient Riemannian Langevin Dynamics in Non-Diagonal Metrics [3.8811062755861956]
  本稿では,2つの非対角的指標について述べる。 完全接続型ニューラルネットワーク(NN)と疎結合型プリエントと、相関したプリエントを持つ畳み込みNNでは、これらのメトリクスを用いることで改善が期待できることを示す。
  論文  参考訳（メタデータ） (2023-03-09T08:20:28Z)
• Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
  観測結果からサンプリング分布を学習する4つの方法を提案する。 実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:50:21Z)
• Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects [92.80955339180119]
  メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。 これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T07:00:53Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• On the Dynamics of Inference and Learning [0.0]
  本稿では,このベイズ更新過程を連続力学系として扱う。 クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
  論文  参考訳（メタデータ） (2022-04-19T18:04:36Z)
• Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
  本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。 正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。 単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
  論文  参考訳（メタデータ） (2022-03-29T12:34:43Z)
• Hyperbolic Vision Transformers: Combining Improvements in Metric Learning [116.13290702262248]
  計量学習のための新しい双曲型モデルを提案する。 本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。 4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-03-21T09:48:23Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Kernel distance measures for time series, random fields and other structured data [71.61147615789537]
  kdiffは、構造化データのインスタンス間の距離を推定するためのカーネルベースの新しい尺度である。 これはインスタンス間の自己類似性と交差類似性の両方を考慮し、距離分布の低い定量値を用いて定義される。 kdiffをクラスタリングと分類問題のための距離尺度として用いた分離性条件について,いくつかの理論的結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T22:54:17Z)
• Performance of Bayesian linear regression in a model with mismatch [8.60118148262922]
  本研究では,ガウス先行の対数対数対のベイズ分布の平均値から得られる推定器の性能を解析した。 この推論モデルは、スピングラスにおけるガードナーモデルのバージョンとして記述することができる。
  論文  参考訳（メタデータ） (2021-07-14T18:50:13Z)
• A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
  多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。 条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。 混合物のパラメータと距離測定値に基づいて後部推論を行う。
  論文  参考訳（メタデータ） (2020-12-03T18:08:30Z)
• Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
  既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。 本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。 ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
  論文  参考訳（メタデータ） (2020-06-16T01:23:39Z)
• Information Mandala: Statistical Distance Matrix with Clustering [4.175807931922537]
  機械学習では、距離関数を最適化するために距離空間で観測特徴を測定する。 本稿では,従来の統計距離を,統計距離行列と呼ばれる行列形式に拡張する。 統計距離行列の階層的クラスタリングを用いることで、画像画素をマンダラパターンのような中心に幾何学的に配置された複数のクラスタに分割することができる。
  論文  参考訳（メタデータ） (2020-06-07T01:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。