論文の概要: Bayesian Comparisons Between Representations
- arxiv url: http://arxiv.org/abs/2411.08739v2
- Date: Wed, 19 Feb 2025 17:55:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-20 13:55:39.986867
- Title: Bayesian Comparisons Between Representations
- Title（参考訳）: 表現のベイズ的比較
- Authors: Heiko H. Schütt,
- Abstract要約: 中間表現からの線形読み出しの予測分布に関する基礎的比較を提案する。
先行予測分布は、モデルの帰納バイアスと一般化の完全な記述である。
ImageNet-1kで訓練されたディープニューラルネットワークを用いた新しい手法を実演する。
- 参考スコア（独自算出の注目度）: 0.1813006808606333
- License:
- Abstract: Which neural networks are similar is a fundamental question for both machine learning and neuroscience. Here, I propose to base comparisons on the predictive distributions of linear readouts from intermediate representations. In Bayesian statistics, the prior predictive distribution is a full description of the inductive bias and generalization of a model, making it a great basis for comparisons. This distribution directly gives the evidence a dataset would provide in favor of the model. If we want to compare multiple models to each other, we can use a metric for probability distributions like the Jensen-Shannon distance or the total variation distance. As these are metrics, this induces pseudo-metrics for representations, which measure how well two representations could be distinguished based on a linear read out. For a linear readout with a Gaussian prior on the read-out weights and Gaussian noise, we can analytically compute the (prior and posterior) predictive distributions without approximations. These distributions depend only on the linear kernel matrix of the representations in the model. Thus, the Bayesian metrics connect linear read-out based comparisons to kernel based metrics like centered kernel alignment and representational similarity analysis. I demonstrate the new methods with deep neural networks trained on ImageNet-1k comparing them to each other and a small subset of the Natural Scenes Dataset. The Bayesian comparisons broadly agree with existing metrics, but are more stringent. Empirically, evaluations vary less across different random image samples and yield informative results with full uncertainty information. Thus the proposed Bayesian metrics nicely extend our toolkit for comparing representations.
- Abstract（参考訳）: どのニューラルネットワークが類似しているかは、機械学習と神経科学の両方にとって根本的な問題である。
本稿では,中間表現からの線形読み出しの予測分布に関する基礎的比較を提案する。
ベイズ統計学において、先行予測分布はモデルの帰納的バイアスと一般化の完全な記述であり、比較のための大きな基礎となっている。
この分布は、データセットがモデルに有利な証拠を直接与えます。
複数のモデルを互いに比較したい場合、Jensen-Shannon距離や全変動距離といった確率分布の計量を用いることができる。
これらは測定値であるので、線形読み出しに基づいて2つの表現がどれだけよく区別できるかを測定する、表現のための擬似測度を誘導する。
読み出し重みとガウス雑音に先立ってガウスの線形読み出しを行う場合、近似なしで(前と後)予測分布を解析的に計算できる。
これらの分布はモデルの表現の線型カーネル行列にのみ依存する。
したがって、ベイズ計量は、中央のカーネルアライメントや表現的類似性分析のようなカーネルベースのメトリクスと線形読み出しに基づく比較を結びつける。
ImageNet-1kでトレーニングされたディープニューラルネットワークによる新しい手法と、それらを互いに比較し、Natural Scenes Datasetの小さなサブセットを示す。
ベイズの比較は、既存の指標と広く一致しているが、より厳密である。
実験的に、評価は異なるランダムな画像サンプル間では変化せず、完全な不確実性情報を持つ情報的結果が得られる。
このように提案されたベイズ計量は、表現を比較するためのツールキットをうまく拡張する。
関連論文リスト
- Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
観測結果からサンプリング分布を学習する4つの方法を提案する。
実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2023-02-02T15:50:21Z) - Counting Like Human: Anthropoid Crowd Counting on Modeling the
Similarity of Objects [92.80955339180119]
メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。
これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-02T07:00:53Z) - On the Dynamics of Inference and Learning [0.0]
本稿では,このベイズ更新過程を連続力学系として扱う。
クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
論文 参考訳（メタデータ） (2022-04-19T18:04:36Z) - Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。
正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。
単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
論文 参考訳（メタデータ） (2022-03-29T12:34:43Z) - Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。
それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。
本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文 参考訳（メタデータ） (2021-12-11T13:18:33Z) - Approximate Bayesian Computation via Classification [0.966840768820136]
近似計算(ABC: Approximate Computation)は、計算が難しいがシミュレーションが容易な複雑なモデルにおいて、統計的推論を可能にする。
ABCは、実データとシミュレーションデータの要約統計を比較するアセプション/リジェクト機構により、後部分布に対するカーネル型近似を構築する。
ABCの受け入れしきい値を必要としない指数重み付け方式と同様に、従来のアセプション/リジェクトカーネルも考慮する。
論文 参考訳（メタデータ） (2021-11-22T20:07:55Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Kernel distance measures for time series, random fields and other
structured data [71.61147615789537]
kdiffは、構造化データのインスタンス間の距離を推定するためのカーネルベースの新しい尺度である。
これはインスタンス間の自己類似性と交差類似性の両方を考慮し、距離分布の低い定量値を用いて定義される。
kdiffをクラスタリングと分類問題のための距離尺度として用いた分離性条件について,いくつかの理論的結果が得られた。
論文 参考訳（メタデータ） (2021-09-29T22:54:17Z) - Performance of Bayesian linear regression in a model with mismatch [8.60118148262922]
本研究では,ガウス先行の対数対数対のベイズ分布の平均値から得られる推定器の性能を解析した。
この推論モデルは、スピングラスにおけるガードナーモデルのバージョンとして記述することができる。
論文 参考訳（メタデータ） (2021-07-14T18:50:13Z) - A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。
条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。
混合物のパラメータと距離測定値に基づいて後部推論を行う。
論文 参考訳（メタデータ） (2020-12-03T18:08:30Z) - Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。
本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。
ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
論文 参考訳（メタデータ） (2020-06-16T01:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。