論文の概要: Bayesian Comparisons Between Representations

• arxiv url: http://arxiv.org/abs/2411.08739v1
• Date: Wed, 13 Nov 2024 16:18:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:11.005981
• Title: Bayesian Comparisons Between Representations
• Title（参考訳）: 表現のベイズ的比較
• Authors: Heiko H. Schütt,
• Abstract要約: どのニューラルネットワークが類似しているかは、機械学習と神経科学の両方にとって根本的な問題である。 本稿では,先行予測分布間の全変動距離やジェンセン・シャノン距離を用いて表現を比較することを提案する。 我々は、ImageNet-1kでトレーニングされたディープニューラルネットワークと表現類似性分析に、新しいメトリクスを適用した。
• 参考スコア（独自算出の注目度）: 0.1813006808606333
• License:
• Abstract: Which neural networks are similar is a fundamental question for both machine learning and neuroscience. Our novel method compares representations based on Bayesian statistics about linear readouts from the representations. Concretely, we suggest to use the total variation distance or Jensen-Shannon distance between prior predictive distributions to compare representations. The prior predictive distribution is a full description of the inductive bias and generalization of a model in Bayesian statistics, making it a great basis for comparisons. As Jensen-Shannon distance and total variation distance are metrics our dissimilarity measures are pseudo-metrics for representations. For a linear readout, our metrics just depend on the linear kernel matrix of the representations. Thus, our metrics connects linear read-out based comparisons to kernel based metrics like centered kernel alignment and representational similarity analysis. We apply our new metrics to deep neural networks trained on ImageNet-1k. Our new metrics can be computed efficiently including a stochastic gradient without dimensionality reductions of the representations. It broadly agrees with existing metrics, but is more stringent. It varies less across different random image samples, and it measures how well two representations could be distinguished based on a linear read out. Thus our metric nicely extends our toolkit for comparing representations.
• Abstract（参考訳）: どのニューラルネットワークが類似しているかは、機械学習と神経科学の両方にとって根本的な問題である。 提案手法は, 線形可読化に関するベイズ統計に基づく表現の比較を行う。 具体的には,従来の予測分布間の全変動距離やジェンセン・シャノン距離を用いて表現を比較することを提案する。 事前の予測分布は、ベイズ統計学におけるモデルの帰納バイアスと一般化の完全な記述であり、比較のための大きな基礎となっている。 イェンセン=シャノン距離と全変距離は測度であり、我々の異性度測度は表現の擬測度である。 線形読み出しの場合、我々のメトリクスは表現の線形カーネル行列にのみ依存する。 そこで本研究では,カーネルアライメントや表現的類似性解析などのカーネルベースのメトリクスと,線形読み出しに基づく比較を関連付ける。 私たちは、ImageNet-1kでトレーニングされたディープニューラルネットワークに新しいメトリクスを適用します。 我々の新しいメトリクスは、表現の次元的縮小を伴わずに確率的勾配を含む効率よく計算できる。 既存のメトリクスと広く一致するが、より厳密である。 異なるランダムな画像サンプル間では変化がなく、線形読み出しに基づいて2つの表現がいかにうまく区別できるかを測定する。 したがって、我々の計量は表現を比較するためのツールキットをうまく拡張する。

関連論文リスト

• Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
  観測結果からサンプリング分布を学習する4つの方法を提案する。 実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:50:21Z)
• Counting Like Human: Anthropoid Crowd Counting on Modeling the Similarity of Objects [92.80955339180119]
  メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。 これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T07:00:53Z)
• On the Dynamics of Inference and Learning [0.0]
  本稿では,このベイズ更新過程を連続力学系として扱う。 クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
  論文  参考訳（メタデータ） (2022-04-19T18:04:36Z)
• Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
  本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。 正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。 単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
  論文  参考訳（メタデータ） (2022-03-29T12:34:43Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Approximate Bayesian Computation via Classification [0.966840768820136]
  近似計算(ABC: Approximate Computation)は、計算が難しいがシミュレーションが容易な複雑なモデルにおいて、統計的推論を可能にする。 ABCは、実データとシミュレーションデータの要約統計を比較するアセプション/リジェクト機構により、後部分布に対するカーネル型近似を構築する。 ABCの受け入れしきい値を必要としない指数重み付け方式と同様に、従来のアセプション/リジェクトカーネルも考慮する。
  論文  参考訳（メタデータ） (2021-11-22T20:07:55Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Kernel distance measures for time series, random fields and other structured data [71.61147615789537]
  kdiffは、構造化データのインスタンス間の距離を推定するためのカーネルベースの新しい尺度である。 これはインスタンス間の自己類似性と交差類似性の両方を考慮し、距離分布の低い定量値を用いて定義される。 kdiffをクラスタリングと分類問題のための距離尺度として用いた分離性条件について,いくつかの理論的結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T22:54:17Z)
• Performance of Bayesian linear regression in a model with mismatch [8.60118148262922]
  本研究では,ガウス先行の対数対数対のベイズ分布の平均値から得られる推定器の性能を解析した。 この推論モデルは、スピングラスにおけるガードナーモデルのバージョンとして記述することができる。
  論文  参考訳（メタデータ） (2021-07-14T18:50:13Z)
• A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
  多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。 条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。 混合物のパラメータと距離測定値に基づいて後部推論を行う。
  論文  参考訳（メタデータ） (2020-12-03T18:08:30Z)
• Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
  既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。 本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。 ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
  論文  参考訳（メタデータ） (2020-06-16T01:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。