論文の概要: Estimating Shape Distances on Neural Representations with Limited Samples

• arxiv url: http://arxiv.org/abs/2310.05742v1
• Date: Mon, 9 Oct 2023 14:16:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 04:28:40.128653
• Title: Estimating Shape Distances on Neural Representations with Limited Samples
• Title（参考訳）: 限定サンプルを用いたニューラル表現における形状距離の推定
• Authors: Dean A. Pospisil, Brett W. Larsen, Sarah E. Harvey, Alex H. Williams
• Abstract要約: 我々は高次元形状推定のための厳密な統計理論を開発する。 本手法は, ニューラルシミュレーション, 特に高次元設定において, 優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 5.959815242044236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring geometric similarity between high-dimensional network representations is a topic of longstanding interest to neuroscience and deep learning. Although many methods have been proposed, only a few works have rigorously analyzed their statistical efficiency or quantified estimator uncertainty in data-limited regimes. Here, we derive upper and lower bounds on the worst-case convergence of standard estimators of shape distance$\unicode{x2014}$a measure of representational dissimilarity proposed by Williams et al. (2021). These bounds reveal the challenging nature of the problem in high-dimensional feature spaces. To overcome these challenges, we introduce a new method-of-moments estimator with a tunable bias-variance tradeoff. We show that this estimator achieves superior performance to standard estimators in simulation and on neural data, particularly in high-dimensional settings. Thus, we lay the foundation for a rigorous statistical theory for high-dimensional shape analysis, and we contribute a new estimation method that is well-suited to practical scientific settings.
• Abstract（参考訳）: 高次元ネットワーク表現間の幾何学的類似性の測定は、神経科学とディープラーニングに対する長年の関心のトピックである。 多くの手法が提案されているが、データ制限体制における統計的効率や定量化された推定器の不確かさを厳格に分析する研究はごくわずかである。 ここでは、williams et al. (2021) によって提唱された表現的異質性の尺度$\unicode{x2014}$a の形状距離の標準推定器の最悪のケース収束の上限と下限を導出する。 これらの境界は、高次元の特徴空間における問題の挑戦的性質を明らかにする。 これらの課題を克服するために、可変バイアス分散トレードオフを持つ新しいモーメント推定器を導入する。 この推定器は、シミュレーションや神経データ、特に高次元の設定において、標準推定器よりも優れた性能を示す。 そこで我々は,高次元形状解析のための厳密な統計理論の基礎を定め,実用的な科学的設定に適した新しい推定法を提案する。

関連論文リスト

• Intrinsic Dimensionality Estimation within Tight Localities: A Theoretical and Experimental Analysis [0.0]
  そこで本研究では,20個のサンプル点からなるタイトな局所性に対しても安定な局所ID推定手法を提案する。 実験結果から,提案手法の偏差は比較的小さいが, 偏差は比較的小さく, 試料径は最先端の推定値よりもはるかに小さいことがわかった。
  論文  参考訳（メタデータ） (2022-09-29T00:00:11Z)
• DeepBayes -- an estimator for parameter estimation in stochastic nonlinear dynamical models [11.917949887615567]
  本研究では,DeepBayes推定器を提案する。 ディープリカレントニューラルネットワークアーキテクチャはオフラインでトレーニングでき、推論中にかなりの時間を節約できる。 提案手法の異なる実例モデルへの適用性を実証し, 最先端手法との詳細な比較を行う。
  論文  参考訳（メタデータ） (2022-05-04T18:12:17Z)
• On the Minimal Adversarial Perturbation for Deep Neural Networks with Provable Estimation Error [65.51757376525798]
  敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。 検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。 本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。 その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
  論文  参考訳（メタデータ） (2022-01-04T16:40:03Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Divergence Frontiers for Generative Models: Sample Complexity, Quantization Level, and Frontier Integral [58.434753643798224]
  多様性フロンティアは生成モデルの評価フレームワークとして提案されている。 分岐フロンティアのプラグイン推定器のサンプル複雑性の非漸近的境界を確立する。 また,スムーズな分布推定器の統計的性能を調べることにより,分散フロンティアの枠組みも強化する。
  論文  参考訳（メタデータ） (2021-06-15T06:26:25Z)
• Intrinsic Dimension Estimation [92.87600241234344]
  内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。 次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
  論文  参考訳（メタデータ） (2021-06-08T00:05:39Z)
• Minimax Estimation of Conditional Moment Models [40.95498063465325]
  min-max基準関数を導入し,ゼロサムゲームの解法とみなすことができる。 任意の仮説空間に対する結果推定器の統計的推定速度を解析する。 修正された平均二乗誤差率と、逆問題の不備とが組み合わさって、平均二乗誤差率をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-12T14:02:38Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• An Optimal Statistical and Computational Framework for Generalized Tensor Estimation [10.899518267165666]
  本稿では,低ランクテンソル推定問題に対するフレキシブルなフレームワークについて述べる。 計算画像、ゲノミクス、ネットワーク解析の応用から多くの重要な例を含む。
  論文  参考訳（メタデータ） (2020-02-26T01:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。