論文の概要: Minimum intrinsic dimension scaling for entropic optimal transport

• arxiv url: http://arxiv.org/abs/2306.03398v1
• Date: Tue, 6 Jun 2023 04:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 17:21:14.642507
• Title: Minimum intrinsic dimension scaling for entropic optimal transport
• Title（参考訳）: エントロピー最適輸送のための最小固有次元スケーリング
• Authors: Austin J. Stromme
• Abstract要約: 我々は,データ固有の次元に敏感なエントロピー最適輸送のための統計的境界を開発する。 MIDスケーリングは一般的な現象であり、エントロピー正則化の統計的効果を距離スケールとして初めて厳密に解釈する。
• 参考スコア（独自算出の注目度）: 0.4568777157687961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by the manifold hypothesis, which states that data with a high extrinsic dimension may yet have a low intrinsic dimension, we develop refined statistical bounds for entropic optimal transport that are sensitive to the intrinsic dimension of the data. Our bounds involve a robust notion of intrinsic dimension, measured at only a single distance scale depending on the regularization parameter, and show that it is only the minimum of these single-scale intrinsic dimensions which governs the rate of convergence. We call this the Minimum Intrinsic Dimension scaling (MID scaling) phenomenon, and establish MID scaling with no assumptions on the data distributions so long as the cost is bounded and Lipschitz, and for various entropic optimal transport quantities beyond just values, with stronger analogs when one distribution is supported on a manifold. Our results significantly advance the theoretical state of the art by showing that MID scaling is a generic phenomenon, and provide the first rigorous interpretation of the statistical effect of entropic regularization as a distance scale.
• Abstract（参考訳）: 高い外生次元のデータがまだ低い内生次元を持つ可能性があるという多様体仮説に動機づけられた我々は、データの内生次元に敏感なエントロピー最適輸送のための洗練された統計境界を開発する。 我々の境界には本質次元の頑健な概念が含まれており、正規化パラメータに依存する単距離スケールで測定され、収束率を規定するこれらの単スケール本質次元の最小値であることを示している。 これを最小内在次元スケーリング(mid scaling)現象と呼び、コストが有界かつリプシッツである限り、データ分布を仮定せずにミッドスケーリングを確立する。 本研究は,中間スケーリングが一般的な現象であることを示し,遠距離尺度としてエントロピー正則化の統計的効果を初めて厳密に解釈することで,芸術の理論的状態を著しく前進させた。

関連論文リスト

• Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• High Dimensional Statistical Estimation under One-bit Quantization [27.718986773043643]
  1ビット(バイナリ)データは、信号ストレージ、処理、送信、プライバシーの強化といった効率性のために、多くのアプリケーションで好まれる。 本稿では,3つの基本的な統計的推定問題について検討する。 ガウス系と重尾系の両方で、高次元スケーリングを扱う新しい推定器が提案されている。
  論文  参考訳（メタデータ） (2022-02-26T15:13:04Z)
• Keep it Tighter -- A Story on Analytical Mean Embeddings [0.6445605125467574]
  カーネル技術は、データサイエンスにおいて最も人気があり柔軟なアプローチの一つである。 平均埋め込みは、最大平均不一致(MMD)と呼ばれる分岐測度をもたらす。 本稿では,基礎となる分布の1つの平均埋め込みが解析的に利用可能である場合のMDD推定の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2021-10-15T21:29:27Z)
• Concentration of Non-Isotropic Random Tensors with Applications to Learning and Empirical Risk Minimization [0.0]
  ディメンジョンは、最適化手法がデータのサイズに悩まされる現代の学習タスクに固有のボトルネックである。 環境よりも有効次元に依存して、これらの次元コストを削減するツールを開発する。 本稿では, 学習問題における非等方性特性の活用の重要性について述べる。
  論文  参考訳（メタデータ） (2021-02-04T17:13:03Z)
• Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning [52.624194343095304]
  我々は、内在次元のレンズを通して微調整を分析することは、経験的および理論的直観をもたらすと論じる。 実験により、一般的な事前学習モデルは本質的な次元が極めて低いことを示す。
  論文  参考訳（メタデータ） (2020-12-22T07:42:30Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• On the minmax regret for statistical manifolds: the role of curvature [68.8204255655161]
  2つの部分のコードと最小記述長は、最高のモデルを選別するための手順を提供するのに成功している。 我々は、フィッシャー情報計量のスカラー曲率が支配的な役割を果たす複雑さによって与えられる標準表現よりも、よりシャープな表現を導出する。
  論文  参考訳（メタデータ） (2020-07-06T17:28:19Z)
• On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification [101.0377583883137]
  射影ロバスト(PR)OTは、2つの測度の間のOTコストを最大化するために、射影可能な$k$次元部分空間を選択する。 私たちの最初の貢献は、PRワッサーシュタイン距離のいくつかの基本的な統計的性質を確立することである。 次に、部分空間を最適化するのではなく平均化することにより、PRW距離の代替として積分PRワッサーシュタイン距離(IPRW)を提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:35:33Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。