論文の概要: Learning conditional distributions on continuous spaces

• arxiv url: http://arxiv.org/abs/2406.09375v1
• Date: Thu, 13 Jun 2024 17:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 16:15:58.954535
• Title: Learning conditional distributions on continuous spaces
• Title（参考訳）: 連続空間上の条件分布の学習
• Authors: Cyril Bénézet, Ziteng Cheng, Sebastian Jaimungal,
• Abstract要約: 多次元単位箱上の条件分布のサンプルベース学習について検討する。 我々は2つの異なるクラスタリングスキームを用いる: 1つは固定ラディウス球に基づいており、もう1つは近接する近傍にある。 我々は,ニューラルネットワークのトレーニングに近接する手法を取り入れることを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate sample-based learning of conditional distributions on multi-dimensional unit boxes, allowing for different dimensions of the feature and target spaces. Our approach involves clustering data near varying query points in the feature space to create empirical measures in the target space. We employ two distinct clustering schemes: one based on a fixed-radius ball and the other on nearest neighbors. We establish upper bounds for the convergence rates of both methods and, from these bounds, deduce optimal configurations for the radius and the number of neighbors. We propose to incorporate the nearest neighbors method into neural network training, as our empirical analysis indicates it has better performance in practice. For efficiency, our training process utilizes approximate nearest neighbors search with random binary space partitioning. Additionally, we employ the Sinkhorn algorithm and a sparsity-enforced transport plan. Our empirical findings demonstrate that, with a suitably designed structure, the neural network has the ability to adapt to a suitable level of Lipschitz continuity locally. For reproducibility, our code is available at \url{https://github.com/zcheng-a/LCD_kNN}.
• Abstract（参考訳）: 多次元単位箱上での条件分布のサンプルベース学習について検討し,特徴量と対象空間の異なる次元について検討した。 提案手法では,特徴空間における様々なクエリポイント付近のデータをクラスタリングして,対象空間における経験的測度を生成する。 我々は2つの異なるクラスタリングスキームを用いる: 1つは固定ラディウス球に基づいており、もう1つは近接する近傍にある。 両手法の収束率の上限を確立し、これらの境界から半径と近傍の数の最適構成を導出する。 我々は,ニューラルネットワークのトレーニングに近接する手法を取り入れることを提案する。 効率向上のために、我々のトレーニングプロセスは、ランダムな二分空間分割による近接した近傍探索を利用する。 さらに,Sinkhornアルゴリズムとスペーサ性強化輸送計画を用いる。 我々の経験的知見は、適切に設計された構造で、ニューラルネットワークはリプシッツ連続性の適切なレベルに局所的に適応できることを示している。 再現性のために、私たちのコードは \url{https://github.com/zcheng-a/LCD_kNN} で利用可能です。

関連論文リスト

• Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
  我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。 多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-08T13:08:45Z)
• Point Cloud Classification via Deep Set Linearized Optimal Transport [51.99765487172328]
  我々は,点雲をL2-$spaceに効率的に同時埋め込むアルゴリズムであるDeep Set Linearized Optimal Transportを紹介した。 この埋め込みはワッサーシュタイン空間内の特定の低次元構造を保持し、点雲の様々なクラスを区別する分類器を構成する。 我々は,有限個のラベル付き点雲を持つフローデータセットの実験を通じて,標準的な深層集合アプローチに対するアルゴリズムの利点を実証する。
  論文  参考訳（メタデータ） (2024-01-02T23:26:33Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks [42.76623191830371]
  本稿では,ゴシップに基づく分散二段階最適化アルゴリズムを提案する。 エージェントはネットワークと外部の両方の問題を一度に解くことができる。 我々のアルゴリズムは最先端の効率とテスト精度を達成する。
  論文  参考訳（メタデータ） (2022-06-22T06:38:54Z)
• STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal Sample and Communication Complexities for Federated Learning [58.6792963686231]
  フェデレートラーニング(FL)とは、複数のワーカノード(WN)がローカルデータを用いてジョイントモデルを構築するパラダイムを指す。 WNの最小更新方向、最初のミニバッチサイズ、ローカル更新頻度をどうやって選択するかは明らかになっていない。 局所的な更新頻度と局所的なミニサイズとの間にはトレードオフ曲線があることを示し、上記の複雑さを維持できることを示す。
  論文  参考訳（メタデータ） (2021-06-19T06:13:45Z)
• Hyperdimensional Computing for Efficient Distributed Classification with Randomized Neural Networks [5.942847925681103]
  本研究では,データを中央に保存することも共有することもできない状況下で利用できる分散分類について検討する。 ローカルな分類器を他のエージェントと共有する場合に、ロッキーな圧縮アプローチを適用することにより、分散分類のためのより効率的な解を提案する。
  論文  参考訳（メタデータ） (2021-06-02T01:33:56Z)
• Partition-Guided GANs [63.980473635585234]
  私たちは、スペースを小さな領域に分割し、それぞれがよりシンプルな分布を持ち、各パーティションごとに異なるジェネレータを訓練するパーティションーを設計します。 これはラベルを必要とせずに教師なしの方法で実行される。 各種標準ベンチマーク実験の結果,提案手法が近年の手法を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-04-02T00:06:53Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks [3.075766050800645]
  隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。 先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。 本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-19T16:12:44Z)
• Adaptive quadrature schemes for Bayesian inference via active learning [0.0]
  本稿では,能動的学習手法に基づく適応的な2次スキームを提案する。 代理密度を構築するための補間的手法をモンテカルロサンプリング法や他の二次規則と組み合わせて検討する。 数値的な結果は、天文学モデルにおける挑戦的推論問題を含む提案手法の利点を示している。
  論文  参考訳（メタデータ） (2020-05-31T15:02:32Z)
• One Size Fits All: Can We Train One Denoiser for All Noise Levels? [13.46272057205994]
  1つのニューラルネットワーク推定器を訓練し、それを全てのノイズレベルに適用することが好ましい。 事実上のプロトコルは、ノイズが均一に分散されたノイズサンプルで推定器を訓練することである。 本稿では,ミニマックスリスク最適化の観点から,サンプル問題に対処する。
  論文  参考訳（メタデータ） (2020-05-19T17:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。