Fugu-MT 論文翻訳(概要): Low-loss connection of weight vectors: distribution-based approaches

論文の概要: Low-loss connection of weight vectors: distribution-based approaches

arxiv url: http://arxiv.org/abs/2008.00741v1
Date: Mon, 3 Aug 2020 09:42:47 GMT
ステータス: 処理完了
システム内更新日: 2022-11-03 05:40:07.832958
Title: Low-loss connection of weight vectors: distribution-based approaches
Title（参考訳）: 重みベクトルの低損失接続:分布に基づくアプローチ
Authors: Ivan Anokhin, Dmitry Yarotsky
Abstract要約: この表面の低損失曲線により2つの低損失点を接続する手法のパネルを記述・比較する。ほとんどの手法は「マクロ的」分布の仮定に基づいており、接続される点の詳細な性質に敏感なものもある。
参考スコア（独自算出の注目度）: 22.543530993814016
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent research shows that sublevel sets of the loss surfaces of overparameterized networks are connected, exactly or approximately. We describe and compare experimentally a panel of methods used to connect two low-loss points by a low-loss curve on this surface. Our methods vary in accuracy and complexity. Most of our methods are based on "macroscopic" distributional assumptions, and some are insensitive to the detailed properties of the points to be connected. Some methods require a prior training of a "global connection model" which can then be applied to any pair of points. The accuracy of the method generally correlates with its complexity and sensitivity to the endpoint detail.
Abstract（参考訳）: 近年の研究では、過パラメータネットワークの損失面の部分レベル集合が、正確には、あるいはほぼ接続されていることが示されている。この表面の低損失曲線によって2つの低損失点を接続する手法のパネルを実験的に記述し比較する。我々の方法は正確さと複雑さが異なる。ほとんどの手法は「マクロ的」分布の仮定に基づいており、接続される点の詳細な性質に敏感なものもある。いくつかの方法は「グローバル接続モデル」の事前の訓練を必要とし、任意の一対の点に適用できる。この手法の精度は一般にエンドポイントの細部に対する複雑さと感度に相関する。

関連論文リスト

Using Low-Discrepancy Points for Data Compression in Machine Learning: An Experimental Comparison [0.0]
ニューラルネットワークのトレーニングのために,低差分点に基づく2つの手法を探索し,大規模なデータセットを削減する。 1つ目はDickとFeischlの手法で、これはデジタルネットと平均化手順に依存している。ディジタルネットを用いた第2の手法を構築するが、平均化ではなくクラスタリングを行う。
論文参考訳（メタデータ） (2024-07-10T08:07:55Z)
Arbitrary-Scale Point Cloud Upsampling by Voxel-Based Network with Latent Geometric-Consistent Learning [52.825441454264585]
Voxel-based Network (textbfPU-VoxelNet) を用いた任意のスケールのクラウド・アップサンプリング・フレームワークを提案する。ボクセル表現から継承された完全性と規則性により、ボクセルベースのネットワークは3次元表面を近似する事前定義されたグリッド空間を提供することができる。密度誘導グリッド再サンプリング法を開発し、高忠実度点を生成するとともに、サンプリング出力を効果的に回避する。
論文参考訳（メタデータ） (2024-03-08T07:31:14Z)
Pipelined correlated minimum weight perfect matching of the surface code [56.01788646782563]
最小ウェイト完全マッチングを用いて表面コードを復号するパイプライン手法について述べる。独立な非通信可能な並列化処理段階は、潜在的な相関に従ってグラフを再重み付けする。後続の一般的なステージがマッチングを終了します。完全にフォールトトレラントなトーリック, 回転しない, 回転する曲面符号に対して, 新たなアルゴリズムの有効性を検証した。
論文参考訳（メタデータ） (2022-05-19T19:58:02Z)
Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文参考訳（メタデータ） (2022-02-07T09:57:54Z)
Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文参考訳（メタデータ） (2021-11-22T06:26:29Z)
MongeNet: Efficient Sampler for Geometric Deep Learning [17.369783838267942]
MongeNetは高速かつ最適なトランスポートベースのサンプリングツールで、より優れた近似特性を備えたメッシュの正確な識別を可能にする。本手法をユビキタスなランダムな一様サンプリングと比較し,近似誤差がほぼ半分であり,計算オーバーヘッドが非常に小さいことを示す。
論文参考訳（メタデータ） (2021-04-29T17:59:01Z)
Level-Set Curvature Neural Networks: A Hybrid Approach [0.0]
レベルセット法で平均曲率を計算するための深層学習に基づくハイブリッド戦略を提案する。提案手法は,改良回帰モデルの辞書と標準数値スキームを組み合わせて,曲率をより正確に推定する。機械学習は、レベルセット手法の数値的欠点に対する実行可能な解決策を考案する有望な場であることを確認した。
論文参考訳（メタデータ） (2021-04-07T06:51:52Z)
Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。我々はこれらの現象を具体的原理で補うと推測する。
論文参考訳（メタデータ） (2021-03-16T16:26:36Z)
Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文参考訳（メタデータ） (2020-11-25T14:00:18Z)
Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文参考訳（メタデータ） (2020-09-05T02:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。