Fugu-MT 論文翻訳(概要): Geodesic Mode Connectivity

論文の概要: Geodesic Mode Connectivity

arxiv url: http://arxiv.org/abs/2308.12666v1
Date: Thu, 24 Aug 2023 09:18:43 GMT
ステータス: 処理完了
システム内更新日: 2023-08-25 14:37:24.755047
Title: Geodesic Mode Connectivity
Title（参考訳）: 測地モード接続性
Authors: Charlie Tan, Theodore Long, Sarah Zhao and Rudolf Laine
Abstract要約: モード接続は、訓練されたモデルが低損失の経路で接続される現象である。測地線を近似するアルゴリズムを提案し,モード接続性を実現することを示す。
参考スコア（独自算出の注目度）: 4.096453902709292
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mode connectivity is a phenomenon where trained models are connected by a path of low loss. We reframe this in the context of Information Geometry, where neural networks are studied as spaces of parameterized distributions with curved geometry. We hypothesize that shortest paths in these spaces, known as geodesics, correspond to mode-connecting paths in the loss landscape. We propose an algorithm to approximate geodesics and demonstrate that they achieve mode connectivity.
Abstract（参考訳）: モード接続は、訓練されたモデルが低損失の経路で接続される現象である。我々はこれを情報幾何学の文脈で再構成し、ニューラルネットワークは曲線幾何学によるパラメータ分布の空間として研究される。これらの空間における最短経路は測地線と呼ばれ、損失景観におけるモード接続経路に対応すると仮定する。測地線を近似するアルゴリズムを提案し,モード接続性を実現することを示す。

関連論文リスト

Input Space Mode Connectivity in Deep Neural Networks [5.8470747480006695]
我々は、ロスランドスケープモード接続の概念をディープニューラルネットワークの入力空間に拡張する。深層ネットワークの入力空間におけるその存在の理論的および実証的な証拠を示す。我々は、モード接続を利用して、敵の例に関する新たな洞察を得るとともに、敵検出の可能性を示す。
論文参考訳（メタデータ） (2024-09-09T17:03:43Z)
Landscaping Linear Mode Connectivity [76.39694196535996]
線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
論文参考訳（メタデータ） (2024-06-24T03:53:30Z)
Quiver neural networks [5.076419064097734]
ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
論文参考訳（メタデータ） (2022-07-26T09:42:45Z)
Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
論文参考訳（メタデータ） (2022-05-24T23:43:02Z)
Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文参考訳（メタデータ） (2022-02-07T09:57:54Z)
Geodesic Models with Convexity Shape Prior [8.932981695464761]
本稿では, より複雑な問題として, 凸形状を持つ曲率ペナル化された測地線経路の発見について考察する。配向リフトの戦略に依存する新しい測地モデルを構築した。凸形状は、曲率の制約を符号化した局所測地線メトリクスの構築のための制約として機能する。
論文参考訳（メタデータ） (2021-11-01T09:41:54Z)
Fusing the Old with the New: Learning Relative Camera Pose with Geometry-Guided Uncertainty [91.0564497403256]
本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
論文参考訳（メタデータ） (2021-04-16T17:59:06Z)
GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文参考訳（メタデータ） (2021-02-22T19:42:40Z)
Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文参考訳（メタデータ） (2020-09-05T02:25:23Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)
Uniform Interpolation Constrained Geodesic Learning on Data Manifold [28.509561636926414]
学習された測地線とともに、2つのデータサンプル間で高品質なデータを生成することができる。提案手法の有効性を実証するために, モデルの理論解析を行い, 画像翻訳を例に挙げる。
論文参考訳（メタデータ） (2020-02-12T07:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。