論文の概要: Learning Positional Embeddings for Coordinate-MLPs

• arxiv url: http://arxiv.org/abs/2112.11577v1
• Date: Tue, 21 Dec 2021 23:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 15:37:15.821317
• Title: Learning Positional Embeddings for Coordinate-MLPs
• Title（参考訳）: 座標mlpsのための位置埋め込み学習
• Authors: Sameera Ramasinghe, Simon Lucey
• Abstract要約: 古典的なグラフ-ラプラシア正規化に基づいて位置埋め込みを学習する汎用フレームワークを開発する。 提案手法は, 既定のランダムフーリエ特性と比較して, 高い安定性で優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 37.56813817513575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel method to enhance the performance of coordinate-MLPs by learning instance-specific positional embeddings. End-to-end optimization of positional embedding parameters along with network weights leads to poor generalization performance. Instead, we develop a generic framework to learn the positional embedding based on the classic graph-Laplacian regularization, which can implicitly balance the trade-off between memorization and generalization. This framework is then used to propose a novel positional embedding scheme, where the hyperparameters are learned per coordinate (i.e, instance) to deliver optimal performance. We show that the proposed embedding achieves better performance with higher stability compared to the well-established random Fourier features (RFF). Further, we demonstrate that the proposed embedding scheme yields stable gradients, enabling seamless integration into deep architectures as intermediate layers.
• Abstract（参考訳）: 本稿では,インスタンス固有の位置埋め込みを学習することで,座標MLPの性能を向上させる手法を提案する。 位置埋め込みパラメータのエンドツーエンド最適化とネットワーク重み付けにより、一般化性能は低下する。 代わりに、古典的なグラフ-ラプラシア正規化に基づいて位置埋め込みを学習する汎用フレームワークを開発し、記憶と一般化のトレードオフを暗黙的にバランスさせることができる。 このフレームワークは、ハイパーパラメータが最適なパフォーマンスを提供するために座標(例えば、インスタンス)ごとに学習される新しい位置埋め込みスキームを提案するために使われる。 提案手法は, 既定のランダムフーリエ特性 (RFF) と比較して, 高い安定性で優れた性能が得られることを示す。 さらに,提案手法が安定な勾配を導出し,中間層としての深層アーキテクチャへのシームレスな統合を可能にすることを示す。

関連論文リスト

• LPGD: A General Framework for Backpropagation through Embedded Optimization Layers [26.251442093195376]
  組込み最適化層を用いてアーキテクチャをトレーニングするためのフレキシブルなフレームワークを提案する。 Lagrangian Proximal Gradient Descentは、退化層誘導体の有意義な置換を効率的に計算する。 本手法を理論的に解析し,LPGDが微分可能な設定であっても勾配降下よりも早く収束することを示す。
  論文  参考訳（メタデータ） (2024-07-08T13:27:41Z)
• SPARE: Symmetrized Point-to-Plane Distance for Robust Non-Rigid Registration [76.40993825836222]
  本研究では,SPAREを提案する。SPAREは,非剛性登録のための対称化点-平面間距離を用いた新しい定式化である。 提案手法は, 厳密でない登録問題の精度を大幅に向上し, 比較的高い解効率を維持する。
  論文  参考訳（メタデータ） (2024-05-30T15:55:04Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• FEDNEST: Federated Bilevel, Minimax, and Compositional Optimization [53.78643974257301]
  多くの現代のML問題は、ミニマックスと合成最適化を仮定したネストされた双レベルプログラミングに該当する。 我々は、一般的なネスト問題に対処するフェデレーション付き交互勾配法を提案する。
  論文  参考訳（メタデータ） (2022-05-04T17:48:55Z)
• A Unified Framework of Bundle Adjustment and Feature Matching for High-Resolution Satellite Images [4.835738511987696]
  この記事では、統合フレームワークにおけるバンドル調整(BA)と機能マッチングを包括的に実施する。 マルチビュー高解像度衛星画像の実験により,提案手法は最先端の配向技術より優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-01T16:40:25Z)
• StochasticRank: Global Optimization of Scale-Free Discrete Functions [28.224889996383396]
  本稿では,ランキングメトリクスを直接最適化する強力な,効率的なフレームワークを提案する。 古典的平滑化アプローチは偏見を導入し, 適切な偏見の普遍解を示す。 我々のフレームワークは任意のスケールフリー離散損失関数に適用できる。
  論文  参考訳（メタデータ） (2020-03-04T15:27:11Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。