論文の概要: Learning High-Frequency Functions Made Easy with Sinusoidal Positional Encoding

• arxiv url: http://arxiv.org/abs/2407.09370v2
• Date: Wed, 17 Jul 2024 09:20:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 12:07:55.411763
• Title: Learning High-Frequency Functions Made Easy with Sinusoidal Positional Encoding
• Title（参考訳）: 正弦波位置符号化による高周波関数の学習
• Authors: Chuanhao Sun, Zhihang Yuan, Kai Xu, Luo Mai, N. Siddharth, Shuo Chen, Mahesh K. Marina,
• Abstract要約: 正弦波PE(sinusoidal PE, SPE)は, 適応周波数特徴を真基底関数と密に一致させて効率的に学習するように設計されている。 SPEは、3Dビュー合成、テキスト音声生成、および1Dレグレッションなど、様々なタスクにわたる改善された忠実さと高速なトレーニングを実現している。
• 参考スコア（独自算出の注目度）: 15.36537147251802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fourier features based positional encoding (PE) is commonly used in machine learning tasks that involve learning high-frequency features from low-dimensional inputs, such as 3D view synthesis and time series regression with neural tangent kernels. Despite their effectiveness, existing PEs require manual, empirical adjustment of crucial hyperparameters, specifically the Fourier features, tailored to each unique task. Further, PEs face challenges in efficiently learning high-frequency functions, particularly in tasks with limited data. In this paper, we introduce sinusoidal PE (SPE), designed to efficiently learn adaptive frequency features closely aligned with the true underlying function. Our experiments demonstrate that SPE, without hyperparameter tuning, consistently achieves enhanced fidelity and faster training across various tasks, including 3D view synthesis, Text-to-Speech generation, and 1D regression. SPE is implemented as a direct replacement for existing PEs. Its plug-and-play nature lets numerous tasks easily adopt and benefit from SPE.
• Abstract（参考訳）: フーリエ特徴に基づく位置符号化(PE)は、3次元ビュー合成やニューラルネットワークカーネルによる時系列回帰といった低次元インプットから高周波特徴を学習する機械学習タスクで一般的に用いられる。 その効果にもかかわらず、既存のPEは、重要なハイパーパラメーター、特にそれぞれの固有のタスクに合わせて調整されたフーリエの特徴を手動で経験的に調整する必要がある。 さらにPEは、特に限られたデータを持つタスクにおいて、高周波関数を効率的に学習する上で、課題に直面している。 本稿では,正弦波PE(sinusoidal PE, SPE)について述べる。 実験の結果,SPEは高パラメータチューニングを伴わないため,3次元ビュー合成,テキスト音声生成,1次元レグレッションなど,多種多様なタスクに対して,改良された忠実度と高速なトレーニングを実現することができた。 SPEは既存のPEの直接代替として実装されている。 そのプラグ・アンド・プレイの性質により、多くのタスクが簡単にSPEを取り入れ、利益を得ることができる。

関連論文リスト

• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• D$^2$ST-Adapter: Disentangled-and-Deformable Spatio-Temporal Adapter for Few-shot Action Recognition [60.84084172829169]
  大規模な事前訓練された画像モデルに数発のアクション認識を適用することは、ロバストな特徴抽出器を学習するための効果的な戦略であることが証明されている。 D$2$ST-Adapter (Disentangled-and-Deformable Spatio-Temporal Adapter) は,アクション認識に適した新しいチューニングフレームワークである。
  論文  参考訳（メタデータ） (2023-12-03T15:40:10Z)
• Point-PEFT: Parameter-Efficient Fine-Tuning for 3D Pre-trained Models [46.42092771753465]
  我々は、最小限の学習可能なパラメータを持つポイントクラウド事前学習モデルに適用するための新しいフレームワークであるPoint-PEFTを紹介する。 具体的には、事前訓練された3Dモデルに対して、パラメータの大部分を凍結し、新たに追加されたPEFTモジュールを下流タスクでチューニングする。
  論文  参考訳（メタデータ） (2023-10-04T16:49:36Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• SPE-Net: Boosting Point Cloud Analysis via Rotation Robustness Enhancement [118.20816888815658]
  SPE-Netという名前の3Dポイントクラウドアプリケーションに適した新しいディープアーキテクチャを提案する。 埋め込みSelective Position variant' の手順は、入力の根底にある回転条件に効果的に対応できる注意機構に依存している。 SPE-Netと関連する仮説の利点を4つのベンチマークで示し、SOTA法よりも回転試験データと回転試験データの両方に明らかな改善点を示した。
  論文  参考訳（メタデータ） (2022-11-15T15:59:09Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Transfer Learning for Autonomous Chatter Detection in Machining [0.9281671380673306]
  大振幅のシャッター振動は加工過程において最も重要な現象の1つである。 業界全体でのチャット検出に機械学習を適用する上で、3つの課題が特定できる。 これら3つの課題は、移行学習の傘の下でグループ化することができる。
  論文  参考訳（メタデータ） (2022-04-11T20:46:06Z)
• Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains [69.62456877209304]
  単純なフーリエ特徴写像を通して入力点を渡すことで、多層パーセプトロンが高周波関数を学習できることを示す。 結果は、最先端の結果を達成するコンピュータビジョンとグラフィックの進歩に光を当てた。
  論文  参考訳（メタデータ） (2020-06-18T17:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。