論文の概要: The Fibonacci Network: A Simple Alternative for Positional Encoding

• arxiv url: http://arxiv.org/abs/2411.05052v1
• Date: Thu, 07 Nov 2024 10:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:54:10.824546
• Title: The Fibonacci Network: A Simple Alternative for Positional Encoding
• Title（参考訳）: Fibonacci Network: 位置エンコーディングの簡単な代替手段
• Authors: Yair Bleiberg, Michael Werman,
• Abstract要約: 半周波数と四分周波数の入力が与えられたとき、非常に単純なスマートスは、非常に容易に周波数を出力できることを示す。 信号の周波数に対して各ブロックを訓練することにより、フィボナッチネットワークが任意に高い周波数を再構成可能であることを示す。
• 参考スコア（独自算出の注目度）: 0.5919433278490629
• License:
• Abstract: Coordinate-based Multi-Layer Perceptrons (MLPs) are known to have difficulty reconstructing high frequencies of the training data. A common solution to this problem is Positional Encoding (PE), which has become quite popular. However, PE has drawbacks. It has high-frequency artifacts and adds another hyper-hyperparameter, just like batch normalization and dropout do. We believe that under certain circumstances PE is not necessary, and a smarter construction of the network architecture together with a smart training method is sufficient to achieve similar results. In this paper, we show that very simple MLPs can quite easily output a frequency when given input of the half-frequency and quarter-frequency. Using this, we design a network architecture in blocks, where the input to each block is the output of the two previous blocks along with the original input. We call this a {\it Fibonacci Network}. By training each block on the corresponding frequencies of the signal, we show that Fibonacci Networks can reconstruct arbitrarily high frequencies.
• Abstract（参考訳）: コーディネートベースの多層受容器(MLP)は、トレーニングデータの高周波数の再構成が困難であることが知られている。 この問題の一般的な解決策は、位置エンコーディング(PE)である。 しかし、PEには欠点がある。 高周波アーティファクトを持ち、バッチの正規化やドロップアウトのように、別のハイパーパラメータを追加します。 我々は,ある状況下ではPEは必要とせず,ネットワークアーキテクチャのよりスマートな構築とスマートなトレーニング手法を併用すれば,同様の結果が得られると信じている。 本稿では,半周波数と4分の1周波数の入力が与えられた場合,非常に単純なMLPは容易に周波数を出力できることを示す。 これを用いてブロック内のネットワークアーキテクチャを設計し、各ブロックへの入力は元の入力とともに2つの前のブロックの出力となる。 これを「フィボナッチ・ネットワーク」と呼ぶ。 信号の周波数に対して各ブロックを訓練することにより、フィボナッチネットワークが任意に高い周波数を再構成可能であることを示す。

関連論文リスト

• Taming the Frequency Factory of Sinusoidal Networks [0.9968037829925942]
  本稿では,低次元信号の符号化における有望な結果を示す$sinusoidal$sの構造と表現能力について検討する。 我々はこの新しい$identity$を使って信号スペクトルのサンプリングとして機能する入力ニューロンを初期化する。 また、隠れたニューロンは、隠れた重みによって完全に決定された振幅で同じ周波数を発生させる。
  論文  参考訳（メタデータ） (2024-07-30T18:24:46Z)
• Simplifying Deep Temporal Difference Learning [3.458933902627673]
  安定性を維持しつつ,TDトレーニングの高速化と簡易化が可能であるかを検討する。 我々の重要な理論的結果は、LayerNormのような正規化技術が証明可能な収束性TDアルゴリズムが得られることを初めて示している。 これらの結果に触発され,より簡易なオンラインQ-LearningアルゴリズムであるPQNを提案する。
  論文  参考訳（メタデータ） (2024-07-05T18:49:07Z)
• STAT: Shrinking Transformers After Training [72.0726371426711]
  微調整なしで変圧器モデルを作成するための簡単なアルゴリズムSTATを提案する。 STATは、次の層の重みを補正して精度を保ちながら、注意頭とニューロンの両方をネットワークから排除する。 われわれのアルゴリズムは、BERTを圧縮するのに数分を要し、単一のGPUを用いて7Bパラメータを持つモデルを圧縮するのに3時間もかからない。
  論文  参考訳（メタデータ） (2024-05-29T22:59:11Z)
• Neural Architectures Learning Fourier Transforms, Signal Processing and Much More.... [1.2328446298523066]
  音声信号処理アプリケーションにおいて,スクラッチからカーネルを学習する方法を示す。 ニューラルネットワークは正弦波のカーネル形状を学習するだけでなく、あらゆる種類の素晴らしい信号処理特性を発見する。
  論文  参考訳（メタデータ） (2023-08-20T23:30:27Z)
• Neural Fourier Filter Bank [18.52741992605852]
  本稿では, 効率的かつ高精度な再構築手法を提案する。 ウェーブレットにインスパイアされた我々は、信号が空間的にも周波数的にも分解されるニューラルネットワークを学習する。
  論文  参考訳（メタデータ） (2022-12-04T03:45:08Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• PINs: Progressive Implicit Networks for Multi-Scale Neural Representations [68.73195473089324]
  周波数符号化のインクリメンタルな集合に階層構造を露出するプログレッシブな位置符号化を提案する。 本モデルでは,広帯域のシーンを正確に再構成し,プログレッシブなディテールでシーン表現を学習する。 いくつかの2次元および3次元データセットの実験では、ベースラインと比較して、再構築精度、表現能力、トレーニング速度が改善されている。
  論文  参考訳（メタデータ） (2022-02-09T20:33:37Z)
• Win the Lottery Ticket via Fourier Analysis: Frequencies Guided Network Pruning [50.232218214751455]
  最適ネットワークプルーニングは、数学的にはNPハード問題である非自明なタスクである。 本稿では,MBP(Magnitude-Based Pruning)方式について検討し,新しい視点から解析する。 また,新たな2段階プルーニング手法を提案し,その1段階はプルーニングネットワークのトポロジ的構造を取得し,もう1段階はプルーニングネットワークを再訓練し,キャパシティを回復させる。
  論文  参考訳（メタデータ） (2022-01-30T03:42:36Z)
• ResMLP: Feedforward networks for image classification with data-efficient training [73.26364887378597]
  画像分類のための多層パーセプトロン上に構築されたアーキテクチャであるResMLPを提案する。 Timmライブラリと事前トレーニングされたモデルに基づいたコードを共有します。
  論文  参考訳（メタデータ） (2021-05-07T17:31:44Z)
• Modulated Periodic Activations for Generalizable Local Functional Representations [113.64179351957888]
  我々は,複数のインスタンスに一般化し,最先端の忠実性を実現する新しい表現を提案する。 提案手法は,画像,映像,形状の汎用的な機能表現を生成し,単一信号に最適化された先行処理よりも高い再構成品質を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:04Z)
• Image classification in frequency domain with 2SReLU: a second harmonics superposition activation function [1.3706331473063877]
  深層畳み込みニューラルネットワークは複雑なパターンを特定し、超人的な能力でタスクを実行することができる。 本研究では、周波数領域の観点から、画像分類畳み込みニューラルネットワークとその構築ブロックを記述する。 本稿では,ディープネットワークにおける高周波成分を保存する非線形アクティベーション機能である2SReLU層を提案する。
  論文  参考訳（メタデータ） (2020-06-18T21:11:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。