論文の概要: Towards Signal Processing In Large Language Models

• arxiv url: http://arxiv.org/abs/2406.10254v1
• Date: Mon, 10 Jun 2024 13:51:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-23 13:35:51.752638
• Title: Towards Signal Processing In Large Language Models
• Title（参考訳）: 大規模言語モデルにおける信号処理に向けて
• Authors: Prateek Verma, Mert Pilanci,
• Abstract要約: 本稿では,Large Language Model (LLM) 内で信号処理を適用するという考え方を紹介する。 古典的なフーリエ変換とフーリエ変換のような学習可能な時間周波数表現の並列性を描く。 GPTのようなアーキテクチャでは、より高速な収束を実現し、性能を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 46.76681147411957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces the idea of applying signal processing inside a Large Language Model (LLM). With the recent explosion of generative AI, our work can help bridge two fields together, namely the field of signal processing and large language models. We draw parallels between classical Fourier-Transforms and Fourier Transform-like learnable time-frequency representations for every intermediate activation signal of an LLM. Once we decompose every activation signal across tokens into a time-frequency representation, we learn how to filter and reconstruct them, with all components learned from scratch, to predict the next token given the previous context. We show that for GPT-like architectures, our work achieves faster convergence and significantly increases performance by adding a minuscule number of extra parameters when trained for the same epochs. We hope this work paves the way for algorithms exploring signal processing inside the signals found in neural architectures like LLMs and beyond.
• Abstract（参考訳）: 本稿では,Large Language Model (LLM) 内で信号処理を適用するという考え方を紹介する。 最近の生成AIの爆発により、我々の研究は2つの分野、すなわち信号処理の分野と大きな言語モデルとの橋渡しに役立ちます。 LLMのすべての中間活性化信号に対して、古典的なフーリエ変換とフーリエ変換のような学習可能な時間周波数表現とを並列に描画する。 トークンをまたいだすべてのアクティベーションシグナルを時間周波数表現に分解すると、スクラッチから学習したすべてのコンポーネントでそれらをフィルタして再構築する方法を学び、前回のコンテキストから次のトークンを予測する。 GPTのようなアーキテクチャでは、同じエポックに対してトレーニングされた際のパラメータの最小値を追加することで、より高速な収束を実現し、性能を大幅に向上することを示す。 この研究が、LLMなどのニューラルアーキテクチャに見られる信号の内部で信号処理を探索するアルゴリズムの道を開くことを願っている。

関連論文リスト

• Content Adaptive Front End For Audio Signal Processing [2.8935588665357077]
  音声信号処理のための学習可能なコンテンツ適応フロントエンドを提案する。 我々は、各音声信号を畳み込みフィルタのバンクに通し、それぞれが固定次元ベクトルを与える。
  論文  参考訳（メタデータ） (2023-03-18T16:09:10Z)
• Polynomial Neural Fields for Subband Decomposition and Manipulation [78.2401411189246]
  我々はニューラルフィールド(PNF)と呼ばれる新しい種類のニューラルフィールドを提案する。 PNFの鍵となる利点は、信号がニューラルネットワークの利点を失うことなく、操作可能なコンポーネントと解釈可能なコンポーネントの合成として表現できることである。 本研究では,Fourier PNFがテクスチャ転送やスケール空間といった信号操作の応用を可能にすることを実証的に示す。
  論文  参考訳（メタデータ） (2023-02-09T18:59:04Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Neural Fourier Filter Bank [18.52741992605852]
  本稿では, 効率的かつ高精度な再構築手法を提案する。 ウェーブレットにインスパイアされた我々は、信号が空間的にも周波数的にも分解されるニューラルネットワークを学習する。
  論文  参考訳（メタデータ） (2022-12-04T03:45:08Z)
• Temporal Lift Pooling for Continuous Sign Language Recognition [6.428695655854854]
  信号処理におけるリフティング・スキームから時間的リフティング・プール(TLP)を導出し,時間的階層の異なる特徴をインテリジェントにダウンサンプリングする。 我々のTLPは3段階の手順であり、信号分解、成分重み付け、情報融合を行い、洗練されたダウンサイズ特徴写像を生成する。 2つの大規模なデータセットの実験では、TLPは手作りの手法と、同様の計算オーバーヘッドを持つ大きなマージン(1.5%)で特殊空間の変種よりも優れていた。
  論文  参考訳（メタデータ） (2022-07-18T16:28:00Z)
• Fourier Disentangled Space-Time Attention for Aerial Video Recognition [54.80846279175762]
  本稿では,UAVビデオ行動認識のためのFAR(Fourier Activity Recognition)アルゴリズムを提案する。 我々の定式化は、人間のエージェントを背景から自然に分離するために、新しいフーリエオブジェクト・ディコンタングルメント法を用いています。 我々はUAV Human RGB、UAV Human Night、Drone Action、NEC Droneを含む複数のUAVデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-03-21T01:24:53Z)
• Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
  入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T18:02:53Z)
• Large Scale Audio Understanding without Transformers/ Convolutions/ BERTs/ Mixers/ Attention/ RNNs or .... [4.594159253008448]
  本稿では,従来の最先端のニューラルアーキテクチャを使わずに大規模音声理解を実現する方法を提案する。 私たちのアプローチには、コンボリューション、再発、注意、トランスフォーマー、BERTのような他のアプローチはありません。 SimCLRのアプローチに似た分類ヘッド(フィードフォワード層)は、学習された表現に基づいて訓練される。
  論文  参考訳（メタデータ） (2021-10-07T05:00:26Z)
• Modulated Periodic Activations for Generalizable Local Functional Representations [113.64179351957888]
  我々は,複数のインスタンスに一般化し,最先端の忠実性を実現する新しい表現を提案する。 提案手法は,画像,映像,形状の汎用的な機能表現を生成し,単一信号に最適化された先行処理よりも高い再構成品質を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。