論文の概要: Token2Wave

• arxiv url: http://arxiv.org/abs/2411.06989v1
• Date: Mon, 11 Nov 2024 13:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:12:16.667041
• Title: Token2Wave
• Title（参考訳）: Token2Wave
• Authors: Xin Zhang, Victor S. Sheng,
• Abstract要約: 本稿では、ウェーブネットワークから派生した新しいトークン表現法であるToken2Waveについて、詳細な分析を行う。 Token2Waveでは、各トークンはマグニチュードコンポーネントで表現され、入力テキスト全体のグローバルセマンティクスをキャプチャする。 詳細な計算複雑性分析により、Token2Waveはビデオメモリの使用時間とトレーニング時間を著しく削減できることが示された。
• 参考スコア（独自算出の注目度）: 26.656105779121308
• License:
• Abstract: This paper provides an in-depth analysis of Token2Wave, a novel token representation method derived from the Wave Network, designed to capture both global and local semantics of input text through wave-inspired complex vectors. In Token2Wave, each token is represented with a magnitude component, capturing the global semantics of the entire input text, and a phase component, encoding the relationships between individual tokens and the global semantics. Building on prior research that demonstrated the effectiveness of wave-like operations, such as interference and modulation, during forward propagation, this study investigates the convergence behavior, backpropagation characteristics, and embedding independence within the Token2Wave framework. A detailed computational complexity analysis shows that Token2Wave can significantly reduce video memory usage and training time compared to BERT. Gradient comparisons for the [CLS] token, total input text, and classifier parameters further highlight Token2Wave's unique characteristics. This research offers new insights into wave-based token representations, demonstrating their potential to enable efficient and computationally friendly language model architectures.
• Abstract（参考訳）: 本稿では、ウェーブネットワークから派生した新しいトークン表現手法であるToken2Waveの詳細な解析を行い、ウェーブインスパイアされた複素ベクトルを通して、入力テキストのグローバルな意味と局所的な意味の両方をキャプチャする。 Token2Waveでは、各トークンは、入力テキスト全体のグローバルなセマンティクスと、個々のトークンとグローバルなセマンティクスの関係を符号化するフェーズコンポーネントで表現される。 本研究は, 前方伝播における干渉や変調などの波状操作の有効性を実証した先行研究に基づいて, 収束挙動, バックプロパゲーション特性, およびToken2Waveフレームワークへの組込み独立性について検討した。 Token2WaveはBERTと比較してビデオメモリ使用量やトレーニング時間を著しく削減できる。 CLS]トークン、全入力テキスト、および分類器パラメータのグラディエント比較は、Token2Waveのユニークな特徴をさらに強調する。 この研究は、ウェーブベースのトークン表現に関する新たな洞察を提供し、効率的で計算に優しい言語モデルアーキテクチャを実現する可能性を示している。

関連論文リスト

• SigWavNet: Learning Multiresolution Signal Wavelet Network for Speech Emotion Recognition [17.568724398229232]
  音声感情認識(SER)は、音声信号の解読から感情状態において重要な役割を果たす。 本稿では,SERのための新しいエンド・ツー・エンド(E2E)深層学習フレームワークを提案する。 ウェーブレットの能力を利用して、時間領域と周波数領域の両方で効果的なローカライズを行う。
  論文  参考訳（メタデータ） (2025-02-01T04:18:06Z)
• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Wave Network: An Ultra-Small Language Model [26.656105779121308]
  本稿では,新しい超小言語モデルであるWave Networkにおいて,革新的なトークン表現と更新手法を提案する。 具体的には、複雑なベクトルを用いて各トークンを表現し、入力テキストのグローバルな意味論とローカルな意味論の両方を符号化する。 AG Newsテキスト分類タスクの実験では、ランダムなトークン埋め込みから複雑なベクトルを生成する場合、波動干渉で90.91%、波動変調で91.66%の精度が得られる。
  論文  参考訳（メタデータ） (2024-11-04T23:21:12Z)
• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• Wav-KAN: Wavelet Kolmogorov-Arnold Networks [3.38220960870904]
  Wav-KANは、Wavelet Kolmogorov-Arnold Networks(Wav-KAN)フレームワークを活用して、解釈性とパフォーマンスを向上させる革新的なニューラルネットワークアーキテクチャである。 我々の結果は、解釈可能な高性能ニューラルネットワークを開発するための強力なツールとして、Wav-KANの可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-05-21T14:36:16Z)
• Toward end-to-end interpretable convolutional neural networks for waveform signals [0.7499722271664147]
  本稿では,エンドツーエンドの音声深層学習モデルに適した新しい畳み込みニューラルネットワーク(CNN)フレームワークを提案する。 3つの標準音声感情認識データセットを5倍のクロスバリデーションでベンチマークすることで、我々のフレームワークはMelスペクトログラムの機能を最大7%向上させる。
  論文  参考訳（メタデータ） (2024-05-03T02:24:27Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Rethinking Global Context in Crowd Counting [70.54184500538338]
  純粋な変換器は、重なり合う画像パッチからグローバル情報で特徴を抽出するために用いられる。 分類によってインスピレーションを得て、入力シーケンスにコンテキストトークンを追加し、画像パッチに対応するトークンと情報交換を容易にする。
  論文  参考訳（メタデータ） (2021-05-23T12:44:27Z)
• Neural BRDF Representation and Importance Sampling [79.84316447473873]
  本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。 BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。 複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
  論文  参考訳（メタデータ） (2021-02-11T12:00:24Z)
• Wave-Tacotron: Spectrogram-free end-to-end text-to-speech synthesis [25.234945748885348]
  本稿では,テキスト入力から直接音声波形を生成するシーケンス・ツー・シーケンスニューラルネットワークについて述べる。 アーキテクチャは、自己回帰デコーダループに正規化フローを組み込むことで、タコトロンモデルを拡張する。 実験により,提案モデルが最先端のニューラルTSシステムに近づく品質の音声を生成することが示された。
  論文  参考訳（メタデータ） (2020-11-06T19:30:07Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。