論文の概要: Hierarchical Resolution Transformers: A Wavelet-Inspired Architecture for Multi-Scale Language Understanding

• arxiv url: http://arxiv.org/abs/2509.20581v1
• Date: Wed, 24 Sep 2025 21:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.600742
• Title: Hierarchical Resolution Transformers: A Wavelet-Inspired Architecture for Multi-Scale Language Understanding
• Title（参考訳）: 階層型分解能変換器:マルチスケール言語理解のためのウェーブレットに着想を得たアーキテクチャ
• Authors: Ayan Sar, Sampurna Roy, Kanav Gupta, Anurag Kaushish, Tanupriya Choudhury, Abhijit Kumar,
• Abstract要約: Hierarchical Resolution Transformer (HRT)は、複数の解像度で言語を同時に処理する、ウェーブレットにインスパイアされた新しいニューラルアーキテクチャである。 スケールをまたいだ指数列の削減により、HRTはO(nlogn)複雑性を達成し、標準変圧器よりも大幅に効率が向上する。
• 参考スコア（独自算出の注目度）: 1.0518862318418605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer architectures have achieved state-of-the-art performance across natural language tasks, yet they fundamentally misrepresent the hierarchical nature of human language by processing text as flat token sequences. This results in quadratic computational cost, weak computational cost, weak compositional generalization, and inadequate discourse-level modeling. We propose Hierarchical Resolution Transformer (HRT), a novel wavelet-inspired neural architecture that processes language simultaneously across multiple resolutions, from characters to discourse-level units. HRT constructs a multi-resolution attention, enabling bottom-up composition and top-down contextualization. By employing exponential sequence reduction across scales, HRT achieves O(nlogn) complexity, offering significant efficiency improvements over standard transformers. We evaluated HRT on a diverse suite of benchmarks, including GLUE, SuperGLUE, Long Range Arena, and WikiText-103, and results demonstrated that HRT outperforms standard transformer baselines by an average of +3.8% on GLUE, +4.5% on SuperGLUE, and +6.1% on Long Range Arena, while reducing memory usage by 42% and inference latency by 37% compared to BERT and GPT style models of similar parameter count. Ablation studies confirm the effectiveness of cross-resolution attention and scale-specialized modules, showing that each contributes independently to both efficiency and accuracy. Our findings establish HRT as the first architecture to align computational structure with the hierarchical organization of human language, demonstrating that multi-scale, wavelet-inspired processing yields both theoretical efficiency gains and practical improvements in language understanding.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは、自然言語のタスクにまたがる最先端のパフォーマンスを実現しているが、テキストをフラットトークンシーケンスとして処理することで、人間の言語の階層的な性質を根本的に誤解している。 この結果、2次計算コスト、弱い計算コスト、弱い構成一般化、不十分な談話レベルのモデリングが得られる。 文字から談話単位まで,複数の解像度で言語を同時に処理する,ウェーブレットにインスパイアされた新しいニューラルアーキテクチャである階層分解能変換器(HRT)を提案する。 HRTは、ボトムアップの合成とトップダウンの文脈化を可能にするマルチレゾリューションアテンションを構築する。 スケールをまたいだ指数列の削減により、HRTはO(nlogn)複雑性を達成し、標準変圧器よりも大幅に効率が向上する。 我々は,HRTをGLUE,SuperGLUE,Long Range Arena,WikiText-103などの多様なベンチマークで評価し,HRTが標準トランスフォーマーベースラインを平均+3.8%,SuperGLUEが+4.5%,Long Range Arenaが+6.1%,メモリ使用率42%,推定遅延がBERTおよびGPTスタイルモデルと比較すると37%,それぞれ向上していることを示した。 アブレーション研究は、クロスレゾリューションアテンションとスケール特化モジュールの有効性を確認し、それぞれが効率と精度の両方に独立して寄与することを示した。 本研究は,HRTを人間の言語構造を階層構造と整合させる最初のアーキテクチャとして確立し,マルチスケール,ウェーブレットにインスパイアされた処理が理論的効率向上と言語理解の実践的改善を両立させることを示した。

関連論文リスト

• Learnable Multi-Scale Wavelet Transformer: A Novel Alternative to Self-Attention [0.0]
  Learnable Multi-Scale Wavelet Transformer (LMWT) は、標準的なドット生成の自己アテンションを置き換える新しいアーキテクチャである。 本稿では,学習可能なHaarウェーブレットモジュールの詳細な数学的定式化とトランスフォーマーフレームワークへの統合について述べる。 この結果から,LMWTは計算上の優位性を保ちながら,競争性能を向上することが示された。
  論文  参考訳（メタデータ） (2025-04-08T22:16:54Z)
• WaveFormer: A 3D Transformer with Wavelet-Driven Feature Representation for Efficient Medical Image Segmentation [0.5312470855079862]
  医用画像用3D変換器のWaveFormerについて紹介する。 それは人間の視覚認識システムのトップダウンメカニズムにインスパイアされている。 グローバルコンテキストと高周波の詳細の両方を保存し、重いサンプリング層を効率的なウェーブレットベースの要約と再構成に置き換える。
  論文  参考訳（メタデータ） (2025-03-31T06:28:41Z)
• Advancements in Natural Language Processing: Exploring Transformer-Based Architectures for Text Understanding [10.484788943232674]
  本稿では,BERT や GPT などのトランスフォーマーモデルの進歩を考察し,テキスト理解タスクにおける優れた性能に着目した。 その結果、GLUEやSQuADのようなベンチマークでは、高い計算コストなどの課題はあるものの、F1スコアが90%を超えている。
  論文  参考訳（メタデータ） (2025-03-26T04:45:33Z)
• On the locality bias and results in the Long Range Arena [49.15148871877941]
  Long Range ArenaベンチマークはTransformerの改良性能を評価するために設計された。 ステート・スペース・モデル(SSM)のような新しいアーキテクチャは、LRAのトランスフォーマーよりも優れていた。 LRAは長距離依存モデリングのベンチマークであるが、実際にはほとんどのパフォーマンスは短距離依存によるものである。
  論文  参考訳（メタデータ） (2025-01-24T15:34:50Z)
• Enhanced Computationally Efficient Long LoRA Inspired Perceiver Architectures for Auto-Regressive Language Modeling [2.9228447484533695]
  Transformer アーキテクチャは自然言語処理分野に革命をもたらし、Large Language Models (LLM) のバックボーンとなっている。 Transformerアーキテクチャの課題の1つは、長いシーケンス長の効率的な処理を禁止する注意機構の二次的な複雑さである。 この点において重要な研究の1つは、計算の複雑さを減らしながら優れた性能を示したPerceiverクラスのアーキテクチャである。
  論文  参考訳（メタデータ） (2024-12-08T23:41:38Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。