論文の概要: Avey-B

• arxiv url: http://arxiv.org/abs/2602.15814v1
• Date: Tue, 17 Feb 2026 18:50:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:18.167347
• Title: Avey-B
• Title（参考訳）: Avey-B
• Authors: Devang Acharya, Mohammad Hammoud,
• Abstract要約: 近年、Aveyは、エンコーダのみの適応を自然に認める、自己回帰的で注意のない代替手段として導入された。 本稿では,Aveyをエンコーダのみのパラダイムに再構成し,静的パラメータと動的パラメータの分離,安定性指向の正規化,ニューラル圧縮など,アーキテクチャのいくつかの革新を提案する。 その結果、このアーキテクチャは、広く使われている4つのTransformerベースのエンコーダと良好に比較でき、標準的なトークン分類と情報検索ベンチマークで一貫して性能が向上し、長いコンテキストにより効率的にスケールできることが判明した。
• 参考スコア（独自算出の注目度）: 0.7161783472741748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compact pretrained bidirectional encoders remain the backbone of industrial NLP under tight compute and memory budgets. Their effectiveness stems from self-attention's ability to deliver high-quality bidirectional contextualization with sequence-level parallelism, as popularized by BERT-style architectures. Recently, Avey was introduced as an autoregressive, attention-free alternative that naturally admits an encoder-only adaptation. In this paper, we reformulate Avey for the encoder-only paradigm and propose several innovations to its architecture, including decoupled static and dynamic parameterizations, stability-oriented normalization, and neural compression. Results show that this reformulated architecture compares favorably to four widely used Transformer-based encoders, consistently outperforming them on standard token-classification and information-retrieval benchmarks while scaling more efficiently to long contexts.
• Abstract（参考訳）: コンパクトな事前訓練された双方向エンコーダは、厳密な計算とメモリ予算の下で、産業用NLPのバックボーンのままである。 その効果は、BERTスタイルのアーキテクチャが一般化したように、シーケンスレベルの並列性を備えた高品質な双方向のコンテキスト化を実現する自己注意の能力に起因している。 近年、Aveyは、エンコーダのみの適応を自然に認める、自己回帰的で注意のない代替手段として導入された。 本稿では,Aveyをエンコーダのみのパラダイムに再構成し,静的パラメータと動的パラメータの分離,安定性指向の正規化,ニューラル圧縮など,アーキテクチャのいくつかの革新を提案する。 その結果、このアーキテクチャは、広く使われている4つのTransformerベースのエンコーダと良好に比較でき、標準的なトークン分類と情報検索ベンチマークで一貫して性能が向上し、長いコンテキストにより効率的にスケールできることが判明した。

関連論文リスト

• Orthogonal Self-Attention [4.235348155087336]
  Softmax Self-Attention (SSA) はTransformerアーキテクチャの重要なコンポーネントである。 最近の研究は、階級崩壊と条件の悪いジャコビアンによるSSAの固有の不安定さを強調している。 我々は,これらの問題を回避すべく,新たな注意機構である直交自己注意(Orthogonal Self-Attention,OSA)を設計する。
  論文  参考訳（メタデータ） (2026-02-05T18:42:57Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• Bidirectional Representations Augmented Autoregressive Biological Sequence Generation:Application in De Novo Peptide Sequencing [51.12821379640881]
  自己回帰(AR)モデルは、全体的な双方向表現を提供するが、生成的コヒーレンスとスケーラビリティに関する課題に直面している。 非自己回帰機構からリッチなコンテキスト情報を動的に統合することにより、AR生成を向上するハイブリッドフレームワークを提案する。 新しいクロスデコーダアテンションモジュールにより、ARデコーダは、これらの双方向機能を反復的にクエリし、統合することができる。
  論文  参考訳（メタデータ） (2025-10-09T12:52:55Z)
• ReSSFormer: A Recursive Sparse Structured Transformer for Scalable and Long-Context Reasoning [0.0]
  本稿では,ReSSFormerについて述べる。Recursive Sparse Structured Transformerは3つの相補的なイノベーションを統合している。 ReSSFormerは、従来のディープスタックをリカレント推論に置き換え、トークンレベルのスペーサと専門家レベルのスペーサに置き換え、コンテンツから直接潜在トークントポロジをモデル化する。
  論文  参考訳（メタデータ） (2025-10-02T02:05:30Z)
• Rank Reduction Autoencoders [3.180674374101366]
  我々は、新しい決定論的オートエンコーダ、ランク削減オートエンコーダ(RRAE)を導入する。 RRAEでは、ボトルネックは潜在行列のランクによって定義され、これによりエンコーダ/デコーダアーキテクチャのボトルネックサイズへの依存性が軽減される。 RRAEとARRAEはどちらも安定し,スケーラブルで,信頼性が高いことを実証的に実証した。
  論文  参考訳（メタデータ） (2024-05-22T20:33:09Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond [82.18770740564642]
  変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。 我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。 同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。