論文の概要: Masked Mixers for Language Generation and Retrieval

• arxiv url: http://arxiv.org/abs/2409.01482v4
• Date: Thu, 20 Mar 2025 17:39:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:32:40.979298
• Title: Masked Mixers for Language Generation and Retrieval
• Title（参考訳）: 言語生成と検索のためのマスケミキサー
• Authors: Benjamin L. Badger,
• Abstract要約: 我々は、トランスにおける入力表現精度の低下と、マスクミキサーと呼ばれるものにおけるより正確な表現を観察する。 小型のマスクミキサーは、最先端のトランスフォーマーベース検索モデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Attention mechanisms that confer selective focus on a strict subset of input elements are nearly ubiquitous in language models today. We posit there to be downside to the use of attention: most input information is lost. In support of this idea we observe poor input representation accuracy in transformers and more accurate representation in what we term masked mixers, which replace self-attention with masked convolutions. The masked mixer learns causal language modeling more efficiently than early transformer implementations and even outperforms optimized, current transformers when training on small ($n_{ctx}<512$) but not larger context windows. Evidence is presented for the hypothesis that differences in transformer and masked mixer training efficiencies for various tasks are best predicted by input representation accuracy, or equivalently global invertibility. We hypothesize that the information loss exhibited by transformers would be more detrimental to retrieval than generation, as the former is more closely approximated by a bijective and thus invertible function. We find that masked mixers are more effective retrieval models both when the pretrained embedding model is unchanged as well as when the embedding model is modified via cosine similarity-based InfoNCE loss minimization. A small masked mixer is shown to outperform a large and near state-of-the-art transformer-based retrieval model, despite the latter being trained with many orders of magnitude more data and compute.
• Abstract（参考訳）: 入力要素の厳密な部分集合に選択的に焦点をあてる注意機構は、今日の言語モデルにおいてほぼどこでも見られる。 注意力の使用のマイナス面として、ほとんどの入力情報が失われていると仮定する。 この考え方を支持するために、変換器における入力表現の精度が低く、マスクミキサーと呼ばれるものではより正確な表現が観察され、自己意図をマスクされた畳み込みに置き換える。 マスク付きミキサーは、初期のトランスフォーマー実装よりも効率的に因果言語モデリングを学習し、小さな(n_{ctx}<512$)でトレーニングするときに最適化された現在のトランスフォーマーよりも優れている。 様々なタスクに対する変圧器とマスクミキサーの訓練効率の違いは、入力表現精度、または等価に大域的可逆性によって予測されるという仮説に対して、エビデンスを提示する。 変換器が示す情報損失は生成よりも検索に有害であり, 前者は単射関数で近似し, 非可逆関数で近似すると仮定する。 マスクミキサーは,事前学習した埋め込みモデルが変化しない場合や,コサイン類似性に基づくInfoNCE損失最小化による埋め込みモデルの変更時にも,より効果的な検索モデルであることがわかった。 小さなマスク付きミキサーは、大量のデータと計算量で訓練されているにもかかわらず、大きく、ほぼ最先端のトランスフォーマーベースの検索モデルより優れていることが示されている。

関連論文リスト

• ConvMixFormer- A Resource-efficient Convolution Mixer for Transformer-based Dynamic Hand Gesture Recognition [5.311735227179715]
  動的ハンドジェスチャのための新しいConvMixFormerアーキテクチャを探索し,考案する。 提案手法は,NVidia Dynamic Hand Gesture と Briareo のデータセットを用いて評価する。 我々のモデルは、単一およびマルチモーダル入力に対して最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-11-11T16:45:18Z)
• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• Fast Training of Diffusion Models with Masked Transformers [107.77340216247516]
  マスク付き変圧器を用いた大規模拡散モデルの学習に有効な手法を提案する。 具体的には、トレーニング中に拡散された入力画像のパッチの割合をランダムにマスキングする。 ImageNet-256x256 と ImageNet-512x512 の実験により,我々の手法は最先端の拡散変換器 (DiT) モデルよりも競争力があり,より優れた生成性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-15T17:38:48Z)
• AttMEMO : Accelerating Transformers with Memoization on Big Memory Systems [10.585040856070941]
  本稿では,意味的に類似した入力を見つけ,計算の類似性を識別する新しい埋め込み手法を提案する。 推論精度の低下を無視して,平均で22%(最大68%)の推論遅延低減を可能にする。
  論文  参考訳（メタデータ） (2023-01-23T04:24:26Z)
• AtMan: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation [23.505887455448928]
  我々はAtManについて紹介する。AtManは、生成トランスフォーマーモデルの説明を、ほとんど余分なコストで提供する。 AtManは、変換器の注意機構を操作して、入力の関連マップを生成するモード依存摂動法である。 テキストと画像テキストのベンチマーク実験により、AtManはいくつかのメトリクスで現在の最先端の勾配に基づく手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-19T15:01:00Z)
• How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers [59.57128476584361]
  本稿では,入力依存型アテンション行列を一定値に置き換える新しい探索手法PAPAを紹介する。 入力依存の注意を払わずに、全てのモデルが競争性能を達成できることがわかった。 より弱いモデルよりも、我々の手法を適用することでより良い性能のモデルが失われることが示され、入力依存の注意機構の利用がその成功の要因である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-11-07T12:37:54Z)
• Predicting Attention Sparsity in Transformers [0.9786690381850356]
  本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。 我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
  論文  参考訳（メタデータ） (2021-09-24T20:51:21Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。