Fugu-MT 論文翻訳(概要): Self-StrAE at SemEval-2024 Task 1: Making Self-Structuring AutoEncoders Learn More With Less

論文の概要: Self-StrAE at SemEval-2024 Task 1: Making Self-Structuring AutoEncoders Learn More With Less

arxiv url: http://arxiv.org/abs/2404.01860v1
Date: Tue, 2 Apr 2024 11:38:11 GMT
ステータス: 処理完了
システム内更新日: 2024-04-03 16:38:36.519649
Title: Self-StrAE at SemEval-2024 Task 1: Making Self-Structuring AutoEncoders Learn More With Less
Title（参考訳）: SemEval-2024 Task 1: Self-Structuring AutoEncodersによる学習
Authors: Mattia Opper, N. Siddharth,
Abstract要約: 補助的な目的として語彙の再構成を含めることで表現品質が向上することを示す。独立したチャネルの数を増やすことで、埋め込み品質が大幅に向上することを示す。我々のシステムは、入力データの1000万トークンをゼロから事前訓練することができ、英語、スペイン語、アフリカーンで有効であることを示す。
参考スコア（独自算出の注目度）: 4.4044968357361745
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents two simple improvements to the Self-Structuring AutoEncoder (Self-StrAE). Firstly, we show that including reconstruction to the vocabulary as an auxiliary objective improves representation quality. Secondly, we demonstrate that increasing the number of independent channels leads to significant improvements in embedding quality, while simultaneously reducing the number of parameters. Surprisingly, we demonstrate that this trend can be followed to the extreme, even to point of reducing the total number of non-embedding parameters to seven. Our system can be pre-trained from scratch with as little as 10M tokens of input data, and proves effective across English, Spanish and Afrikaans.
Abstract（参考訳）: 本稿では,自己構築型オートエンコーダ(Self-StrAE)の2つの改良点について述べる。まず,補助的な目的として語彙の再構成を含めることで,表現の質が向上することを示す。第二に、独立したチャネルの数を増やすことで、埋め込み品質が大幅に向上し、同時にパラメータの数も減少することを示す。驚くべきことに、非埋め込みパラメータの総数を7に減らしても、この傾向は極端に続くことが示される。我々のシステムは、入力データの1000万トークンをゼロから事前訓練することができ、英語、スペイン語、アフリカーンで有効であることを示す。

関連論文リスト

Continual Learning Optimizations for Auto-regressive Decoder of Multilingual ASR systems [20.07672057717825]
継続学習(CL)は、事前学習されたデータの性能を維持しながら、新しいデータで訓練済みモデルを微調整する。自動回帰デコーダのMASRモデルにおける4つの最適化を提案する。 Common VoiceデータセットからWhisperを10の未確認言語に適応させる実験では、これらの最適化により、事前訓練された言語の平均単語誤り率(AWER)が、Experience Replayと比較して14.2%から12.4%に低下することが示されている。
論文参考訳（メタデータ） (2024-07-04T05:35:47Z)
Scaling and evaluating sparse autoencoders [37.72612863761559]
k-スパースオートエンコーダを用いたオートエンコーダスケーリングの特性について検討した。オートエンコーダのサイズと空間性に関して、クリーンなスケーリング法則を見つけます。我々は、400億トークンのGPT-4アクティベーションに対して1600万の潜伏オートエンコーダをトレーニングする。
論文参考訳（メタデータ） (2024-06-06T14:10:12Z)
Repetition Improves Language Model Embeddings [68.92976440181387]
本稿では,2回入力を繰り返して,2回目以降の埋め込みを抽出する「echo Embeddings」を提案する。 MTEBのリーダーボードでは、エコー埋め込みは古典的な埋め込みよりも9%以上ゼロショット、微調整すると約0.7%向上する。
論文参考訳（メタデータ） (2024-02-23T17:25:10Z)
Only 5\% Attention Is All You Need: Efficient Long-range Document-level Neural Machine Translation [70.87670058323239]
文書レベルの文脈情報を導入することにより,談話現象を扱う上で,文書レベルのニューラルネットワーク翻訳(DocNMT)が重要であることが証明されている。最も重要な方向の1つは、ドキュメント全体を標準のTransformerモデルに直接入力することである。本研究は,少量のトークンを選択する軽量注意に基づく追加の選択層を導入することにより,翻訳性能を20%向上させながら維持する。
論文参考訳（メタデータ） (2023-09-25T14:33:47Z)
Towards Interpretable and Efficient Automatic Reference-Based Summarization Evaluation [160.07938471250048]
解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
論文参考訳（メタデータ） (2023-03-07T02:49:50Z)
UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data Generation for Cross-Lingual Learning in Tweet Intimacy Prediction [3.1798318618973362]
本稿では,SemEval 2023 Task 9「Multilingual Tweet Intimacy Analysis」に対するUZH_CLypの提出について述べる。公式なピアソン相関回帰評価尺度により,全10言語で2番目に高い結果を得た。
論文参考訳（メタデータ） (2023-03-02T12:18:53Z)
From English to More Languages: Parameter-Efficient Model Reprogramming for Cross-Lingual Speech Recognition [50.93943755401025]
言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
論文参考訳（メタデータ） (2023-01-19T02:37:56Z)
Learning Self-Regularized Adversarial Views for Self-Supervised Vision Transformers [105.89564687747134]
本稿では,自己監督型視覚変換器のビューを学習するための自己正規化自動拡張手法を提案する。まず、ビューとネットワークパラメータを同時に学習することで、AutoViewの検索コストをほぼゼロに削減する。また、自己教師型学習のための強化政策探索空間も提示する。
論文参考訳（メタデータ） (2022-10-16T06:20:44Z)
USTED: Improving ASR with a Unified Speech and Text Encoder-Decoder [8.88137815551529]
テキストからテキストへの補助的なタスクのセットと共同でASRモデルを訓練する。 ASRのみの基準線上でWERを16%, 20%の減少率で比較検討した。我々は、Librispeechデータ上でマスク付き言語モデルを訓練したり、補助タスクとして機械翻訳を使用したりすることで、さらなる改善を実現している。
論文参考訳（メタデータ） (2022-02-12T11:35:59Z)
Improving Neural Machine Translation by Denoising Training [95.96569884410137]
本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
論文参考訳（メタデータ） (2022-01-19T00:11:38Z)
How May I Help You? Using Neural Text Simplification to Improve Downstream NLP Tasks [20.370296294233313]
我々は、予測時の入力テキストの簡素化と、トレーニング中にマシンに追加情報を提供するデータ拡張の2つの方法により、ニューラルTSの使用を評価した。後者のシナリオは,2つの異なるデータセット上でのマシン性能に肯定的な影響を与えることを実証する。特に後者のTSはLSTM(1.82-1.98%)とSpanBERT(0.7-1.3%)のTACREDにおける抽出性能を改善している。
論文参考訳（メタデータ） (2021-09-10T01:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。