Fugu-MT 論文翻訳(概要): Tiny Transformers Excel at Sentence Compression

論文の概要: Tiny Transformers Excel at Sentence Compression

arxiv url: http://arxiv.org/abs/2410.23510v1
Date: Wed, 30 Oct 2024 23:34:45 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-01 17:03:16.819165
Title: Tiny Transformers Excel at Sentence Compression
Title（参考訳）: テキスト圧縮におけるTiny Transformer Excel
Authors: Peter Belcak, Roger Wattenhofer,
Abstract要約: トークンを埋め込むたびに、より多くの情報を得る余地があることが示されます。我々の研究は、たとえ小さなネットワークであっても、有効な英語文を構築することを学べることを示唆している。
参考スコア（独自算出の注目度）: 24.422997071666803
License:
Abstract: It is staggering that words of the English language, which are on average represented by 5--6 bytes of ASCII, require as much as 24 kilobytes when served to large language models. We show that there is room for more information in every token embedding. We demonstrate that 1--3-layer transformers are capable of encoding and subsequently decoding standard English sentences into as little as a single 3-kilobyte token. Our work implies that even small networks can learn to construct valid English sentences and suggests the possibility of optimising large language models by moving from sub-word token embeddings towards larger fragments of text.
Abstract（参考訳）: ASCIIの5～6バイトで表される平均的な英語の単語は、大きな言語モデルで提供される場合、最大24キロバイトを必要としている。我々は、全てのトークン埋め込みにより多くの情報を与える余地があることを示します。我々は、1--3層トランスフォーマーが符号化でき、標準の英語文を1つの3-klobyteトークンにデコードできることを示します。我々の研究は、たとえ小さなネットワークであっても、有効な英語文を構築することを学ぶことができ、サブワードトークン埋め込みからより大きなテキスト断片に移行することで、大きな言語モデルを最適化できる可能性を示唆している。

関連論文リスト

Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
論文参考訳（メタデータ） (2024-08-05T07:58:58Z)
MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
論文参考訳（メタデータ） (2024-03-15T21:21:11Z)
Do Llamas Work in English? On the Latent Language of Multilingual Transformers [13.885884589999492]
我々は、英語が支配するコーパスが、英語を内的ピボット言語として使っているかどうかを問う。本研究は、独特な正しい単語継続を伴う英語でないプロンプトを慎重に構築する。これらの結果を、3つの位相が「入力空間」、「概念空間」、「出力空間」で機能する概念モデルにキャストした。
論文参考訳（メタデータ） (2024-02-16T11:21:28Z)
Is context all you need? Scaling Neural Sign Language Translation to Large Domains of Discourse [34.70927441846784]
手話翻訳(SLT)は手話ビデオから音声言語文を生成することを目的とした課題である。本稿では,翻訳タスクを人間と同じようにコンテキスト対応で処理する,新しいマルチモーダルトランスフォーマーアーキテクチャを提案する。本稿では,文脈情報を用いた最先端翻訳性能の大幅な向上を報告し,ベースラインアプローチのBLEU-4スコアをほぼ倍増させた。
論文参考訳（メタデータ） (2023-08-18T15:27:22Z)
Online Gesture Recognition using Transformer and Natural Language Processing [0.0]
トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。
論文参考訳（メタデータ） (2023-05-05T10:17:22Z)
Unsupervised Transfer Learning in Multilingual Neural Machine Translation with Cross-Lingual Word Embeddings [72.69253034282035]
我々は、言語独立多言語文表現を活用し、新しい言語に容易に一般化する。複数のロマンス言語を含むベースシステムを用いてポルトガル語から盲目的に復号し、ポルトガル語では36.4 BLEU、ロシア語では12.8 BLEUのスコアを得た。非反復的逆翻訳によるより実用的な適応アプローチを探求し、高品質の翻訳を生産するモデルの能力を活用します。
論文参考訳（メタデータ） (2021-03-11T14:22:08Z)
One Size Does Not Fit All: Finding the Optimal N-gram Sizes for FastText Models across Languages [0.0]
私たちはWikipediaで英語、ドイツ語、チェコ語、イタリア語のfastText言語モデルをトレーニングしています。英語、ドイツ語、チェコ語、イタリア語の単語類似タスクのサブワードサイズを最適化する。
論文参考訳（メタデータ） (2021-02-04T12:59:36Z)
Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
論文参考訳（メタデータ） (2020-10-28T12:33:04Z)
Improving Sentiment Analysis over non-English Tweets using Multilingual Transformers and Automatic Translation for Data-Augmentation [77.69102711230248]
我々は、英語のつぶやきを事前学習し、自動翻訳を用いてデータ拡張を適用して非英語の言語に適応する多言語トランスフォーマーモデルを提案する。我々のフランス語、スペイン語、ドイツ語、イタリア語での実験は、この手法が非英語のツイートの小さなコーパスよりも、トランスフォーマーの結果を改善する効果的な方法であることを示唆している。
論文参考訳（メタデータ） (2020-10-07T15:44:55Z)
Lite Training Strategies for Portuguese-English and English-Portuguese Translation [67.4894325619275]
ポルトガル語・英語・ポルトガル語の翻訳タスクにおいて,T5などの事前学習モデルの使用について検討する。本稿では,ポルトガル語の文字,例えばダイアレーシス,急性アクセント,墓のアクセントを表すために,英語のトークン化器の適応を提案する。以上の結果から,本モデルは最新モデルと競合する性能を示しながら,控えめなハードウェアでトレーニングを行った。
論文参考訳（メタデータ） (2020-08-20T04:31:03Z)
HausaMT v1.0: Towards English-Hausa Neural Machine Translation [0.012691047660244334]
英語・ハウサ語機械翻訳のベースラインモデルを構築した。ハーサ語は、アラビア語に次いで世界で2番目に大きいアフロ・アジア語である。
論文参考訳（メタデータ） (2020-06-09T02:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。