論文の概要: Adapting Language Models via Token Translation

• arxiv url: http://arxiv.org/abs/2411.00593v1
• Date: Fri, 01 Nov 2024 13:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:30.842262
• Title: Adapting Language Models via Token Translation
• Title（参考訳）: トークン翻訳による言語モデルへの適応
• Authors: Zhili Feng, Tanya Marwah, Lester Mackey, David Alvarez-Melis, Nicolo Fusi,
• Abstract要約: Sparse Sinkhorn Token Translation (S2T2)はターゲットドメイン用に調整されたトークンをトレーニングし、ターゲットとソースのトークン間の変換を学ぶ。 微調整された英語モデルを用いた実験では、S2T2はドメイン外のタンパク質配列のパープレキシティと圧縮の両方を改善している。
• 参考スコア（独自算出の注目度）: 27.340727651180863
• License:
• Abstract: Modern large language models use a fixed tokenizer to effectively compress text drawn from a source domain. However, applying the same tokenizer to a new target domain often leads to inferior compression, more costly inference, and reduced semantic alignment. To address this deficiency, we introduce Sparse Sinkhorn Token Translation (S2T2). S2T2 trains a tailored tokenizer for the target domain and learns to translate between target and source tokens, enabling more effective reuse of the pre-trained next-source-token predictor. In our experiments with finetuned English language models, S2T2 improves both the perplexity and the compression of out-of-domain protein sequences, outperforming direct finetuning with either the source or target tokenizer. In addition, we find that token translations learned for smaller, less expensive models can be directly transferred to larger, more powerful models to reap the benefits of S2T2 at lower cost.
• Abstract（参考訳）: 現代の大きな言語モデルは、固定トークン化器を使用して、ソースドメインから引き出されたテキストを効果的に圧縮する。 しかし、新しいターゲットドメインに同じトークン化子を適用すると、圧縮が低下し、よりコストがかかり、セマンティックアライメントが減少する。 この欠損に対処するため、Sparse Sinkhorn Token Translation (S2T2)を紹介する。 S2T2はターゲットドメイン用に調整されたトークンライザをトレーニングし、ターゲットトークンとソーストークンの変換を学ぶ。 微調整された英語モデルを用いた実験では、S2T2は、ドメイン外タンパク質配列のパープレキシティと圧縮の両方を改善し、ソースまたはターゲットトークン化器による直接微調整よりも優れている。 さらに,より小型で安価なモデルで学習したトークン翻訳を,より大規模で強力なモデルに直接転送することで,より低コストでS2T2のメリットを享受できることが判明した。

関連論文リスト

• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Non-Parametric Domain Adaptation for End-to-End Speech Translation [72.37869362559212]
  E2E-ST(End-to-End Speech Translation)は、エラー伝播の低減、レイテンシの低減、パラメータの削減などにより注目されている。 本稿では,E2E-STシステムのドメイン適応を実現するために,ドメイン固有のテキスト翻訳コーパスを活用する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:41:02Z)
• CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation [12.005340904206697]
  CANINEは、明示的なトークン化や語彙のない文字シーケンス上で直接動作する神経エンコーダです。 CanINEは、TyDi QAにおいて、比較可能なmBERTモデルを >= 1 F1 で上回っている。
  論文  参考訳（メタデータ） (2021-03-11T18:57:44Z)
• Two-Way Neural Machine Translation: A Proof of Concept for Bidirectional Translation Modeling using a Two-Dimensional Grid [47.39346022004215]
  本稿では,2次元グリッドを用いた一対一の双方向翻訳モデルを提案する。 2つのモデルを個別に訓練する代わりに、我々のアプローチは1つのネットワークが両方向の翻訳を共同で学習することを奨励する。
  論文  参考訳（メタデータ） (2020-11-24T15:42:32Z)
• Token Drop mechanism for Neural Machine Translation [12.666468105300002]
  NMTモデルの一般化とオーバーフィッティングを回避するため,Token Dropを提案する。 単語ドロップアウトと同様に、ドロップトークンを単語に0をセットするのではなく、特別なトークンに置き換える。
  論文  参考訳（メタデータ） (2020-10-21T14:02:27Z)
• Nearest Neighbor Machine Translation [113.96357168879548]
  我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。 キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。 多くの設定で一貫してパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-01T22:24:46Z)
• LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention [54.18121922040521]
  非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。 これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。 本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
  論文  参考訳（メタデータ） (2020-02-08T04:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。