論文の概要: Enhancing Context Through Contrast

• arxiv url: http://arxiv.org/abs/2401.03314v1
• Date: Sat, 6 Jan 2024 22:13:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 19:26:38.709182
• Title: Enhancing Context Through Contrast
• Title（参考訳）: コントラストによるコンテキストの強化
• Authors: Kshitij Ambilduke, Aneesh Shetye, Diksha Bagade, Rishika Bhagwatkar, Khurshed Fitter, Prasad Vagdargi, Shital Chiddarwar
• Abstract要約: 本稿では,ニューラルマシン翻訳の性能向上のための新しいコンテキスト拡張ステップを提案する。 他のアプローチとは異なり、明示的にデータを拡張するのではなく、言語を暗黙的な拡張と見なす。 本手法は, 組込みをゼロから学習せず, 事前学習した組込みに一般化することができる。
• 参考スコア（独自算出の注目度）: 0.4068270792140993
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Neural machine translation benefits from semantically rich representations. Considerable progress in learning such representations has been achieved by language modelling and mutual information maximization objectives using contrastive learning. The language-dependent nature of language modelling introduces a trade-off between the universality of the learned representations and the model's performance on the language modelling tasks. Although contrastive learning improves performance, its success cannot be attributed to mutual information alone. We propose a novel Context Enhancement step to improve performance on neural machine translation by maximizing mutual information using the Barlow Twins loss. Unlike other approaches, we do not explicitly augment the data but view languages as implicit augmentations, eradicating the risk of disrupting semantic information. Further, our method does not learn embeddings from scratch and can be generalised to any set of pre-trained embeddings. Finally, we evaluate the language-agnosticism of our embeddings through language classification and use them for neural machine translation to compare with state-of-the-art approaches.
• Abstract（参考訳）: ニューラルネットワーク翻訳は意味的に豊かな表現の恩恵を受ける。 このような表現の学習のかなりの進歩は、言語モデルと相互情報最大化目標によって、コントラスト学習を用いて達成されている。 言語モデリングの言語依存の性質は、学習された表現の普遍性と言語モデリングタスクにおけるモデルの性能とのトレードオフをもたらす。 対照的な学習はパフォーマンスを向上させるが、その成功は相互情報のみによるものではない。 本稿では,バロー・ツインズ・ロスを用いた相互情報の最大化により,ニューラルネットワーク翻訳の性能を向上させる新しいコンテキスト拡張手法を提案する。 他のアプローチとは異なり、明示的にデータを増やすのではなく、言語を暗黙の強化と見なし、意味情報を破壊するリスクを根絶する。 さらに,本手法はスクラッチから埋め込みを学習せず,事前学習した埋め込みに一般化することができる。 最後に,組込みの言語非依存性を言語分類を通して評価し,それをニューラルマシン翻訳に使用して,最先端のアプローチと比較する。

関連論文リスト

• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis [8.770572911942635]
  いくつかの低リソース言語で新しい評価データセットを導入する。 我々は、機械翻訳の使用を含む、様々なアプローチを実験する。 言語間の相似性は言語間移動の成功を予測するのに十分ではないことを示す。
  論文  参考訳（メタデータ） (2024-09-30T07:59:41Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Distilling Linguistic Context for Language Model Compression [27.538080564616703]
  計算コストが高く、メモリ集約型ニューラルネットワークは、最近の言語表現学習の成功の背後にある。 本稿では,2種類の関係を通して文脈知識を伝達する言語表現学習のための新しい知識蒸留目標を提案する。 言語理解タスクの挑戦的ベンチマークにおいて,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2021-09-17T05:51:45Z)
• Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
  現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。 前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。 本稿では,ラベルのないデータを利用して性能を向上する。
  論文  参考訳（メタデータ） (2021-05-08T08:04:30Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。