論文の概要: Learning a Reversible Embedding Mapping using Bi-Directional Manifold Alignment

• arxiv url: http://arxiv.org/abs/2107.00124v1
• Date: Wed, 30 Jun 2021 22:13:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 14:03:43.708948
• Title: Learning a Reversible Embedding Mapping using Bi-Directional Manifold Alignment
• Title（参考訳）: 双方向マニフォールドアライメントを用いた可逆埋め込みマッピングの学習
• Authors: Ashwinkumar Ganesan, Francis Ferraro, Tim Oates
• Abstract要約: 2つの多様体間の非線形写像を学習する双方向多様体アライメント(BDMA)を提案する。 我々はBDMAを、個別の、指示されたソースとターゲットの組み合わせではなく、一対の言語のためのモデルで訓練することで実証する。 我々は,BDMAで訓練されたモデルが,単語を「逆」方向にうまくマッピングできることを示す。
• 参考スコア（独自算出の注目度）: 10.899211333588264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a Bi-Directional Manifold Alignment (BDMA) that learns a non-linear mapping between two manifolds by explicitly training it to be bijective. We demonstrate BDMA by training a model for a pair of languages rather than individual, directed source and target combinations, reducing the number of models by 50%. We show that models trained with BDMA in the "forward" (source to target) direction can successfully map words in the "reverse" (target to source) direction, yielding equivalent (or better) performance to standard unidirectional translation models where the source and target language is flipped. We also show how BDMA reduces the overall size of the model.
• Abstract（参考訳）: 本研究では,2つの多様体間の非線形写像を学習する双方向多様体アライメント(bdma)を提案する。 bdmaを,個別,指向,対象の組み合わせではなく,一対の言語でモデルをトレーニングすることで実演し,モデル数を50%削減した。 我々は、BDMAで訓練されたモデルが、"forward"(ソースからターゲット)方向の単語を"reverse"(ターゲットからソース)方向にマッピングし、ソースとターゲット言語が反転する標準的な一方向翻訳モデルに等価な(あるいはより良い)性能をもたらすことを示す。 また、BDMAがモデル全体のサイズを減らす方法を示す。

関連論文リスト

• Bidirectional Trained Tree-Structured Decoder for Handwritten Mathematical Expression Recognition [51.66383337087724]
  Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。 近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。 本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
  論文  参考訳（メタデータ） (2023-12-31T09:24:21Z)
• MixTEA: Semi-supervised Entity Alignment with Mixture Teaching [13.340670739259455]
  半教師付きエンティティアライメント(EA)は、トレーニングデータとして適切なラベル付きマッピングが欠如しているため、実践的で困難な作業である。 そこで本研究では,手動ラベル付きマッピングと確率論的擬似マッピングによるエンドツーエンドの混合学習でモデル学習を指導するMixTEA法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T03:49:23Z)
• On Optimizing the Communication of Model Parallelism [74.15423270435949]
  大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。 クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。 本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
  論文  参考訳（メタデータ） (2022-11-10T03:56:48Z)
• On Reinforcement Learning and Distribution Matching for Fine-Tuning Language Models with no Catastrophic Forgetting [5.5302127686575435]
  Reward Maximization (RM) と、最近では Distribution Matching (DM) の2つのパラダイムがこの課題に取り組むために登場した。 RM用に開発されたKL制御などの手法も,DMに属するものと解釈できることを示す。 2つのパラダイム間の接続を利用して、ベースラインの概念をDMメソッドにインポートします。
  論文  参考訳（メタデータ） (2022-06-01T20:54:41Z)
• On the Role of Bidirectionality in Language Model Pre-Training [85.14614350372004]
  本研究では,次のトークン予測,テキスト入力,ゼロショットプライミング,微調整における双方向性の役割について検討する。 最大6.7Bのパラメータを持つモデルをトレーニングし、スケールで一貫性のある相違点を見つけます。
  論文  参考訳（メタデータ） (2022-05-24T02:25:05Z)
• Dual Diffusion Implicit Bridges for Image-to-Image Translation [104.59371476415566]
  画像と画像の共通翻訳法は、ソースドメインとターゲットドメインの両方のデータに対する共同トレーニングに依存している。 本稿では拡散モデルに基づく画像変換法であるDual Diffusion Implicit Bridges (DDIBs)を提案する。 DDIBは任意のソースターゲットドメイン間の変換を可能にし、それぞれのドメイン上で独立に訓練された拡散モデルを与える。
  論文  参考訳（メタデータ） (2022-03-16T04:10:45Z)
• Handwritten Mathematical Expression Recognition via Attention Aggregation based Bi-directional Mutual Learning [13.696706205837234]
  本稿では,アテンションアグリゲーションに基づく双方向相互学習ネットワーク(ABM)を提案する。 推論フェーズでは、モデルが既に2つの逆方向から知識を学習していることを考えると、推論にはL2Rブランチのみを使用する。 提案手法は,CROHME 2014 では 56.85 %,CROHME 2016 では 52.92 %,CROHME 2019 では 53.96 % である。
  論文  参考訳（メタデータ） (2021-12-07T09:53:40Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Two-Way Neural Machine Translation: A Proof of Concept for Bidirectional Translation Modeling using a Two-Dimensional Grid [47.39346022004215]
  本稿では,2次元グリッドを用いた一対一の双方向翻訳モデルを提案する。 2つのモデルを個別に訓練する代わりに、我々のアプローチは1つのネットワークが両方向の翻訳を共同で学習することを奨励する。
  論文  参考訳（メタデータ） (2020-11-24T15:42:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。