論文の概要: Globetrotter: Unsupervised Multilingual Translation from Visual Alignment

• arxiv url: http://arxiv.org/abs/2012.04631v1
• Date: Tue, 8 Dec 2020 18:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 17:36:53.253990
• Title: Globetrotter: Unsupervised Multilingual Translation from Visual Alignment
• Title（参考訳）: Globetrotter:ビジュアルアライメントからの教師なし多言語翻訳
• Authors: D\'idac Sur\'is, Dave Epstein, Carl Vondrick
• Abstract要約: 視覚的モダリティを用いて複数の言語を整列させるフレームワークを提案する。 言語と画像のクロスモーダルアライメントを推定し,この推定値を用いて言語間表現の学習を指導する。 私たちの言語表現は、1つのステージを持つ1つのモデルで共同で訓練されます。
• 参考スコア（独自算出の注目度）: 24.44204156935044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-language machine translation without parallel corpora is challenging because there is no explicit supervision between languages. Existing unsupervised methods typically rely on topological properties of the language representations. We introduce a framework that instead uses the visual modality to align multiple languages, using images as the bridge between them. We estimate the cross-modal alignment between language and images, and use this estimate to guide the learning of cross-lingual representations. Our language representations are trained jointly in one model with a single stage. Experiments with fifty-two languages show that our method outperforms baselines on unsupervised word-level and sentence-level translation using retrieval.
• Abstract（参考訳）: 並列コーパスのない多言語機械翻訳は、言語間の明示的な監督がないため難しい。 既存の教師なしメソッドは通常、言語表現の位相的性質に依存する。 我々は、画像をそれらの間の橋渡しとして、代わりに視覚的モダリティを使用して複数の言語をアラインするフレームワークを導入する。 言語と画像のクロスモーダルアライメントを推定し,この推定値を用いて言語間表現の学習を指導する。 私たちの言語表現は、1つのステージを持つ1つのモデルで共同で訓練されます。 提案手法は, 単語の教師なし翻訳や文レベルの翻訳において, ベースラインよりも優れていることを示す。

関連論文リスト

• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining [3.4519649635864584]
  本研究は、ペアまたはペアなしのバイリンガルテキストを用いた言語間表現の学習手法を提案する。 我々は、言語間アライメント戦略は転送可能であり、2つの言語のみをアライメントするように訓練されたモデルは、多言語的によりアライメントされた表現を符号化できると仮定する。
  論文  参考訳（メタデータ） (2021-04-15T17:51:22Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)
• Visual Grounding in Video for Unsupervised Word Translation [91.47607488740647]
  我々は、言語間の教師なし単語マッピングを改善するために、視覚的接地を用いる。 ネイティブ言語でナレーションされた無人の教育ビデオから埋め込みを学習する。 これらの手法を英語からフランス語、韓国語、日本語への翻訳に適用する。
  論文  参考訳（メタデータ） (2020-03-11T02:03:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。