論文の概要: A Theory of Unsupervised Translation Motivated by Understanding Animal Communication

• arxiv url: http://arxiv.org/abs/2211.11081v1
• Date: Sun, 20 Nov 2022 20:55:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 18:00:58.790066
• Title: A Theory of Unsupervised Translation Motivated by Understanding Animal Communication
• Title（参考訳）: 動物コミュニケーションの理解による教師なし翻訳の理論
• Authors: Shafi Goldwasser, David F. Gruber, Adam Tauman Kalai, Orr Paradise
• Abstract要約: 教師なし機械翻訳を解析するための理論的枠組みを提案する。 フレームワークを2つの言語モデルでインスタンス化する。 意外なことに、教師なし翻訳に必要なソースデータの量は教師なし設定に匹敵することを示している。
• 参考スコア（独自算出の注目度）: 6.478678395598169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have seen breakthroughs in neural language models that capture nuances of language, culture, and knowledge. Neural networks are capable of translating between languages -- in some cases even between two languages where there is little or no access to parallel translations, in what is known as Unsupervised Machine Translation (UMT). Given this progress, it is intriguing to ask whether machine learning tools can ultimately enable understanding animal communication, particularly that of highly intelligent animals. Our work is motivated by an ambitious interdisciplinary initiative, Project CETI, which is collecting a large corpus of sperm whale communications for machine analysis. We propose a theoretical framework for analyzing UMT when no parallel data are available and when it cannot be assumed that the source and target corpora address related subject domains or posses similar linguistic structure. The framework requires access to a prior probability distribution that should assign non-zero probability to possible translations. We instantiate our framework with two models of language. Our analysis suggests that accuracy of translation depends on the complexity of the source language and the amount of ``common ground'' between the source language and target prior. We also prove upper bounds on the amount of data required from the source language in the unsupervised setting as a function of the amount of data required in a hypothetical supervised setting. Surprisingly, our bounds suggest that the amount of source data required for unsupervised translation is comparable to the supervised setting. For one of the language models which we analyze we also prove a nearly matching lower bound. Our analysis is purely information-theoretic and as such can inform how much source data needs to be collected, but does not yield a computationally efficient procedure.
• Abstract（参考訳）: 近年、言語、文化、知識のニュアンスを捉えたニューラル言語モデルのブレークスルーが見られる。 ニューラルネットワークは言語間の翻訳が可能である - 場合によっては、Unsupervised Machine Translation (UMT)と呼ばれる並列翻訳へのアクセスがほとんどあるいは全くない2つの言語の間でも。 この進歩を考えると、機械学習ツールが最終的に動物のコミュニケーション、特に高度に知的な動物のコミュニケーションを理解することができるかどうかを問うのは興味深い。 私たちの研究は、機械分析のためにマッコウクジラコミュニケーションの大規模なコーパスを収集している野心的な学際的イニシアチブであるproject cetiによって動機付けられたものです。 並列データがない場合や、ソースとターゲットコーパスが関連する対象ドメインに対処できない場合や、類似した言語構造を持つ場合において、UTTを解析するための理論的枠組みを提案する。 このフレームワークは、非ゼロ確率を可能な翻訳に割り当てる事前確率分布へのアクセスを必要とする。 フレームワークを2つの言語モデルでインスタンス化する。 解析の結果,翻訳の精度は,ソース言語の複雑さと,ソース言語と対象言語との'共通接点'の量に依存することがわかった。 また,教師なし設定におけるソース言語から要求されるデータ量の上限を,仮想教師なし設定で要求されるデータ量の関数として証明する。 意外なことに、教師なし翻訳に必要なソースデータの量は教師なし設定に匹敵することを示している。 分析した言語モデルのひとつの場合、ほぼ一致する下限があることも証明します。 我々の分析は純粋に情報理論であり、どれだけのソースデータを収集する必要があるかを伝えることができるが、計算的に効率的な手順は得られない。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation [7.557957450498644]
  人工言語を用いて実験を行い、言語の性質が効果的な学習方法としてバック翻訳するかどうかを判断する。 一般的な信念とは対照的に, (i) パラレルな単語頻度分布, (ii) 部分的に共有された語彙, (iii) 言語間の類似した構文構造は, バック翻訳の成功を説明するには不十分である。 言語間で平行なリッチなセマンティック依存関係は、バックトランスレーションに基づく教師なし手法の成功の根底にあると推測する。
  論文  参考訳（メタデータ） (2024-03-26T18:38:14Z)
• Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation [103.90963418039473]
  Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。 Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:31:08Z)
• Syntax and Domain Aware Model for Unsupervised Program Translation [23.217899398362206]
  プログラム翻訳のための構文とドメイン認識モデルであるSDA-Transを提案する。 構文構造とドメイン知識を活用して、言語間転送能力を向上する。 Python、Java、C++間の関数変換タスクの実験結果は、SDA-Transが多くの大規模事前学習モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-02-08T06:54:55Z)
• Adaptive Machine Translation with Large Language Models [7.803471587734353]
  実時間適応型機械翻訳を改善するために,テキスト内学習をいかに活用できるかを検討する。 英語-アラビア語(EN-AR)、英語-中国語(EN-ZH)、英語-フランス語(EN-FR)、英語-キニャルワンダ(EN-RW)、英語-スペイン語(EN-ES)の5つの多種多様な言語対の実験を行った。
  論文  参考訳（メタデータ） (2023-01-30T21:17:15Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• On Learning Language-Invariant Representations for Universal Machine Translation [33.40094622605891]
  ユニバーサル機械翻訳は、任意の言語間の翻訳を学ぶことを目的としている。 我々は、この取り組みのある種の不確実性を一般に証明し、データの追加的な(しかし自然な)構造の存在に肯定的な結果をもたらす。 我々は、我々の理論的な洞察と意味が、普遍機械翻訳のアルゴリズム設計に寄与すると信じている。
  論文  参考訳（メタデータ） (2020-08-11T04:45:33Z)
• It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information [90.35685796083563]
  クロスミューチュアル情報(英: Cross-mutual information、XMI)は、機械翻訳の難易度に関する非対称情報理論の指標である。 XMIは、ほとんどのニューラルマシン翻訳モデルの確率的性質を利用する。 本稿では,現代ニューラル翻訳システムを用いた言語間翻訳の難易度に関する最初の体系的および制御的な研究について述べる。
  論文  参考訳（メタデータ） (2020-05-05T17:38:48Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Bootstrapping a Crosslingual Semantic Parser [74.99223099702157]
  我々は、英語のような単一の言語で訓練された意味を、最小限のアノテーションで新しい言語や複数のドメインに適用する。 我々は、機械翻訳がトレーニングデータの適切な代用であるかどうかを問うとともに、英語、パラフレーズ、多言語事前学習モデルとの併用トレーニングを用いて、ブートストラップを調査するように拡張する。
  論文  参考訳（メタデータ） (2020-04-06T12:05:02Z)
• Urdu-English Machine Transliteration using Neural Networks [0.0]
  本稿では,教師なし言語に依存しない予測最大化(EM)に基づく翻訳手法を提案する。 システムは、パラレルコーパスからパターンと語彙外単語を学習し、明示的に音訳コーパスで学習する必要はない。
  論文  参考訳（メタデータ） (2020-01-12T17:30:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。