論文の概要: Linking Emergent and Natural Languages via Corpus Transfer
- arxiv url: http://arxiv.org/abs/2203.13344v1
- Date: Thu, 24 Mar 2022 21:24:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 01:51:46.553633
- Title: Linking Emergent and Natural Languages via Corpus Transfer
- Title（参考訳）: コーパス転送による創発語と自然言語のリンク
- Authors: Shunyu Yao, Mo Yu, Yang Zhang, Karthik R Narasimhan, Joshua B.
Tenenbaum, Chuang Gan
- Abstract要約: 創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。
このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。
また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
- 参考スコア（独自算出の注目度）: 98.98724497178247
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The study of language emergence aims to understand how human languages are
shaped by perceptual grounding and communicative intent. Computational
approaches to emergent communication (EC) predominantly consider referential
games in limited domains and analyze the learned protocol within the game
framework. As a result, it remains unclear how the emergent languages from
these settings connect to natural languages or provide benefits in real-world
language processing tasks, where statistical models trained on large text
corpora dominate. In this work, we propose a novel way to establish such a link
by corpus transfer, i.e. pretraining on a corpus of emergent language for
downstream natural language tasks, which is in contrast to prior work that
directly transfers speaker and listener parameters. Our approach showcases
non-trivial transfer benefits for two different tasks -- language modeling and
image captioning. For example, in a low-resource setup (modeling 2 million
natural language tokens), pre-training on an emergent language corpus with just
2 million tokens reduces model perplexity by $24.6\%$ on average across ten
natural languages. We also introduce a novel metric to predict the
transferability of an emergent language by translating emergent messages to
natural language captions grounded on the same images. We find that our
translation-based metric highly correlates with the downstream performance on
modeling natural languages (for instance $\rho=0.83$ on Hebrew), while
topographic similarity, a popular metric in previous work, shows surprisingly
low correlation ($\rho=0.003$), hinting that simple properties like attribute
disentanglement from synthetic domains might not capture the full complexities
of natural language. Our findings also indicate potential benefits of moving
language emergence forward with natural language resources and models.
- Abstract（参考訳）: 言語出現の研究は、知覚的接地とコミュニケーション的意図によって人間の言語がどのように形成されるかを理解することを目的としている。
創発的コミュニケーション(EC)に対する計算的アプローチは、主に限られた領域における参照ゲームを検討し、ゲームフレームワーク内の学習プロトコルを分析する。
結果として、これらの設定からの創発的な言語が自然言語とどのように結びつくのか、あるいは、大きなテキストコーパスで訓練された統計モデルが支配する現実世界の言語処理タスクにメリットをもたらすのかは、まだ不明である。
本研究では,従来の話者とリスナーのパラメータを直接転送する手法とは対照的な,下流の自然言語タスクに対する創発言語コーパスの事前訓練という,コーパス転送によるリンクを確立する新しい手法を提案する。
このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。
例えば、低リソースのセットアップ(200万の自然言語トークンをモデル化)では、200万のトークンを持つ緊急言語コーパスで事前トレーニングすることで、10の自然言語の平均で24.6対%のモデルパープレキシティが削減される。
また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
我々の翻訳に基づく計量は、自然言語のモデリングにおけるダウンストリームのパフォーマンス(例えば、$\rho=0.83$ on Hebrew)と非常に相関しているのに対し、以前の研究で人気の計量であるトポロジ的類似性は驚くほど低い相関(\rho=0.003$)を示しており、合成ドメインからの属性の切り離しのような単純な性質は、自然言語の完全な複雑さを捉えていないことを示唆している。
また,自然言語資源とモデルを用いて言語を前進させる可能性も示唆した。
関連論文リスト
- Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳（メタデータ） (2023-06-13T08:08:08Z) - Languages You Know Influence Those You Learn: Impact of Language
Characteristics on Multi-Lingual Text-to-Text Transfer [4.554080966463776]
マルチ言語モデル (LM) は低リソース言語での自然言語処理の実現に成功している。
このようなモデル、特にmT5は、言語間の言語的および意味的な知識をどう転送するかをよりよく理解しようとしています。
この研究の鍵となる発見は、構文、形態学、音韻学の類似性が言語間移動のよい予測因子であることである。
論文 参考訳（メタデータ） (2022-12-04T07:22:21Z) - Learning an Artificial Language for Knowledge-Sharing in Multilingual
Translation [15.32063273544696]
コードブック内のエントリにエンコーダ状態を割り当てることで,多言語モデルの潜伏空間を識別する。
我々は,現実的なデータ量と領域を用いた大規模実験へのアプローチを検証する。
また、学習した人工言語を用いてモデル行動を分析し、類似のブリッジ言語を使用することで、残りの言語間での知識共有が向上することを発見した。
論文 参考訳（メタデータ） (2022-11-02T17:14:42Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。
私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
論文 参考訳（メタデータ） (2020-11-02T10:57:53Z) - Vokenization: Improving Language Understanding with Contextualized,
Visual-Grounded Supervision [110.66085917826648]
我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。
語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。
これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
論文 参考訳（メタデータ） (2020-10-14T02:11:51Z) - Learning Music Helps You Read: Using Transfer to Study Linguistic
Structure in Language Models [27.91397366776451]
遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。
語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
論文 参考訳（メタデータ） (2020-04-30T06:24:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。