論文の概要: Supervised Seeded Iterated Learning for Interactive Language Learning

• arxiv url: http://arxiv.org/abs/2010.02975v1
• Date: Tue, 6 Oct 2020 19:09:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 07:14:39.834545
• Title: Supervised Seeded Iterated Learning for Interactive Language Learning
• Title（参考訳）: 対話型言語学習のための改良型反復学習
• Authors: Yuchen Lu, Soumye Singhal, Florian Strub, Olivier Pietquin, Aaron Courville
• Abstract要約: この現象に部分的に対処する2つの一般的な方法:S2P(Supervised Selfplay)とSIL(Seeded Iterated Learning) まず, 後期訓練の崩壊, 人体評価における負の確率の低下など, それぞれの弱点を強調した。 次に,言語ドリフト翻訳ゲームにおけるアルゴの有効性を示す。
• 参考スコア（独自算出の注目度）: 30.787109897408488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language drift has been one of the major obstacles to train language models through interaction. When word-based conversational agents are trained towards completing a task, they tend to invent their language rather than leveraging natural language. In recent literature, two general methods partially counter this phenomenon: Supervised Selfplay (S2P) and Seeded Iterated Learning (SIL). While S2P jointly trains interactive and supervised losses to counter the drift, SIL changes the training dynamics to prevent language drift from occurring. In this paper, we first highlight their respective weaknesses, i.e., late-stage training collapses and higher negative likelihood when evaluated on human corpus. Given these observations, we introduce Supervised Seeded Iterated Learning to combine both methods to minimize their respective weaknesses. We then show the effectiveness of \algo in the language-drift translation game.
• Abstract（参考訳）: 言語ドリフトは、対話を通じて言語モデルをトレーニングする上で、大きな障害のひとつです。 単語ベースの会話エージェントがタスクの完了に向けて訓練されると、自然言語を活用するよりも言語を発明する傾向がある。 最近の文献では、この現象に部分的に対処する2つの一般的な方法として、Supervised Selfplay (S2P)とSeeded Iterated Learning (SIL)がある。 S2Pは、ドリフトに対抗するために対話的および監督された損失を共同で訓練する一方で、SILは言語ドリフトの発生を防ぐためにトレーニングダイナミクスを変更する。 本稿では,まず,その弱点,すなわち後期トレーニングの崩壊,および人間のコーパス上での評価における負の可能性について述べる。 これらの観察から,それぞれの弱さを最小限に抑えるために,教師付きシード反復学習を導入する。 次に,言語ドリフト翻訳ゲームにおける \algo の有効性を示す。

関連論文リスト

• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Towards continually learning new languages [66.36852845415916]
  言語のバッチ学習は経済的に有益だが、大きな課題は破滅的な忘れ方だ。 我々は,破滅的忘れを抑えるために,重量分解特性と弾性重みの固化特性を組み合わせる。 私たちは、すべての言語をゼロからトレーニングするのに比べ、破滅的な忘れものもなく、合理的なパフォーマンスで26の言語を達成しています。
  論文  参考訳（メタデータ） (2022-11-21T18:24:34Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• Learning Natural Language Generation from Scratch [25.984828046001013]
  本稿では,TRUncated ReinForcement Learning for Language (TrufLL)を紹介する。 強化学習(RL)のみを用いて、条件付き言語モデルをゼロから訓練する独自のap-proachである。
  論文  参考訳（メタデータ） (2021-09-20T08:46:51Z)
• Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training [45.48003947488825]
  私達は2つの広く利用された強い訓練方法を研究します:反対の訓練およびランダム化された平滑化。 実験の結果,ロバストトレーニングにより,テキスト分類におけるゼロショット言語間転送が改善されることがわかった。
  論文  参考訳（メタデータ） (2021-04-17T21:21:53Z)
• Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
  我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。 私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
  論文  参考訳（メタデータ） (2020-11-02T10:57:53Z)
• Transfer Learning for British Sign Language Modelling [0.0]
  手話を含む少数言語の研究は、データ不足によって妨げられている。 これは、ある言語で開発されたモデルを第2言語でモデルを構築するための出発点として再利用するトランスファーラーニング手法の開発につながった。 本稿では,英国手話の言語モデリングにおける微調整と層置換の2つの伝達学習手法について検討する。
  論文  参考訳（メタデータ） (2020-06-03T10:13:29Z)
• Countering Language Drift with Seeded Iterated Learning [30.787109897408488]
  シード反復学習 (Seeded Iterated Learning, SIL) と呼ばれる言語ドリフトに対する汎用的アプローチを提案する。 SILは外部の構文制約や意味知識を必要としないため、タスクに依存しない微調整プロトコルである。 おもちゃをセットしたLewis GameでSILを評価し,それを自然言語で翻訳ゲームにスケールアップする。
  論文  参考訳（メタデータ） (2020-03-28T03:45:31Z)
• On the interaction between supervision and self-play in emergent communication [82.290338507106]
  本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。 人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
  論文  参考訳（メタデータ） (2020-02-04T02:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。