論文の概要: EM-Network: Oracle Guided Self-distillation for Sequence Learning

• arxiv url: http://arxiv.org/abs/2306.10058v1
• Date: Wed, 14 Jun 2023 12:24:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 01:28:38.652977
• Title: EM-Network: Oracle Guided Self-distillation for Sequence Learning
• Title（参考訳）: EM-Network:Oracleがシーケンス学習のための自己蒸留をガイド
• Authors: Ji Won Yoon, Sunghwan Ahn, Hyeonseung Lee, Minchan Kim, Seok Min Kim, Nam Soo Kim
• Abstract要約: 本稿では,教師付きシーケンス・ツー・シーケンス学習にターゲット情報を効果的に活用する,新しい自己蒸留手法EM-Networkを紹介する。 オラクルガイダンスは、タスクの解決においてシーケンスモデルを支援するターゲット側コンテキストをコンパクトに表現します。 音声認識のためのコネクショニスト時間分類(CTC)と機械翻訳のためのアテンションベースエンコーダデコーダ(AED)の2種類のセq2seqモデルについて包括的な実験を行った。
• 参考スコア（独自算出の注目度）: 10.393465185525079
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce EM-Network, a novel self-distillation approach that effectively leverages target information for supervised sequence-to-sequence (seq2seq) learning. In contrast to conventional methods, it is trained with oracle guidance, which is derived from the target sequence. Since the oracle guidance compactly represents the target-side context that can assist the sequence model in solving the task, the EM-Network achieves a better prediction compared to using only the source input. To allow the sequence model to inherit the promising capability of the EM-Network, we propose a new self-distillation strategy, where the original sequence model can benefit from the knowledge of the EM-Network in a one-stage manner. We conduct comprehensive experiments on two types of seq2seq models: connectionist temporal classification (CTC) for speech recognition and attention-based encoder-decoder (AED) for machine translation. Experimental results demonstrate that the EM-Network significantly advances the current state-of-the-art approaches, improving over the best prior work on speech recognition and establishing state-of-the-art performance on WMT'14 and IWSLT'14.
• Abstract（参考訳）: 我々は,seq2seq学習における目標情報を有効に活用する,新しい自己蒸留法であるem-networkを提案する。 従来の手法とは対照的に、ターゲットシーケンスから派生したoracle guidanceでトレーニングされる。 オラクルガイダンスは、タスク解決時にシーケンスモデルを支援するターゲット側コンテキストをコンパクトに表現するため、EM-Networkは、ソース入力のみを使用する場合よりも予測が優れている。 そこで本研究では,EM-Network の有望な能力を引き継ぐために,EM-Network の知識を1段階的に活用できる新たな自己蒸留手法を提案する。 音声認識のためのコネクショニスト時間分類(ctc)と機械翻訳のためのアテンションベースエンコーダデコーダ(aed)の2種類のseq2seqモデルについて包括的実験を行った。 実験の結果,em-networkは,音声認識における最善の先行作業よりも改善し,wmt'14およびiwslt'14における最先端性能を確立した。

関連論文リスト

• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Cross-Inferential Networks for Source-free Unsupervised Domain Adaptation [17.718392065388503]
  クロス推論ネットワーク (CIN) と呼ばれる新しい手法を提案する。 主な考え方は、符号化された特徴からサンプルラベルを予測するためにネットワークモデルを適用する際に、これらの予測結果を用いて、派生したラベルを用いた新しいトレーニングサンプルを構築することである。 ベンチマークデータを用いた実験の結果,提案手法により,ソースフリーなUDAの性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-06-29T14:04:24Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• CoopInit: Initializing Generative Adversarial Networks via Cooperative Learning [50.90384817689249]
  CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。 本稿では,画像生成における提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-03-21T07:49:32Z)
• Age of Semantics in Cooperative Communications: To Expedite Simulation Towards Real via Offline Reinforcement Learning [53.18060442931179]
  協調リレー通信システムにおける状態更新のセマンティックス更新度を測定するための意味学年代(AoS)を提案する。 オンライン・ディープ・アクター・クリティック(DAC)学習手法を,政治時間差学習の枠組みに基づいて提案する。 そこで我々は,以前に収集したデータセットから最適制御ポリシーを推定する,新しいオフラインDAC方式を提案する。
  論文  参考訳（メタデータ） (2022-09-19T11:55:28Z)
• BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data [15.71234837305808]
  言語モデリング(LM)の手法とアーキテクチャを脳波モデリング(EM)に適用する方法を検討する。 1つの事前学習モデルが、異なるハードウェアで記録された全く新しい生の脳波シーケンスをモデル化できることがわかった。 このモデルの内部表現とアーキテクチャ全体は、さまざまな下流のBCIおよびEEG分類タスクに微調整することができる。
  論文  参考訳（メタデータ） (2021-01-28T14:54:01Z)
• Translate Reverberated Speech to Anechoic Ones: Speech Dereverberation with BERT [6.876734825043823]
  本研究では,単一チャンネル音声の残響について考察する。 自然言語処理(NLP)領域における双方向変換モデル(BERT)の成功に触発され,そのバックボーンシーケンスモデルとしての適用性を検討した。
  論文  参考訳（メタデータ） (2020-07-16T00:45:27Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。