論文の概要: Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency

• arxiv url: http://arxiv.org/abs/2305.20018v1
• Date: Wed, 31 May 2023 16:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 15:13:02.082097
• Title: Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency
• Title（参考訳）: Logical Offline Cycle Consistencyを用いた潜在言語構造のスケーラブル学習
• Authors: Maxwell Crouse, Ramon Astudillo, Tahira Naseem, Subhajit Chaudhury, Pavan Kapanipathi, Salim Roukos, Alexander Gray
• Abstract要約: 概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
• 参考スコア（独自算出の注目度）: 71.42261918225773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Logical Offline Cycle Consistency Optimization (LOCCO), a scalable, semi-supervised method for training a neural semantic parser. Conceptually, LOCCO can be viewed as a form of self-learning where the semantic parser being trained is used to generate annotations for unlabeled text that are then used as new supervision. To increase the quality of annotations, our method utilizes a count-based prior over valid formal meaning representations and a cycle-consistency score produced by a neural text generation model as additional signals. Both the prior and semantic parser are updated in an alternate fashion from full passes over the training data, which can be seen as approximating the marginalization of latent structures through stochastic variational inference. The use of a count-based prior, frozen text generation model, and offline annotation process yields an approach with negligible complexity and latency increases as compared to conventional self-learning. As an added bonus, the annotations produced by LOCCO can be trivially repurposed to train a neural text generation model. We demonstrate the utility of LOCCO on the well-known WebNLG benchmark where we obtain an improvement of 2 points against a self-learning parser under equivalent conditions, an improvement of 1.3 points against the previous state-of-the-art parser, and competitive text generation performance in terms of BLEU score.
• Abstract（参考訳）: 本稿では,ニューラルネットワークのセマンティクスパーサをトレーニングするためのスケーラブルな半教師付き手法である論理オフラインサイクル一貫性最適化(locco)を提案する。 概念的には、LOCCOは自己学習の一形態と見なすことができ、そこで訓練中のセマンティックパーサーを使用してラベルなしテキストのアノテーションを生成し、その後新しい監督機関として使用される。 アノテーションの質を高めるため,提案手法では,有効な形式的意味表現に先行するカウントベースと,ニューラルテキスト生成モデルによるサイクル一貫性スコアを付加信号として利用する。 事前解析と意味解析の両方は、トレーニングデータの完全パスから別の方法で更新され、確率的変動推論によって潜在構造の限界化を近似すると見なすことができる。 カウントベースで凍結されたテキスト生成モデルとオフラインアノテーションプロセスを使用することで、従来の自己学習と比較して、複雑性とレイテンシが無視できるアプローチが得られる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。 我々は,LOCCOの有効性をよく知られたWebNLGベンチマークで実証し,等価条件下での自己学習構文に対する2点の改善,従来の最先端構文に対する1.3点の改善,BLEUスコアの観点からの競合テキスト生成性能について述べる。

関連論文リスト

• On Eliciting Syntax from Language Models via Hashing [19.872554909401316]
  教師なし構文解析は、生のテキストから構文構造を推論することを目的としている。 本稿では,本機能を利用して生テキストから解析木を推定する可能性について検討する。 本手法は,事前学習した言語モデルから高品質な構文解析木を低コストで取得する上で,有効かつ効率的であることを示す。
  論文  参考訳（メタデータ） (2024-10-05T08:06:19Z)
• Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
  本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。 本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:05Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Contrastive and Consistency Learning for Neural Noisy-Channel Model in Spoken Language Understanding [1.07288078404291]
  音声認識(ASR)に基づく自然言語理解手法を提案する。 ASRエラーによる書き起こしの不整合を処理するため,ノイズチャネルモデルの改良を行った。 4つのベンチマークデータセットの実験は、Contrastive and Consistency Learning (CCL)が既存のメソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-23T23:10:23Z)
• Bit Cipher -- A Simple yet Powerful Word Representation System that Integrates Efficiently with Language Models [4.807347156077897]
  Bit-cipherは、バックプロパゲーションや超高効率次元減少技術の必要性を排除したワード表現システムである。 我々は、古典的な埋め込みによるビット暗号の競合性を評価するために、POSタグと名前付きエンティティ認識(NER)の探索実験を行った。 埋め込み層を暗号埋め込みに置き換えることで、トレーニングプロセスの高速化と最適な最適化を実現する上での暗号の顕著な効率を実証した。
  論文  参考訳（メタデータ） (2023-11-18T08:47:35Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
  自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。 本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-21T06:08:30Z)
• COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining [59.169836983883656]
  COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。 COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。 分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
  論文  参考訳（メタデータ） (2021-02-16T22:24:29Z)
• Phoneme Based Neural Transducer for Large Vocabulary Speech Recognition [41.92991390542083]
  本稿では,音素に基づくニューラルトランスデューサモデリングのための,シンプルで斬新で競争力のあるアプローチを提案する。 1つの音の文脈サイズは、最高の演奏に十分であることを示す。 我々の最高のモデル全体の性能はTED-Lium Release 2 と Switchboard corpora の State-of-the-art (SOTA) 結果に匹敵する。
  論文  参考訳（メタデータ） (2020-10-30T16:53:29Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。