論文の概要: Improving Low-Resource Cross-lingual Parsing with Expected Statistic Regularization

• arxiv url: http://arxiv.org/abs/2210.09428v1
• Date: Mon, 17 Oct 2022 20:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 14:32:10.199943
• Title: Improving Low-Resource Cross-lingual Parsing with Expected Statistic Regularization
• Title（参考訳）: 予測統計正規化による低リソースクロスリンガル構文解析の改善
• Authors: Thomas Effland and Michael Collins
• Abstract要約: 予測統計正則化(ESR)は、低リソースデータセット上の半教師あり学習のためのモデル分布を形作る新しい正規化手法である。 本研究では,構文解析のための言語間移動(POSタグ付けとラベル付き依存性解析)の文脈でESRについて検討し,モデル行動に係わるいくつかの低次統計関数を提示する。
• 参考スコア（独自算出の注目度）: 3.0483079283802703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Expected Statistic Regularization (ESR), a novel regularization technique that utilizes low-order multi-task structural statistics to shape model distributions for semi-supervised learning on low-resource datasets. We study ESR in the context of cross-lingual transfer for syntactic analysis (POS tagging and labeled dependency parsing) and present several classes of low-order statistic functions that bear on model behavior. Experimentally, we evaluate the proposed statistics with ESR for unsupervised transfer on 5 diverse target languages and show that all statistics, when estimated accurately, yield improvements to both POS and LAS, with the best statistic improving POS by +7.0 and LAS by +8.5 on average. We also present semi-supervised transfer and learning curve experiments that show ESR provides significant gains over strong cross-lingual-transfer-plus-fine-tuning baselines for modest amounts of label data. These results indicate that ESR is a promising and complementary approach to model-transfer approaches for cross-lingual parsing.
• Abstract（参考訳）: 低次マルチタスク構造統計を利用して、低リソースデータセット上の半教師付き学習のためのモデル分布を形作る新しい正規化手法である予測統計正規化(ESR)を提案する。 本研究では,構文解析のための言語間移動(POSタグ付けとラベル付き依存性解析)の文脈でESRについて検討し,モデル行動に係わるいくつかの低次統計関数を提示する。 実験により,ESRを用いて5つの異なる対象言語を教師なしで転送する統計を評価した結果,POSとLASの双方を精度よく推定すると,POSを+7.0,LASを+8.5で改善する統計が得られた。 また,ESRを用いた半教師付き移動学習曲線実験により,ラベルデータ量が少ない場合の強い言語間移動+微調整ベースラインよりも有意な利得が得られることを示した。 これらの結果から,ESRは言語間解析のためのモデル-トランスファーアプローチにおいて,有望かつ補完的なアプローチであることが示された。

関連論文リスト

• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Headless Language Models: Learning without Predicting with Contrastive Weight Tying [0.11510009152620666]
  言語モデルの自己教師付き事前訓練は通常、広範囲なトークン語彙上の確率分布を予測する。 確率予測から脱却し、コンストラッシブウェイトタイリング(CWT)を介してコントラッシブな方法で入力埋め込みを再構築することに焦点を当てた革新的な手法を提案する。 同様の計算予算における古典的 LM と比較して, 有意な +1.6 GLUE スコアの増加と, 顕著な +2.7 LAMBADA の精度向上が観察された。
  論文  参考訳（メタデータ） (2023-09-15T12:20:00Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages [3.475371300689165]
  本稿では,高品質な文ペアを増補し,半教師付き方式でNMTモデルを訓練することにより,低リソース言語の問題に対処する,シンプルかつ効果的な手法を提案する。 具体的には、教師あり学習におけるクロスエントロピー損失と、疑似および拡張的対象文が与えられた教師なしのファッションにおけるKLディバージェンスを組み合わせる。 実験の結果,提案手法はNMTベースライン,特に0.46-2.03BLEUスコアを持つ低リソースデータセットにおいて,NMTベースラインを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-04-02T15:24:08Z)
• ASR in German: A Detailed Error Analysis [0.0]
  この研究は、ドイツ語で事前訓練されたASRモデルアーキテクチャの選択を示し、様々なテストデータセットのベンチマークで評価する。 クロスアーキテクチャの予測エラーを特定し、それらをカテゴリに分類し、カテゴリ毎のエラーソースをトレーニングデータにトレースする。
  論文  参考訳（メタデータ） (2022-04-12T08:25:01Z)
• Conditional Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation [66.23055784400475]
  トークンレベルの適応トレーニングアプローチはトークンの不均衡問題を緩和することができる。 条件付きバイリンガル相互情報(CBMI)という目標コンテキスト対応メトリックを提案する。 CBMIは、事前の統計計算なしで、モデルトレーニング中に効率的に計算することができる。
  論文  参考訳（メタデータ） (2022-03-06T12:34:10Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking [0.9236074230806579]
  Extractive Reading (ERC)は、大規模で高品質なERCトレーニングデータの提供によって、大幅に進歩した。 このような急速な進歩と広範囲の応用にもかかわらず、英語のような高リソース言語以外の言語のデータセットは依然として不足している。 多言語環境において,既存の高品質抽出読解データセットをモデル化し,XLTT(Cross-Lingual Transposition ReThinking)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-11T09:35:16Z)
• Self-Training Sampling with Monolingual Data Uncertainty for Neural Machine Translation [98.83925811122795]
  並列データを補完するために最も情報に富んだ単言語文を選択することでサンプリング手順を改善することを提案する。 並列データから抽出したバイリンガル辞書を用いて単言語文の不確実性を計算した。 大規模WMT英語$Rightarrow$Germanと英語$Rightarrow$ Chineseデータセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-06-02T05:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。