論文の概要: Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages

• arxiv url: http://arxiv.org/abs/2001.11453v3
• Date: Sun, 22 Nov 2020 19:06:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 12:11:40.060081
• Title: Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages
• Title（参考訳）: タスクと言語間のゼロショット学習のためのパラメータ空間因子化
• Authors: Edoardo M. Ponti, Ivan Vuli\'c, Ryan Cotterell, Marinela Parovic, Roi Reichart and Anna Korhonen
• Abstract要約: 本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
• 参考スコア（独自算出の注目度）: 112.65994041398481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most combinations of NLP tasks and language varieties lack in-domain examples for supervised training because of the paucity of annotated data. How can neural models make sample-efficient generalizations from task-language combinations with available data to low-resource ones? In this work, we propose a Bayesian generative model for the space of neural parameters. We assume that this space can be factorized into latent variables for each language and each task. We infer the posteriors over such latent variables based on data from seen task-language combinations through variational inference. This enables zero-shot classification on unseen combinations at prediction time. For instance, given training data for named entity recognition (NER) in Vietnamese and for part-of-speech (POS) tagging in Wolof, our model can perform accurate predictions for NER in Wolof. In particular, we experiment with a typologically diverse sample of 33 languages from 4 continents and 11 families, and show that our model yields comparable or better results than state-of-the-art, zero-shot cross-lingual transfer methods. Moreover, we demonstrate that approximate Bayesian model averaging results in smoother predictive distributions, whose entropy inversely correlates with accuracy. Hence, the proposed framework also offers robust estimates of prediction uncertainty. Our code is located at github.com/cambridgeltl/parameter-factorization
• Abstract（参考訳）: NLPタスクと言語変種の組み合わせのほとんどは、注釈付きデータのあいまいさのため、教師付きトレーニングのドメイン例を欠いている。 ニューラルモデルは、利用可能なデータとタスク言語の組み合わせから低リソースデータまで、サンプル効率のよい一般化を実現するにはどうすればよいのか? 本研究では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 この空間は各言語と各タスクの潜在変数に分解できると仮定する。 変動推論によるタスク言語の組み合わせのデータに基づいて,そのような潜在変数の後方を推定する。 これにより、予測時に見当たらない組み合わせのゼロショット分類が可能になる。 例えば、ベトナムにおける名前付きエンティティ認識(ner)と、wolofにおけるpart-of-speech(pos)タグのトレーニングデータから、wolofにおけるnerの正確な予測を行うことができる。 特に,4大陸と11家族の33の言語をタイプ学的に多種多様なサンプルを用いて実験し,そのモデルが最先端のゼロショット言語間移動法と同等あるいは優れた結果をもたらすことを示す。 さらに,近似ベイズモデル平均化はより滑らかな予測分布となり,エントロピーは精度と逆相関することを示した。 したがって、提案フレームワークは予測の不確かさの堅牢な推定も提供する。 私たちのコードはgithub.com/cambridgeltl/parameter-factorizationにあります

関連論文リスト

• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Neural Spline Search for Quantile Probabilistic Modeling [35.914279831992964]
  パラメトリックな仮定を伴わない観測データ分布を表現するために,非パラメトリックかつデータ駆動型手法であるニューラルスプラインサーチ(NSS)を提案する。 我々は,NASが,合成,実世界の回帰,時系列予測タスクにおいて,従来の手法よりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2023-01-12T07:45:28Z)
• Eeny, meeny, miny, moe. How to choose data for morphological inflection [8.914777617216862]
  本稿では,トランスフォーマーモデルを用いた形態的インフレクション作業のための4つのサンプリング戦略について検討する。 そこで本研究では,30言語にまたがる戦略の頑健さについて検討する。 この結果から,モデル信頼度とエントロピーに基づくデータ選択のメリットが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-26T04:33:18Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity [16.893758238773263]
  少数のトレーニングサンプルしか持たなかった場合、GPT-3のような非常に大きな事前訓練された言語モデルは、競争力のある結果を示した。 サンプルが提供される順序は、ほぼ最先端の予測性能とランダムな推測性能の差であることを示す。 言語モデルの生成特性を利用して人工的な開発セットを構築し、このセットから候補置換のエントロピー統計に基づいて、実行者プロンプトを同定する。
  論文  参考訳（メタデータ） (2021-04-18T09:29:16Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。