論文の概要: One-Shot Learning for Language Modelling

• arxiv url: http://arxiv.org/abs/2007.09679v1
• Date: Sun, 19 Jul 2020 14:33:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 23:48:48.639797
• Title: One-Shot Learning for Language Modelling
• Title（参考訳）: 言語モデリングのためのワンショット学習
• Authors: Talip Ucar, Adrian Gonzalez-Martin, Matthew Lee, Adrian Daniel Szwarc
• Abstract要約: NLPタスクにおけるワンショット学習の課題は、機械学習の最近の発展からアイデアを取り入れることによって解決される。 我々は,kショット学習における異なる距離測定値の有効性について検討し,kショット学習に最適な距離測定値が存在しないことを示す。 公開データセットで言語タスクを1、2、3ショットで学習するベンチマークを確立します。
• 参考スコア（独自算出の注目度）: 0.7465973440137806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans can infer a great deal about the meaning of a word, using the syntax and semantics of surrounding words even if it is their first time reading or hearing it. We can also generalise the learned concept of the word to new tasks. Despite great progress in achieving human-level performance in certain tasks (Silver et al., 2016), learning from one or few examples remains a key challenge in machine learning, and has not thoroughly been explored in Natural Language Processing (NLP). In this work we tackle the problem of oneshot learning for an NLP task by employing ideas from recent developments in machine learning: embeddings, attention mechanisms (softmax) and similarity measures (cosine, Euclidean, Poincare, and Minkowski). We adapt the framework suggested in matching networks (Vinyals et al., 2016), and explore the effectiveness of the aforementioned methods in one, two and three-shot learning problems on the task of predicting missing word explored in (Vinyals et al., 2016) by using the WikiText-2 dataset. Our work contributes in two ways: Our first contribution is that we explore the effectiveness of different distance metrics on k-shot learning, and show that there is no single best distance metric for k-shot learning, which challenges common belief. We found that the performance of a distance metric depends on the number of shots used during training. The second contribution of our work is that we establish a benchmark for one, two, and three-shot learning on a language task with a publicly available dataset that can be used to benchmark against in future research.
• Abstract（参考訳）: 人間は、たとえその単語を初めて読んだり聴いたりしても、周囲の単語の構文と意味を使って、単語の意味について多くのことを推測することができる。 単語の学習した概念を新しいタスクに一般化することもできる。 特定のタスク(Silver et al., 2016)における人間レベルのパフォーマンスの達成には大きな進歩があったが、1つまたは少数の例から学ぶことは機械学習の重要な課題であり、自然言語処理(NLP)では十分に研究されていない。 本研究では,近年の機械学習の課題である埋め込み,注意機構(softmax),類似度対策(cosine,Euclidean,Poincare,Minkowski)を取り入れることで,NLPタスクのワンショット学習の問題に取り組む。 我々は、マッチングネットワークで提案されるフレームワーク(Vinyals et al., 2016)に適応し、WikiText-2データセットを用いて、探索された単語の欠落を予測するタスク(Vinyals et al., 2016)において、上記の方法の有効性を検討する。 私たちの最初の貢献は、kショット学習における異なる距離メトリクスの有効性を探求し、共通の信念に挑戦するkショット学習に最適な距離メートル法がないことを示すことです。 その結果,距離測定器の性能は訓練中のショット数に依存することがわかった。 私たちの研究の2つ目の貢献は、言語タスクにおける1、2、3ショットの学習のためのベンチマークを、将来の研究に対してベンチマークするために利用可能なデータセットで確立することです。

関連論文リスト

• A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
  自然言語推論は自然言語理解のプロキシである。 ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
  論文  参考訳（メタデータ） (2024-05-20T08:41:15Z)
• Large Language Model Augmented Exercise Retrieval for Personalized Language Learning [2.946562343070891]
  ベクトル類似性アプローチは,学習者が学習したいことを表現するために使用するエクササイズコンテンツと言語との関係を,不十分に捉えていることがわかった。 我々は,学習者の入力に基づいて仮説的演習を合成することにより,大きな言語モデルの生成能力を活用してギャップを埋める。 我々はmHyERと呼ぶアプローチを,(1)学習における関連ラベルの欠如,(2)制限なし学習者の入力内容,(3)入力候補と検索候補とのセマンティックな類似性の低さという3つの課題を克服する。
  論文  参考訳（メタデータ） (2024-02-08T20:35:31Z)
• FonMTL: Towards Multitask Learning for the Fon Language [1.9370453715137865]
  本稿では,Fon言語のための自然言語処理におけるモデル機能向上のための,マルチタスク学習のための最初の爆発的アプローチを提案する。 我々は2つの言語モデルヘッドをエンコーダとして利用して入力の共有表現を構築し,各タスクに対して線形層ブロックを用いて分類する。 Fon の NER および POS タスクの結果は,複数言語で事前訓練された言語モデルに対して,単一タスクで微調整された言語モデルと比較して,競争力(あるいはより優れた)性能を示す。
  論文  参考訳（メタデータ） (2023-08-28T03:26:21Z)
• SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
  音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。 最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
  論文  参考訳（メタデータ） (2022-12-20T18:39:59Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Improving Social Meaning Detection with Pragmatic Masking and Surrogate Fine-Tuning [6.877263360331783]
  Masked Language Model (MLM) は、たとえ有用であっても下流の微調整の目的とミスマッチしているとして、事前に訓練されている。 本研究では,社会的な意味のタスクに有用な,幅広い概念のセットに向けて,事前学習された表現を促進するための2つの戦略として,実践的なマスキングと微調整を提案する。
  論文  参考訳（メタデータ） (2021-08-01T03:32:21Z)
• Learning to Bridge Metric Spaces: Few-shot Joint Learning of Intent Detection and Slot Filling [29.218780709974244]
  そこで本研究では,データリッチドメイン上で意図とスロットの計量空間をブリッジする学習手法を提案する。 われわれのモデルは、1ショットと5ショット設定で強いベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2021-05-25T15:07:11Z)
• Towards Few-Shot Fact-Checking via Perplexity [40.11397284006867]
  そこで本研究では,言語モデルの強力な伝達学習能力をパープレキシティスコアで活用する新しい手法を提案する。 私たちの方法論は、F1-Macroメトリックの絶対10%以上のメジャークラスベースラインをすでに上回ることができます。 COVID-19に関連する2つの新しいファクトチェックデータセットを構築し、公開します。
  論文  参考訳（メタデータ） (2021-03-17T09:43:19Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。