Fugu-MT 論文翻訳(概要): Mean BERTs make erratic language teachers: the effectiveness of latent bootstrapping in low-resource settings

論文の概要: Mean BERTs make erratic language teachers: the effectiveness of latent bootstrapping in low-resource settings

arxiv url: http://arxiv.org/abs/2310.19420v1
Date: Mon, 30 Oct 2023 10:31:32 GMT
ステータス: 処理完了
システム内更新日: 2023-11-01 20:45:51.624256
Title: Mean BERTs make erratic language teachers: the effectiveness of latent bootstrapping in low-resource settings
Title（参考訳）: 平均BERTによる言語教育 : 低リソース環境における潜伏ブートストラップの効果
Authors: David Samuel
Abstract要約: 潜伏ブートストラッピングは、言語モデルの事前訓練のための代替のセルフスーパービジョン技術である。我々は,限られた資源から言語知識を取得するために,このアプローチがいかに効果的かを評価する実験を行う。
参考スコア（独自算出の注目度）: 5.121744234312891
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper explores the use of latent bootstrapping, an alternative self-supervision technique, for pretraining language models. Unlike the typical practice of using self-supervision on discrete subwords, latent bootstrapping leverages contextualized embeddings for a richer supervision signal. We conduct experiments to assess how effective this approach is for acquiring linguistic knowledge from limited resources. Specifically, our experiments are based on the BabyLM shared task, which includes pretraining on two small curated corpora and an evaluation on four linguistic benchmarks.
Abstract（参考訳）: 本稿では,言語モデルの事前学習における代替的自己スーパービジョン手法である潜在ブートストラップの利用について検討する。離散サブワードで自己スーパービジョンを使用する典型的な方法とは異なり、潜在ブートストラップはよりリッチな監視信号にコンテキスト化された埋め込みを利用する。限られた資源から言語知識を得る上で,このアプローチがいかに効果的かを評価する実験を行う。具体的には,2つの小さなコーパスの事前学習と4つの言語ベンチマークの評価を含む,BabyLM共有タスクに基づく実験を行った。

関連論文リスト

The Promises and Pitfalls of Using Language Models to Measure Instruction Quality in Education [3.967610895056427]
本稿では,自然言語処理(NLP)技術を活用して,複数のハイ推論教育実践を評価するための最初の研究について述べる。ノイズや長い入力データ、人間の評価の高度に歪んだ分布など、NLPに基づく指導分析に固有の2つの課題に直面している。
論文参考訳（メタデータ） (2024-04-03T04:15:29Z)
Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task [53.163534619649866]
本稿では,大規模言語モデルに品質評価の課題を扱えるように,プロンプトベースの手法の有効性を評価することに焦点を当てる。我々は,標準的なプロンプト,アノテータ命令によって通知されるプロンプト,イノベーティブなチェーン・オブ・シークレットプロンプトなど,様々なプロンプト技術を用いて,系統的な実験を行った。我々の研究は、これらのアプローチを"小さな"オープンソースモデル(orca_mini_v3_7B)を使って組み合わせることで、競争結果が得られることを示した。
論文参考訳（メタデータ） (2023-11-01T17:44:35Z)
Unsupervised Alignment of Distributional Word Embeddings [0.0]
クロスドメインアライメントは、機械翻訳から伝達学習までのタスクにおいて重要な役割を果たす。提案手法は,複数の言語対をまたいだバイリンガル語彙誘導タスクにおいて,優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2022-03-09T16:39:06Z)
IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文参考訳（メタデータ） (2022-01-27T18:53:22Z)
Skill Induction and Planning with Latent Language [94.55783888325165]
我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
論文参考訳（メタデータ） (2021-10-04T15:36:32Z)
Knowledge-Rich BERT Embeddings for Readability Assessment [0.0]
本稿では,BERTモデルの情報豊富な埋め込みを共同学習手法により活用する方法を提案する。提案手法は,英語とフィリピン語のデータセットを用いた可読性評価において,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2021-06-15T07:37:48Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
Combining Self-Training and Self-Supervised Learning for Unsupervised Disfluency Detection [80.68446022994492]
本研究では,未ラベルテキストコーパスを扱える教師なし学習パラダイムについて検討する。我々のモデルは、自己学習の考え方を拡張する半教師あり学習アプローチである、雑音学習(Noisy Student Training)に関する最近の研究に基づいている。
論文参考訳（メタデータ） (2020-10-29T05:29:26Z)
Building Low-Resource NER Models Using Non-Speaker Annotation [58.78968578460793]
言語横断的な手法はこれらの懸念に対処する上で顕著な成功を収めた。本稿では,Non-Speaker''(NS)アノテーションを用いた低リソース名前付きエンティティ認識(NER)モデル構築のための補完的アプローチを提案する。 NSアノテータの使用は、現代の文脈表現上に構築された言語間メソッドよりも、一貫した結果が得られることを示す。
論文参考訳（メタデータ） (2020-06-17T03:24:38Z)
Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT [29.04485839262945]
本稿では,事前学習した言語モデル(例えばBERT)をパラメータフリーで解析する手法を提案する。本手法では,探索作業の直接の監督や,探索プロセスへの追加パラメータの導入は不要である。 BERTを用いた実験により, BERTから回収した構文木は, 言語的に非インフォームされたベースラインよりも有意に優れていることがわかった。
論文参考訳（メタデータ） (2020-04-30T14:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。