論文の概要: LMTurk: Few-Shot Learners as Crowdsourcing Workers
- arxiv url: http://arxiv.org/abs/2112.07522v1
- Date: Tue, 14 Dec 2021 16:34:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-15 19:27:59.066113
- Title: LMTurk: Few-Shot Learners as Crowdsourcing Workers
- Title(参考訳): LMTurk: クラウドソーシングワーカーとして学ぶ人はほとんどいない
- Authors: Mengjie Zhao, Fei Mi, Yasheng Wang, Minglei Li, Xin Jiang, Qun Liu,
Hinrich Sch\"utze
- Abstract要約: LMTurkは、少人数の学習者をクラウドソーシングワーカーとして扱う新しいアプローチである。
得られたアノテーションは、タスクをうまく解決するモデルをトレーニングするために利用できることを示す。
- 参考スコア(独自算出の注目度): 42.53432089815734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vast efforts have been devoted to creating high-performance few-shot
learners, i.e., models that perform well with little training data. Training
large-scale pretrained language models (PLMs) has incurred significant cost,
but utilizing PLM-based few-shot learners is still challenging due to their
enormous size. This work focuses on a crucial question: How to make effective
use of these few-shot learners? We propose LMTurk, a novel approach that treats
few-shot learners as crowdsourcing workers. The rationale is that crowdsourcing
workers are in fact few-shot learners: They are shown a few illustrative
examples to learn about a task and then start annotating. LMTurk employs
few-shot learners built upon PLMs as workers. We show that the resulting
annotations can be utilized to train models that solve the task well and are
small enough to be deployable in practical scenarios. Altogether, LMTurk is an
important step towards making effective use of current PLM-based few-shot
learners.
- Abstract(参考訳): ハイパフォーマンスな少数ショット学習者、すなわち、少ないトレーニングデータでうまく機能するモデルの作成に多大な努力が払われている。
大規模事前訓練型言語モデル(PLM)の訓練には多大なコストがかかるが,PLMをベースとした少数ショット学習者の利用は,その巨大さから依然として困難である。
この研究は重要な問題に焦点を当てている。これらの数発の学習者を効果的に活用するにはどうすればよいのか?
少人数の学習者をクラウドソーシング労働者として扱う新しいアプローチであるLMTurkを提案する。
クラウドソーシングワーカーは、実際にわずかなショット学習者であり、タスクについて学び、注釈を付け始めるためのいくつかの例を示す。
LMTurkは、PLM上に構築された数発の学習者を労働者として採用している。
得られたアノテーションは、タスクをうまく解決し、実用的なシナリオでデプロイできるくらい小さいモデルを訓練するために利用できることを示す。
lmturkは、現在のplmベースのマイノリティ学習を効果的に活用するための重要なステップだ。
関連論文リスト
- TinyLLM: Learning a Small Student from Multiple Large Language Models [25.46572743887175]
TinyLLMは、複数の大きなLLMから小学生のLLMを学ぶための新しい知識蒸留パラダイムである。
そこで本研究では,文脈的に適切なシナリオにおいて,理科が正確で基礎が整っていることを保証するために,文脈内サンプル生成と教師強制型Chain-of-Thought戦略を導入する。
論文 参考訳(メタデータ) (2024-02-07T06:48:24Z) - Democratizing Reasoning Ability: Tailored Learning from Large Language
Model [97.4921006089966]
そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。
対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。
より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
論文 参考訳(メタデータ) (2023-10-20T07:50:10Z) - TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。
我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。
本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
論文 参考訳(メタデータ) (2023-07-10T08:15:40Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳(メタデータ) (2023-06-25T02:39:19Z) - Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use
Large Language Models for Text Production Tasks [12.723777984461693]
大型言語モデル(LLM)は注目すべきデータアノテータである。
クラウドソーシングは、人間のアノテーションを得るための重要で安価な方法であり、それ自体はLLMの影響を受けているかもしれない。
作業完了時には,33~46%がLLMを使用していた。
論文 参考訳(メタデータ) (2023-06-13T16:46:24Z) - WeLM: A Well-Read Pre-trained Language Model for Chinese [37.68378062625651]
WeLM: 中国語のためのよく読まれる事前学習型言語モデルを提案する。
WeLMには様々なドメインや言語に関する幅広い知識が備わっていることを示す。
論文 参考訳(メタデータ) (2022-09-21T14:05:30Z) - PERFECT: Prompt-free and Efficient Few-shot Learning with Language
Models [67.3725459417758]
PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。
そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。
幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
論文 参考訳(メタデータ) (2022-04-03T22:31:25Z) - One Teacher is Enough? Pre-trained Language Model Distillation from
Multiple Teachers [54.146208195806636]
本稿では,事前学習型言語モデル圧縮のためのMT-BERTという多言語知識蒸留フレームワークを提案する。
MT-BERTは、複数の教師PLMから高品質な学生モデルを訓練できることを示す。
PLMの圧縮におけるMT-BERTの有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2021-06-02T08:42:33Z) - Entailment as Few-Shot Learner [20.735607122810613]
プリトレーニング済みの小さな言語モデルを、より優れた少人数学習者に変える新しいアプローチを提案します。
このアプローチの重要なアイデアは、潜在的なNLPタスクをインクリメントに改質し、モデルをわずか8つの例で微調整することです。
18の標準NLPタスクの体系的評価は、このアプローチが既存のSOTA数ショット学習手法を12%改善し、500倍のモデルで競合的な数ショット性能が得られることを示している。
論文 参考訳(メタデータ) (2021-04-29T22:52:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。