論文の概要: LMTurk: Few-Shot Learners as Crowdsourcing Workers

• arxiv url: http://arxiv.org/abs/2112.07522v1
• Date: Tue, 14 Dec 2021 16:34:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 19:27:59.066113
• Title: LMTurk: Few-Shot Learners as Crowdsourcing Workers
• Title（参考訳）: LMTurk: クラウドソーシングワーカーとして学ぶ人はほとんどいない
• Authors: Mengjie Zhao, Fei Mi, Yasheng Wang, Minglei Li, Xin Jiang, Qun Liu, Hinrich Sch\"utze
• Abstract要約: LMTurkは、少人数の学習者をクラウドソーシングワーカーとして扱う新しいアプローチである。 得られたアノテーションは、タスクをうまく解決するモデルをトレーニングするために利用できることを示す。
• 参考スコア（独自算出の注目度）: 42.53432089815734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vast efforts have been devoted to creating high-performance few-shot learners, i.e., models that perform well with little training data. Training large-scale pretrained language models (PLMs) has incurred significant cost, but utilizing PLM-based few-shot learners is still challenging due to their enormous size. This work focuses on a crucial question: How to make effective use of these few-shot learners? We propose LMTurk, a novel approach that treats few-shot learners as crowdsourcing workers. The rationale is that crowdsourcing workers are in fact few-shot learners: They are shown a few illustrative examples to learn about a task and then start annotating. LMTurk employs few-shot learners built upon PLMs as workers. We show that the resulting annotations can be utilized to train models that solve the task well and are small enough to be deployable in practical scenarios. Altogether, LMTurk is an important step towards making effective use of current PLM-based few-shot learners.
• Abstract（参考訳）: ハイパフォーマンスな少数ショット学習者、すなわち、少ないトレーニングデータでうまく機能するモデルの作成に多大な努力が払われている。 大規模事前訓練型言語モデル(PLM)の訓練には多大なコストがかかるが,PLMをベースとした少数ショット学習者の利用は,その巨大さから依然として困難である。 この研究は重要な問題に焦点を当てている。これらの数発の学習者を効果的に活用するにはどうすればよいのか? 少人数の学習者をクラウドソーシング労働者として扱う新しいアプローチであるLMTurkを提案する。 クラウドソーシングワーカーは、実際にわずかなショット学習者であり、タスクについて学び、注釈を付け始めるためのいくつかの例を示す。 LMTurkは、PLM上に構築された数発の学習者を労働者として採用している。 得られたアノテーションは、タスクをうまく解決し、実用的なシナリオでデプロイできるくらい小さいモデルを訓練するために利用できることを示す。 lmturkは、現在のplmベースのマイノリティ学習を効果的に活用するための重要なステップだ。

関連論文リスト

• MiniPLM: Knowledge Distillation for Pre-Training Language Models [109.83741809808483]
  MiniPLMは、学生言語モデルを事前学習するためのKDフレームワークである。 効率性のために、MiniPLMはオフラインの教師LM推論を実行し、複数の学生LMに対するKDを訓練時間のコストを伴わずに行えるようにした。 柔軟性のために、MiniPLMはトレーニングコーパスのみで動作し、モデルファミリ間のKDを可能にする。
  論文  参考訳（メタデータ） (2024-10-22T17:40:32Z)
• APE: Active Learning-based Tooling for Finding Informative Few-shot Examples for LLM-based Entity Matching [14.113933201562157]
  このデモでは、APE(Active Prompt Engineering)と呼ばれるループ型ツールを紹介します。 APEは人間のフィードバックの最もあいまいな例を反復的に選択します。
  論文  参考訳（メタデータ） (2024-07-29T22:22:50Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• Beyond Answers: Transferring Reasoning Capabilities to Smaller LLMs Using Multi-Teacher Knowledge Distillation [23.736611338497244]
  TinyLLMは、複数の大規模LLMから小学生のLLMを学ぶための新しい知識蒸留パラダイムである。 そこで本研究では,文脈的に適切なシナリオにおいて,理科が正確で基礎が整っていることを保証するために,文脈内サンプル生成と教師強制型Chain-of-Thought戦略を導入する。 その結果,TinyLLMはモデルサイズがかなり小さいにもかかわらず,大きなLLMよりも優れていた。
  論文  参考訳（メタデータ） (2024-02-07T06:48:24Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks [12.723777984461693]
  大型言語モデル(LLM)は注目すべきデータアノテータである。 クラウドソーシングは、人間のアノテーションを得るための重要で安価な方法であり、それ自体はLLMの影響を受けているかもしれない。 作業完了時には,33～46%がLLMを使用していた。
  論文  参考訳（メタデータ） (2023-06-13T16:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。