論文の概要: Enhancing PLM Performance on Labour Market Tasks via Instruction-based Finetuning and Prompt-tuning with Rules

• arxiv url: http://arxiv.org/abs/2308.16770v1
• Date: Thu, 31 Aug 2023 14:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 14:01:51.837586
• Title: Enhancing PLM Performance on Labour Market Tasks via Instruction-based Finetuning and Prompt-tuning with Rules
• Title（参考訳）: インストラクションベースファインタニングとルール付きプロンプトチューニングによる労働市場課題におけるPLMパフォーマンス向上
• Authors: Jarno Vrolijk and David Graus
• Abstract要約: 労働市場特化アプリケーションにおけるプレトレーニング言語モデル(PLM)の即時チューニングの有効性を示す。 この結果から,PTRや命令チューニングのようなコスト効率のよい手法が,PLMの性能を大幅に向上させる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.9790236766474201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increased digitization of the labour market has given researchers, educators, and companies the means to analyze and better understand the labour market. However, labour market resources, although available in high volumes, tend to be unstructured, and as such, research towards methodologies for the identification, linking, and extraction of entities becomes more and more important. Against the backdrop of this quest for better labour market representations, resource constraints and the unavailability of large-scale annotated data cause a reliance on human domain experts. We demonstrate the effectiveness of prompt-based tuning of pre-trained language models (PLM) in labour market specific applications. Our results indicate that cost-efficient methods such as PTR and instruction tuning without exemplars can significantly increase the performance of PLMs on downstream labour market applications without introducing additional model layers, manual annotations, and data augmentation.
• Abstract（参考訳）: 労働市場のデジタル化が進み、研究者、教育者、企業が労働市場の分析と理解を深める手段となった。 しかし, 労働市場資源は, 大量生産でも非構造化されがちであり, 実体の識別, リンク, 抽出の方法論に関する研究がますます重要になっている。 労働市場の表現の改善というこの探求の背景に対して、資源の制約と大規模な注釈付きデータの有効性は、人間のドメインの専門家に頼らざるを得ない。 労働市場特化アプリケーションにおけるプレトレーニング言語モデル(PLM)の即時チューニングの有効性を実証する。 以上の結果から,ptrやインストラクションチューニングなどのコスト効率の高い手法は,モデルレイヤや手動アノテーション,データ拡張を必要とせずに,下流の労働市場アプリケーションにおけるplmの性能を大幅に向上させることができることが示唆された。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Comparative Analysis of Encoder-Based NER and Large Language Models for Skill Extraction from Russian Job Vacancies [0.0]
  本研究では,エンコーダとLarge Language Models(LLMs)を併用した名前付きエンティティ認識手法を比較し,ロシアの職種からスキルを抽出する。 その結果、従来のNERモデル、特にDeepPavlov RuBERT NERは、精度、精度、リコール、推測時間など、様々な指標でLLMを上回ります。 この研究は、自然言語処理(NLP)の分野と労働市場、特に非英語の文脈におけるその応用に寄与する。
  論文  参考訳（メタデータ） (2024-07-29T09:08:40Z)
• LLM-Empowered State Representation for Reinforcement Learning [64.3351150030341]
  強化学習における状態表現はしばしば重要なタスク関連の詳細を省略する。 LLMを用いたタスク関連状態表現を自律的に生成する新しい手法であるLESR(LLM-Empowered State Representation)を提案する。 LESRは高いサンプル効率を示し、ムジョコタスクの累積報酬の29%、ジム・ロボティクスタスクの成功率の30%で最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-07-18T07:47:51Z)
• What Teaches Robots to Walk, Teaches Them to Trade too -- Regime Adaptive Execution using Informed Data and LLMs [1.6317061277457001]
  我々は、事前学習されたLLM(いわゆる「プライベート情報」)の世界知識を活用し、本質的な自然市場報酬を用いて動的に適応する革新的なアプローチを導入する。 その結果,金融市場の体制変化に適応する上で,本手法の有効性が実証された。 提案したアルゴリズムフレームワークは,既存の (FLARE) ベンチマークのストックモーメント (SM) タスクにおいて,最高の性能のSOTA LLMモデルよりも15%以上の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-06-20T00:17:28Z)
• Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models [58.58594658683919]
  大規模マルチモーダルモデル (LMM) は、様々な研究課題において変換可能性を示している。 以上の結果から,LMMはゼロショット学習,解釈可能性,未修正入力の処理に長所があることが示唆された。 本稿では,目標外予測問題を効果的に緩和するChain-of-Thought拡張プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T16:26:56Z)
• Computational Job Market Analysis with Natural Language Processing [5.117211717291377]
  本論文は,業務記述から関連情報を抽出する自然言語処理(NLP)技術について考察する。 問題の枠組みを定め,注釈付きデータを取得し,抽出手法を導入する。 私たちのコントリビューションには、ジョブ記述データセット、非識別データセット、効率的なモデルトレーニングのための新しいアクティブラーニングアルゴリズムが含まれています。
  論文  参考訳（メタデータ） (2024-04-29T14:52:38Z)
• LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition [67.96794382040547]
  $LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。 提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
  論文  参考訳（メタデータ） (2024-02-22T14:19:56Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Large Process Models: Business Process Management in the Age of Generative AI [4.249492423406116]
  大規模プロセスモデル(LPM)は、大規模言語モデルの相関力と、知識ベースシステムの分析精度と信頼性と、自動推論アプローチを組み合わせる。 LPMは、企業に対して、コンテキスト固有の(適切な)プロセスやその他のビジネスモデル、分析的なディープダイブ、改善のレコメンデーションを受け取ることを可能にする。
  論文  参考訳（メタデータ） (2023-09-02T10:32:53Z)
• What do LLMs Know about Financial Markets? A Case Study on Reddit Market Sentiment Analysis [15.195505464654493]
  ソーシャルメディアコンテンツに対する市場の感情分析には、金融市場とソーシャルメディアのジャーゴンの両方の知識が必要である。 我々のパイプラインは、大きな言語モデル(LLM)を用いたReddit投稿の弱い財務感情ラベルを生成する。 少数のプロンプトだけで、最終モデルは既存の教師付きモデルと同等に実行される。
  論文  参考訳（メタデータ） (2022-12-21T19:11:19Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。