論文の概要: Enhancing PLM Performance on Labour Market Tasks via Instruction-based
Finetuning and Prompt-tuning with Rules
- arxiv url: http://arxiv.org/abs/2308.16770v1
- Date: Thu, 31 Aug 2023 14:47:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 14:01:51.837586
- Title: Enhancing PLM Performance on Labour Market Tasks via Instruction-based
Finetuning and Prompt-tuning with Rules
- Title(参考訳): インストラクションベースファインタニングとルール付きプロンプトチューニングによる労働市場課題におけるPLMパフォーマンス向上
- Authors: Jarno Vrolijk and David Graus
- Abstract要約: 労働市場特化アプリケーションにおけるプレトレーニング言語モデル(PLM)の即時チューニングの有効性を示す。
この結果から,PTRや命令チューニングのようなコスト効率のよい手法が,PLMの性能を大幅に向上させる可能性が示唆された。
- 参考スコア(独自算出の注目度): 0.9790236766474201
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increased digitization of the labour market has given researchers,
educators, and companies the means to analyze and better understand the labour
market. However, labour market resources, although available in high volumes,
tend to be unstructured, and as such, research towards methodologies for the
identification, linking, and extraction of entities becomes more and more
important. Against the backdrop of this quest for better labour market
representations, resource constraints and the unavailability of large-scale
annotated data cause a reliance on human domain experts. We demonstrate the
effectiveness of prompt-based tuning of pre-trained language models (PLM) in
labour market specific applications. Our results indicate that cost-efficient
methods such as PTR and instruction tuning without exemplars can significantly
increase the performance of PLMs on downstream labour market applications
without introducing additional model layers, manual annotations, and data
augmentation.
- Abstract(参考訳): 労働市場のデジタル化が進み、研究者、教育者、企業が労働市場の分析と理解を深める手段となった。
しかし, 労働市場資源は, 大量生産でも非構造化されがちであり, 実体の識別, リンク, 抽出の方法論に関する研究がますます重要になっている。
労働市場の表現の改善というこの探求の背景に対して、資源の制約と大規模な注釈付きデータの有効性は、人間のドメインの専門家に頼らざるを得ない。
労働市場特化アプリケーションにおけるプレトレーニング言語モデル(PLM)の即時チューニングの有効性を実証する。
以上の結果から,ptrやインストラクションチューニングなどのコスト効率の高い手法は,モデルレイヤや手動アノテーション,データ拡張を必要とせずに,下流の労働市場アプリケーションにおけるplmの性能を大幅に向上させることができることが示唆された。
関連論文リスト
- Computational Job Market Analysis with Natural Language Processing [5.117211717291377]
本論文は,業務記述から関連情報を抽出する自然言語処理(NLP)技術について考察する。
問題の枠組みを定め,注釈付きデータを取得し,抽出手法を導入する。
私たちのコントリビューションには、ジョブ記述データセット、非識別データセット、効率的なモデルトレーニングのための新しいアクティブラーニングアルゴリズムが含まれています。
論文 参考訳(メタデータ) (2024-04-29T14:52:38Z) - WESE: Weak Exploration to Strong Exploitation for LLM Agents [95.6720931773781]
本稿では,オープンワールド対話型タスクの解法において,LLMエージェントの強化を目的としたWeak Exploration to Strong Exploitation (WESE)を提案する。
WESEは、探究と搾取のプロセスを分離し、費用対効果の弱いエージェントを用いて世界的知識の探索を行う。
次に、獲得した知識を格納し、タスク関連知識を抽出する知識グラフベースの戦略を導入する。
論文 参考訳(メタデータ) (2024-04-11T03:31:54Z) - Data Augmentation using LLMs: Data Perspectives, Learning Paradigms and
Challenges [49.039080454730566]
データ拡張(DA)は、モデルパフォーマンスを向上させるための重要なテクニックとして現れている。
本稿では,大規模言語モデル(LLM)がDAに与える影響について検討する。
論文 参考訳(メタデータ) (2024-03-05T14:11:54Z) - LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named
Entity Recognition [67.96794382040547]
$LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。
提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
論文 参考訳(メタデータ) (2024-02-22T14:19:56Z) - Retrieval-based Knowledge Transfer: An Effective Approach for Extreme
Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。
本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-24T07:58:20Z) - Mastering the Task of Open Information Extraction with Large Language
Models and Consistent Reasoning Environment [52.592199835286394]
オープン情報抽出(OIE)は、自然文から客観的な構造化された知識を抽出することを目的としている。
大規模言語モデル(LLM)は、テキスト内学習能力に優れています。
論文 参考訳(メタデータ) (2023-10-16T17:11:42Z) - Large Process Models: Business Process Management in the Age of
Generative AI [4.249492423406116]
大規模プロセスモデル(LPM)は、大規模言語モデルの相関力と、知識ベースシステムの分析精度と信頼性と、自動推論アプローチを組み合わせる。
LPMは、企業に対して、コンテキスト固有の(適切な)プロセスやその他のビジネスモデル、分析的なディープダイブ、改善のレコメンデーションを受け取ることを可能にする。
論文 参考訳(メタデータ) (2023-09-02T10:32:53Z) - Large Language Models at Work in China's Labor Market [4.19966590731593]
本稿では,中国労働市場における大規模言語モデル(LLM)の潜在的影響について考察する。
その結果,職業曝露と賃金水準・経験年金との正の相関が示唆された。
また、AI導入による生産性と雇用のトレードオフを定量化するために、産業の露出を取り入れた経済成長モデルも開発しています。
論文 参考訳(メタデータ) (2023-08-17T04:20:36Z) - "Generate" the Future of Work through AI: Empirical Evidence from Online
Labor Markets [0.0]
生成AIは、仕事の未来を再構成する可能性がある。
この研究は、労働市場における生成AIの深い影響を探求する限られた実証リポジトリに寄与する。
論文 参考訳(メタデータ) (2023-08-09T19:45:00Z) - What do LLMs Know about Financial Markets? A Case Study on Reddit Market
Sentiment Analysis [15.195505464654493]
ソーシャルメディアコンテンツに対する市場の感情分析には、金融市場とソーシャルメディアのジャーゴンの両方の知識が必要である。
我々のパイプラインは、大きな言語モデル(LLM)を用いたReddit投稿の弱い財務感情ラベルを生成する。
少数のプロンプトだけで、最終モデルは既存の教師付きモデルと同等に実行される。
論文 参考訳(メタデータ) (2022-12-21T19:11:19Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳(メタデータ) (2020-11-03T07:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。