論文の概要: Efficient slot labelling

• arxiv url: http://arxiv.org/abs/2401.09343v1
• Date: Wed, 17 Jan 2024 17:08:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 15:13:42.676842
• Title: Efficient slot labelling
• Title（参考訳）: 効率的なスロットラベリング
• Authors: Vladimir Vlasov
• Abstract要約: スロットラベリングは対話システムにおいて不可欠な要素であり、ユーザのターン毎に重要な引数を見つけることを目的としている。 一般的なアプローチはBERTやRoBERTaのような大規模な事前学習言語モデル(PLM)であるが、高い計算要求や事前学習データへの依存といった課題に直面している。 そこで本研究では,従来のPLM手法と同等以上の性能を示す軽量な手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Slot labelling is an essential component of any dialogue system, aiming to find important arguments in every user turn. Common approaches involve large pre-trained language models (PLMs) like BERT or RoBERTa, but they face challenges such as high computational requirements and dependence on pre-training data. In this work, we propose a lightweight method which performs on par or better than the state-of-the-art PLM-based methods, while having almost 10x less trainable parameters. This makes it especially applicable for real-life industry scenarios.
• Abstract（参考訳）: スロットラベリングは対話システムにおいて不可欠な要素であり、ユーザのターン毎に重要な引数を見つけることを目的としている。 一般的なアプローチはBERTやRoBERTaのような大規模な事前学習言語モデル(PLM)であるが、高い計算要求や事前学習データへの依存といった課題に直面している。 そこで本研究では,従来のPLM法と同等以上の性能を示す軽量な手法を提案する。 これは、現実の産業シナリオに特に当てはまる。

関連論文リスト

• Generative Context Distillation [48.91617280112579]
  Generative Context Distillation (GCD) は、ジョイントトレーニングアプローチを採用した軽量なプロンプト内在化手法である。 エージェントベースのアプリケーションシナリオにおいて,このアプローチが複雑なプロンプトを効果的に内部化することを示す。
  論文  参考訳（メタデータ） (2024-11-24T17:32:20Z)
• Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
  価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。 現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。 本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-07T21:36:52Z)
• Personalized LoRA for Human-Centered Text Understanding [15.704545145736676]
  HCTUタスクのためのプラグイン・アンド・プレイ・フレームワークを備えたパーソナライズされたLoRA(PLoRA)を紹介する。 PLORAは、PLMに効果的で、パラメータ効率が高く、動的にデプロイする。 4つのベンチマークデータセットを用いて行った実験により,提案手法は実時間/実時間/ゼロショットの学習シナリオにおいて,既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-10T13:04:54Z)
• Making Large Language Models Better Data Creators [22.0882632635255]
  大規模言語モデル(LLM)はNLPの最先端を著しく進歩させた。 ダウンストリームアプリケーションへのデプロイは、コスト、応答性、コントロール、プライバシとセキュリティに関する懸念のため、依然として難しい。 単一フォーマットの例のみを必要とする統一データ生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-10-31T01:08:34Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。