論文の概要: ProSwitch: Knowledge-Guided Instruction Tuning to Generate Professional and Non-Professional Styled Text
- arxiv url: http://arxiv.org/abs/2403.09131v3
- Date: Tue, 16 Apr 2024 03:31:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 22:36:28.820598
- Title: ProSwitch: Knowledge-Guided Instruction Tuning to Generate Professional and Non-Professional Styled Text
- Title(参考訳): ProSwitch: 専門的および非専門的なスタイルのテキストを生成するための知識ガイド型インストラクションチューニング
- Authors: Chang Zong, Yuyan Chen, Weiming Lu, Jian Shao, Yueting Zhuang,
- Abstract要約: 本研究は、テキストプロフェッショナル主義に焦点をあて、ProSwitchという新しい方法論を導入する。
ProSwitchは、知識誘導型インストラクションチューニングを通じて、プロフェッショナルと非プロフェッショナルの両方のレスポンスを生成できる言語モデルを備えている。
汎用言語モデルと特殊言語モデルの比較分析により,プロと非プロのテキスト生成の切り替えにおいて,本手法がベースラインを上回っていることが判明した。
- 参考スコア(独自算出の注目度): 41.58622429539048
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated efficacy in various linguistic applications, including text summarization and controlled text generation. However, studies into their capacity of switching between styles via fine-tuning remain underexplored. This study concentrates on textual professionalism and introduces a novel methodology, named ProSwitch, which equips a language model with the ability to produce both professional and non-professional responses through knowledge-guided instruction tuning. ProSwitch unfolds across three phases: data preparation for gathering domain knowledge and training corpus; instruction tuning for optimizing language models with multiple levels of instruction formats; and comprehensive evaluation for assessing the professionalism discrimination and reference-based quality of generated text. Comparative analysis of ProSwitch against both general and specialized language models reveals that our approach outperforms baselines in switching between professional and non-professional text generation.
- Abstract(参考訳): 大規模言語モデル(LLM)は、テキスト要約や制御されたテキスト生成など、様々な言語応用において有効であることを示す。
しかし、細調整によってスタイルを切り替える能力についての研究は、いまだに過小評価されている。
本研究は、テキストプロフェッショナル主義に焦点をあて、知識誘導型指導チューニングを通じて専門的・非専門的応答を生成できる言語モデルを備えたProSwitchという新しい方法論を導入する。
ProSwitchは、ドメイン知識とトレーニングコーパスを収集するためのデータ準備、複数のレベルの命令形式で言語モデルを最適化するための命令チューニング、生成したテキストのプロフェッショナル差別と参照ベースの品質を評価するための包括的な評価の3段階に展開する。
汎用言語モデルと特殊言語モデルの比較分析により,プロと非プロのテキスト生成の切り替えにおいて,本手法がベースラインを上回っていることが判明した。
関連論文リスト
- Mastering Text, Code and Math Simultaneously via Fusing Highly Specialized Language Models [93.92762966380793]
大規模言語モデル(LLM)は、3つのドメインすべてにまたがって高いパフォーマンスを同時に達成しようと試みている。
本稿では,すでに高度に特殊化されているモデルを融合する手法を提案する。
提案されているハウジングフレームワークであるUltraFuserは、すでに言語、コーディング、数学について十分に訓練されている3つの異なるスペシャリストで構成されている。
論文 参考訳(メタデータ) (2024-03-13T06:18:48Z) - PerPLM: Personalized Fine-tuning of Pretrained Language Models via
Writer-specific Intermediate Learning and Prompts [16.59511985633798]
事前訓練言語モデル(PLM)はコンテキストをキャプチャするための強力なツールである。
PLMは通常、様々な作家の間で広く使われるように訓練され、微調整されている。
本研究では, PLMの微調整を具体化することで, テキスト理解タスクの精度を向上させることを目的とする。
論文 参考訳(メタデータ) (2023-09-14T14:03:48Z) - Analysis of the Evolution of Advanced Transformer-Based Language Models:
Experiments on Opinion Mining [0.5735035463793008]
本稿では,最先端のトランスフォーマーに基づく言語モデルの意見マイニングにおける挙動について検討する。
私たちの比較研究は、フォーカスするアプローチに関して、プロダクションエンジニアがリードし、道を開く方法を示しています。
論文 参考訳(メタデータ) (2023-08-07T01:10:50Z) - GujiBERT and GujiGPT: Construction of Intelligent Information Processing
Foundation Language Models for Ancient Texts [11.289265479095956]
GujiBERTとGujiGPT言語モデルは、古代のテキストの知的情報処理に特化した基礎モデルである。
これらのモデルは、単純化された漢字と伝統的な漢字の両方を含む広範なデータセットで訓練されている。
これらのモデルは、公開データセットを使用して、さまざまなバリデーションタスクで例外的なパフォーマンスを示しています。
論文 参考訳(メタデータ) (2023-07-11T15:44:01Z) - Unified Text Structuralization with Instruction-tuned Language Models [28.869098023025753]
テキストから様々な構造を抽出する大規模言語モデル(LLM)を提案する。
実験により、様々な言語や知識のデータセット上で、言語モデルが他の最先端の手法と同等に動作できることが示されている。
論文 参考訳(メタデータ) (2023-03-27T07:39:05Z) - Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。
単言語,多言語,言語横断の3種類の実験を行った。
本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
論文 参考訳(メタデータ) (2022-04-19T16:23:07Z) - Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。
提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
論文 参考訳(メタデータ) (2021-09-02T16:05:24Z) - Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。
近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。
本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
論文 参考訳(メタデータ) (2021-01-20T17:54:47Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳(メタデータ) (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。