論文の概要: AnyTaskTune: Advanced Domain-Specific Solutions through Task-Fine-Tuning

• arxiv url: http://arxiv.org/abs/2407.07094v1
• Date: Tue, 9 Jul 2024 17:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 16:57:59.096414
• Title: AnyTaskTune: Advanced Domain-Specific Solutions through Task-Fine-Tuning
• Title（参考訳）: AnyTaskTune: Task-Fine-Tuningによる高度なドメイン特化ソリューション
• Authors: Jiaxi Cui, Wentao Zhang, Jing Tang, Xudong Tong, Zhenwei Zhang, Amie, Jing Wen, Rongsheng Wang, Pengfei Wu,
• Abstract要約: textbfAnyTaskTuneは、さまざまなドメイン固有のタスクでモデルパフォーマンスを高めるための、新しい微調整手法である。 金融,医療,法,心理学,消費者サービス,人的資源の領域から派生した20以上のサブタスクを対象とした実験を行った。 以上の結果から,textbfTask-Fine-Tune法を用いて微調整したモデルが,これらのタスクにおいて優れた性能を発揮するだけでなく,各領域で高い汎用性を持つモデルよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 22.208506419271043
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The pervasive deployment of Large Language Models-LLMs in various sectors often neglects the nuanced requirements of individuals and small organizations, who benefit more from models precisely tailored to their specific business contexts rather than those with broadly superior general capabilities. This work introduces \textbf{AnyTaskTune}, a novel fine-tuning methodology coined as \textbf{Task-Fine-Tune}, specifically developed to elevate model performance on a diverse array of domain-specific tasks. This method involves a meticulous process to identify and define targeted sub-tasks within a domain, followed by the creation of specialized enhancement datasets for fine-tuning, thereby optimizing task-specific model performance. We conducted comprehensive fine-tuning experiments not only in the legal domain for tasks such as keyword extraction and sentence prediction but across over twenty different sub-tasks derived from the domains of finance, healthcare, law, psychology, consumer services, and human resources. To substantiate our approach and facilitate community engagement, we will open-source these bilingual task datasets. Our findings demonstrate that models fine-tuned using the \textbf{Task-Fine-Tune} methodology not only achieve superior performance on these specific tasks but also significantly outperform models with higher general capabilities in their respective domains. Our work is publicly available at \url{https://github.com/PandaVT/DataTager}.
• Abstract（参考訳）: 様々な分野におけるLarge Language Models-LLMの広汎な展開は、個人や小規模組織の曖昧な要求を無視していることが多い。 この研究は、さまざまなドメイン固有のタスクのモデルパフォーマンスを高めるために特別に開発された、新しい微調整手法である \textbf{AnyTaskTune} を紹介する。 この方法は、ドメイン内のターゲットサブタスクを特定し、定義するための巧妙なプロセスを含み、その後、微調整のための特別な拡張データセットを作成し、タスク固有のモデルパフォーマンスを最適化する。 本研究は,キーワード抽出や文予測などのタスクの法的領域だけでなく,金融,医療,法,心理学,消費者サービス,人的資源といった分野から派生した20以上のサブタスクを対象に,総合的な微調整実験を行った。 このアプローチを実証し、コミュニティの関与を促進するため、これらのバイリンガルタスクデータセットをオープンソース化します。 提案手法は,これらのタスクにおいて優れた性能を発揮するだけでなく,各領域で高い汎用性を持つモデルよりも優れていた。 私たちの仕事は、 \url{https://github.com/PandaVT/DataTager}で公開されています。

関連論文リスト

• Task-agnostic Pre-training and Task-guided Fine-tuning for Versatile Diffusion Planner [12.360598915420255]
  textbfDiffusion textbfPlannerを学習する2段階フレームワークである textbfSODP を提案する。 事前学習段階では,マルチタスクトラジェクトリの多目的分布をモデル化し,一般的な計画能力を抽出する基礎拡散プランナを訓練する。 そして、下流タスクに対して、拡散プランナーを高速に洗練するために、タスク固有の報酬を伴うRLベースの微調整を採用する。
  論文  参考訳（メタデータ） (2024-09-30T05:05:37Z)
• BoRA: Bayesian Hierarchical Low-Rank Adaption for Multi-task Large Language Models [0.0]
  本稿では,マルチタスク大言語モデル(LLM)を微調整する新しい手法であるベイジアン階層型低ランク適応(BoRA)を紹介する。 BoRAは、グローバルな階層的事前を通じてタスクが情報を共有できるベイズ階層モデルを活用することでトレードオフに対処する。 実験の結果,BoRAは個々のモデルアプローチと統一モデルアプローチの両方に優れており,より難易度が低く,タスク間の一般化性が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-07-08T06:38:50Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
  我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。 我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。 提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T14:44:33Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation [80.18830380517753]
  我々は新しいタスク非依存蒸留フレームワーク XtremeDistilTransformers を開発した。 本研究は, 蒸留における複数のソースタスク, 拡張資源, モデルアーキテクチャの伝達可能性について検討する。
  論文  参考訳（メタデータ） (2021-06-08T17:49:33Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Modelling Latent Skills for Multitask Language Generation [15.126163032403811]
  マルチタスク条件言語生成のための生成モデルを提案する。 我々の指導的仮説は、共通の潜在スキルの集合が、多くの異なる言語生成タスクの根底にあるというものである。 このタスク埋め込み空間を潜在変数列列列モデルにおける潜在変数としてインスタンス化する。
  論文  参考訳（メタデータ） (2020-02-21T20:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。