論文の概要: Towards Better Multi-task Learning: A Framework for Optimizing Dataset Combinations in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.11455v1
• Date: Mon, 16 Dec 2024 05:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:39.498725
• Title: Towards Better Multi-task Learning: A Framework for Optimizing Dataset Combinations in Large Language Models
• Title（参考訳）: マルチタスク学習の改善に向けて:大規模言語モデルにおけるデータセットの組み合わせを最適化するためのフレームワーク
• Authors: Zaifu Zhan, Rui Zhang,
• Abstract要約: ニューラルネットワークを利用して最適なデータセットの組み合わせを予測する新しいフレームワークを提案する。 このフレームワークは、モデル、データセット、ドメインに依存しないまま、選択を反復的に洗練し、効率を大幅に改善します。 提案手法は,人間の視点から見れば不成功に思えるタスクであっても,より優れた組み合わせを効果的に識別できることを実証する。
• 参考スコア（独自算出の注目度）: 6.3943701045072165
• License:
• Abstract: To efficiently select optimal dataset combinations for enhancing multi-task learning (MTL) performance in large language models, we proposed a novel framework that leverages a neural network to predict the best dataset combinations. The framework iteratively refines the selection, greatly improving efficiency, while being model-, dataset-, and domain-independent. Through experiments on 12 biomedical datasets across four tasks - named entity recognition, relation extraction, event extraction, and text classification-we demonstrate that our approach effectively identifies better combinations, even for tasks that may seem unpromising from a human perspective. This verifies that our framework provides a promising solution for maximizing MTL potential.
• Abstract（参考訳）: 大規模言語モデルにおけるマルチタスク学習(MTL)性能向上のための最適なデータセットの組み合わせを効率的に選択するために,ニューラルネットワークを利用して最適なデータセットの組み合わせを予測する新しいフレームワークを提案する。 このフレームワークは、モデル、データセット、ドメインに依存しないまま、選択を反復的に洗練し、効率を大幅に改善します。 生物医学的データセットを4つのタスク(エンティティ認識、関係抽出、イベント抽出、テキスト分類)で実験することで、我々のアプローチは、人間の視点からみられないと思われるタスクであっても、より優れた組み合わせを効果的に識別することを示した。 このことは、我々のフレームワークがMTLポテンシャルを最大化するための有望なソリューションであることを示す。

関連論文リスト

• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining [40.21546440726592]
  本稿では,大規模言語モデル(LLM)事前学習のための新しいマルチエージェント協調データ選択機構を提案する。 このフレームワークでは、各データ選択メソッドが独立したエージェントとして機能し、エージェントコンソールは、すべてのエージェントからの情報を動的に統合するように設計されている。
  論文  参考訳（メタデータ） (2024-10-10T16:45:28Z)
• MMREC: LLM Based Multi-Modal Recommender System [2.3113916776957635]
  本稿では,Large Language Models(LLM)とディープラーニング技術を活用して,レコメンデータシステムを強化する新しい手法を提案する。 提案フレームワークは,マルチモーダル情報処理を取り入れたレコメンデーションの精度と妥当性を,統一された潜在空間表現を用いて向上することを目的としている。
  論文  参考訳（メタデータ） (2024-08-08T04:31:29Z)
• CollectiveSFT: Scaling Large Language Models for Chinese Medical Benchmark with Collective Instructions in Healthcare [12.218718086529462]
  本研究は中国における総合医療ベンチマーク(CMB)に焦点を当てる。 私たちは、より大きなモデルに匹敵するスコアを得るために、より小さなベースモデルをトレーニングしました。 幅広い指導内容を統合することで,データ品質の不整合などの潜在的な問題に対処する。
  論文  参考訳（メタデータ） (2024-07-29T05:00:48Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Enhancing Multi-Objective Optimization through Machine Learning-Supported Multiphysics Simulation [1.6685829157403116]
  本稿では,訓練,自己最適化,自己組織的代理モデルのための方法論的枠組みを提案する。 シュロゲートモデルを比較的少量のデータで訓練し、基礎となるシミュレーションを正確に近似できることを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:52:50Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Greedy Modality Selection via Approximate Submodular Maximization [19.22947539760366]
  マルチモーダル学習は、異質な情報ソースを融合することを目的としたマルチモーダルデータからの学習を検討する。 メモリ制約のため、利用可能なすべてのモダリティを活用することが常に可能であるとは限らない。 本研究では,ある計算制約の下で最も情報的かつ補完的なモダリティを効率的に選択することを目的としたモダリティ選択について検討する。
  論文  参考訳（メタデータ） (2022-10-22T22:07:27Z)
• Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
  本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。 我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。 実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T19:03:10Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。