論文の概要: Latent Traits and Cross-Task Transfer: Deconstructing Dataset Interactions in LLM Fine-tuning

• arxiv url: http://arxiv.org/abs/2509.13624v1
• Date: Wed, 17 Sep 2025 01:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.683979
• Title: Latent Traits and Cross-Task Transfer: Deconstructing Dataset Interactions in LLM Fine-tuning
• Title（参考訳）: LLMファインチューニングにおける遅延特性とクロスタスク転送:データセットインタラクションのデコンストラクション
• Authors: Shambhavi Krishna, Atharva Naik, Chaitali Agarwal, Sudharshan Govindan, Taesung Lee, Haw-Shiuan Chang,
• Abstract要約: 本稿では,タスク間相互作用を識別するために,移動学習行列の構築と次元削減を行う分析フレームワークを提案する。 我々は、潜伏能力(例えば、Reasoning、Sentiment Classification、NLU、Arithmetic)を特定するための10のモデルを訓練し、分析し、伝達学習の副作用を発見する。
• 参考スコア（独自算出の注目度）: 8.082936847467638
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models are increasingly deployed across diverse applications. This often includes tasks LLMs have not encountered during training. This implies that enumerating and obtaining the high-quality training data for all tasks is infeasible. Thus, we often need to rely on transfer learning using datasets with different characteristics, and anticipate out-of-distribution requests. Motivated by this practical need, we propose an analysis framework, building a transfer learning matrix and dimensionality reduction, to dissect these cross-task interactions. We train and analyze 10 models to identify latent abilities (e.g., Reasoning, Sentiment Classification, NLU, Arithmetic) and discover the side effects of the transfer learning. Our findings reveal that performance improvements often defy explanations based on surface-level dataset similarity or source data quality. Instead, hidden statistical factors of the source dataset, such as class distribution and generation length proclivities, alongside specific linguistic features, are actually more influential. This work offers insights into the complex dynamics of transfer learning, paving the way for more predictable and effective LLM adaptation.
• Abstract（参考訳）: 大規模な言語モデルは、様々なアプリケーションにまたがってデプロイされるようになっている。 これは、トレーニング中にLLMが遭遇していないタスクを含むことが多い。 これは、すべてのタスクの高品質なトレーニングデータの列挙と取得が不可能であることを意味する。 したがって、異なる特徴を持つデータセットを使用したトランスファーラーニングを頼りにし、アウト・オブ・ディストリビューションの要求を期待する必要があることが多い。 そこで本研究では,これらのタスク間の相互作用を識別するために,移動学習行列の構築と次元削減を行う分析フレームワークを提案する。 我々は、潜伏能力(例えば、Reasoning、Sentiment Classification、NLU、Arithmetic)を訓練し、分析し、伝達学習の副作用を発見する。 以上の結果から,表面レベルのデータセットの類似性やソースデータ品質に基づく説明が,性能改善に欠けることがしばしば明らかとなった。 代わりに、クラス分布や生成長確率などのソースデータセットの隠れた統計的要因は、特定の言語的特徴とともに、実際にはより影響力がある。 この研究は、伝達学習の複雑なダイナミクスに関する洞察を与え、より予測可能で効果的なLLM適応への道を開く。

関連論文リスト

• Understanding and Mitigating the Bias Inheritance in LLM-based Data Augmentation on Downstream Tasks [24.706895491806794]
  この研究は、バイアス継承を理解し、分析し、緩和する最初の体系的な研究である。 6種類のバイアスが、異なるバイアス比でどのように現れるかを分析する。 トークンベース,マスクベース,損失ベースの3つの緩和戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-06T15:20:58Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
  ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。 目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。 また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-20T20:26:23Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Probing transfer learning with a model of synthetic correlated datasets [11.53207294639557]
  トランスファーラーニングはニューラルネットワークのサンプル効率を大幅に向上させることができる。 我々は、データセット間の相関をモデル化するためのフレームワークとして、合成データの解決可能なモデルを再考する。 本研究では,本モデルが実データを用いた伝達学習の多彩な特徴を捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-06-09T22:15:41Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。