論文の概要: Maximizing V-information for Pre-training Superior Foundation Models
- arxiv url: http://arxiv.org/abs/2408.07107v1
- Date: Tue, 13 Aug 2024 10:28:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 15:07:25.879703
- Title: Maximizing V-information for Pre-training Superior Foundation Models
- Title(参考訳): 事前学習型高次基礎モデルのためのV情報の最大化
- Authors: Wenxuan Yang, Weimin Tan, Hanyu Zhang, Bo Yan,
- Abstract要約: 大規模データセットの事前トレーニング基盤モデルは、例外的なパフォーマンスを示している。
最近の研究では、事前学習データの増加がモデル性能の向上につながるかどうかが疑問視されている。
V情報の最大化のための最適データ効率学習法を開発した。
- 参考スコア(独自算出の注目度): 14.78688545049181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-training foundation models on large-scale datasets demonstrates exceptional performance. However, recent research questions this traditional notion, exploring whether an increase in pre-training data always leads to enhanced model performance. To address this issue, data-effective learning approaches have been introduced. However, current methods in this area lack a clear standard for sample selection. Our experiments reveal that by maximizing V-information, sample selection can be framed as an optimization problem, enabling effective improvement in model performance even with fewer samples. Under this guidance, we develop an optimal data-effective learning method (OptiDEL) to maximize V-information. The OptiDEL method generates hard samples to achieve or even exceed the performance of models trained on the full dataset while using substantially less data. We compare the OptiDEL method with state-of-the-art approaches finding that OptiDEL consistently outperforms existing approaches across different datasets, with foundation models trained on only 5% of the pre-training data surpassing the performance of those trained on the full dataset.
- Abstract(参考訳): 大規模データセットの事前トレーニング基盤モデルは、例外的なパフォーマンスを示す。
しかし、最近の研究では、事前学習データの増加がモデル性能の向上につながるかどうかという従来の考え方に疑問が呈されている。
この問題に対処するため,データ効率のよい学習手法が導入された。
しかし、この領域の現在の手法では、サンプル選択の明確な標準が欠落している。
実験の結果, V情報の最大化により, サンプル選択を最適化問題とみなすことができ, より少ないサンプルであっても, モデル性能を効果的に向上させることができることがわかった。
本稿では,V-information を最大化する最適なデータ効率学習法 (OptiDEL) を提案する。
OptiDEL法は、データ量を大幅に減らしながら、完全なデータセットでトレーニングされたモデルの性能を達成または超過するためのハードサンプルを生成する。
我々はOptiDEL法と最先端のアプローチを比較し、OptiDELはさまざまなデータセットで既存のアプローチを一貫して上回り、トレーニング済みデータの5%しかトレーニングされていない基礎モデルは、フルデータセットでトレーニングされたデータのパフォーマンスを上回ります。
関連論文リスト
- Data Shapley in One Training Run [88.59484417202454]
Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。
既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。
本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
論文 参考訳(メタデータ) (2024-06-16T17:09:24Z) - MATES: Model-Aware Data Selection for Efficient Pretraining with Data Influence Models [16.654859430784825]
データ影響モデル(MATES)を用いたモデル認識データ選択について紹介する。
事前学習モデルを局所的に探索することにより収集したオラクルデータ嗜好信号を近似するために、小さなデータの影響モデルを微調整する。
PythiaとC4データセットの実験では、MATESが広範囲な下流タスクでランダムなデータ選択を著しく上回っていることが示されている。
論文 参考訳(メタデータ) (2024-06-10T06:27:42Z) - Rethinking Overlooked Aspects in Vision-Language Models [32.525916879333145]
近年の視覚言語モデル(LVLM)の進歩は顕著である。
最近の研究は、モデルの性能を向上させるために、事前学習と指導のチューニングデータの導入に重点を置いている。
本稿では,事前学習におけるデータ効率の非無視的な側面と,トレーニングデータセットの選択過程について述べる。
論文 参考訳(メタデータ) (2024-05-20T07:53:41Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳(メタデータ) (2024-02-15T02:27:57Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳(メタデータ) (2024-01-23T17:22:00Z) - Functional Graphical Models: Structure Enables Offline Data-Driven
Optimization [121.57202302457135]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-08T22:33:14Z) - Phased Data Augmentation for Training a Likelihood-Based Generative Model with Limited Data [0.0]
生成モデルは現実的なイメージの作成に優れていますが、トレーニングのための広範なデータセットに依存しているため、大きな課題があります。
現在のデータ効率の手法はGANアーキテクチャに重点を置いており、他の生成モデルの訓練にギャップを残している。
位相データ拡張(phased data augmentation)は、このギャップに対処する新しい手法であり、データ分散に固有の変更を加えることなく、限られたデータシナリオでのトレーニングを最適化する。
論文 参考訳(メタデータ) (2023-05-22T03:38:59Z) - Accelerating Dataset Distillation via Model Augmentation [41.3027484667024]
本研究では,初期モデルとパラメータを用いた2つのモデル拡張手法を提案し,学習コストを大幅に削減した情報合成集合を学習する。
提案手法は,最先端の手法と同等の性能で,最大20倍の高速化を実現している。
論文 参考訳(メタデータ) (2022-12-12T07:36:05Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳(メタデータ) (2021-11-24T06:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。