論文の概要: Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection
- arxiv url: http://arxiv.org/abs/2410.10636v1
- Date: Mon, 14 Oct 2024 15:48:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 20:25:02.391777
- Title: Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection
- Title（参考訳）: Adapt-$\infty$: 動的データ選択によるスケーラブルなマルチモーダルインストラクションチューニング
- Authors: Adyasha Maharana, Jaehong Yoon, Tianlong Chen, Mohit Bansal,
- Abstract要約: Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
- 参考スコア（独自算出の注目度）: 89.42023974249122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual instruction datasets from various distributors are released at different times and often contain a significant number of semantically redundant text-image pairs, depending on their task compositions (i.e., skills) or reference sources. This redundancy greatly limits the efficient deployment of lifelong adaptable multimodal large language models, hindering their ability to refine existing skills and acquire new competencies over time. To address this, we reframe the problem of Lifelong Instruction Tuning (LiIT) via data selection, where the model automatically selects beneficial samples to learn from earlier and new datasets based on the current state of acquired knowledge in the model. Based on empirical analyses that show that selecting the best data subset using a static importance measure is often ineffective for multi-task datasets with evolving distributions, we propose Adapt-$\infty$, a new multi-way and adaptive data selection approach that dynamically balances sample efficiency and effectiveness during LiIT. We construct pseudo-skill clusters by grouping gradient-based sample vectors. Next, we select the best-performing data selector for each skill cluster from a pool of selector experts, including our newly proposed scoring function, Image Grounding score. This data selector samples a subset of the most important samples from each skill cluster for training. To prevent the continuous increase in the size of the dataset pool during LiIT, which would result in excessive computation, we further introduce a cluster-wise permanent data pruning strategy to remove the most semantically redundant samples from each cluster, keeping computational requirements manageable. Training with samples selected by Adapt-$\infty$ alleviates catastrophic forgetting, especially for rare tasks, and promotes forward transfer across the continuum using only a fraction of the original datasets.
- Abstract（参考訳）: 様々なディストリビュータからの視覚的命令データセットは、異なるタイミングでリリースされ、多くの場合、タスク構成(例えば、スキル)や参照ソースに依存する、意味的に冗長なテキストイメージペアがかなりの数含まれている。
この冗長性は、生涯にわたって適応可能なマルチモーダルな大規模言語モデルの効率的な展開を著しく制限し、既存のスキルを洗練させ、時間とともに新たな能力を獲得する能力を妨げている。
そこでモデルでは,取得した知識の現在の状態に基づいて,より早いデータセットと新しいデータセットから学習する有用なサンプルを自動的に選択する。
静的な重要度尺度を用いて最適なデータサブセットを選択することは、分散が進化するマルチタスクデータセットではしばしば有効ではないことを示す経験的分析に基づいて、新しいマルチウェイおよび適応データ選択アプローチであるAdapt-$\infty$を提案し、LiIT中のサンプル効率と有効性を動的にバランスさせる。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
次に、新たに提案したスコアリング機能、画像グラウンドスコアを含むセレクタ専門家のプールから、各スキルクラスタ毎の最高のパフォーマンスデータセレクタを選択する。
このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
LiITにおけるデータセットプールのサイズの連続的な増加を防止するため,クラスタ単位の永続的なデータプルーニング戦略を導入し,各クラスタから最も意味論的に冗長なサンプルを取り除き,計算要件の管理を可能にする。
Adapt-$\infty$で選択されたサンプルを使用したトレーニングは、特に稀なタスクにおいて破滅的な忘れを軽減し、元のデータセットのごく一部を使用して連続体を横断する転送を促進する。
関連論文リスト
- A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。
データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。
より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-15T03:00:58Z) - Dataset Quantization with Active Learning based Adaptive Sampling [11.157462442942775]
また, 不均一なサンプル分布であっても, 性能維持が可能であることを示す。
サンプル選択を最適化するために,新しい能動的学習に基づく適応型サンプリング手法を提案する。
提案手法は,最先端のデータセット圧縮手法よりも優れている。
論文 参考訳（メタデータ） (2024-07-09T23:09:18Z) - Multi-Teacher Multi-Objective Meta-Learning for Zero-Shot Hyperspectral Band Selection [50.30291173608449]
ゼロショットハイパースペクトル帯選択のための新しい多目的メタラーニングネットワーク(M$3$BS)を提案する。
M$3$BSでは、データセットに依存しないベースを生成するために、一般化可能なグラフ畳み込みネットワーク(GCN)を構築している。
取得したメタ知識は、トレーニングや微調整なしに、直接見えないデータセットに転送することができる。
論文 参考訳（メタデータ） (2024-06-12T07:13:31Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳（メタデータ） (2024-02-06T19:18:04Z) - Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。
データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。
3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
論文 参考訳（メタデータ） (2023-11-14T14:10:40Z) - Towards Free Data Selection with General-Purpose Models [71.92151210413374]
望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。
アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。
FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
論文 参考訳（メタデータ） (2023-09-29T15:50:14Z) - Single-dataset Experts for Multi-dataset Question Answering [6.092171111087768]
複数のデータセットにネットワークをトレーニングして、新たなデータセットを一般化し、転送します。
我々のアプローチは、単一データセットの専門家の集合を用いて、マルチデータセットの質問応答をモデル化することである。
パラメータ警告に基づく単純な手法は、ゼロショットの一般化と少数ショットの転送性能の向上につながる。
論文 参考訳（メタデータ） (2021-09-28T17:08:22Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳（メタデータ） (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。