論文の概要: OASIS: Online Sample Selection for Continual Visual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2506.02011v1
• Date: Tue, 27 May 2025 20:32:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.781847
• Title: OASIS: Online Sample Selection for Continual Visual Instruction Tuning
• Title（参考訳）: OASIS: 継続的なビジュアルインストラクションチューニングのためのオンラインサンプル選択
• Authors: Minjae Lee, Minhyuk Seo, Tingyu Qu, Tinne Tuytelaars, Jonghyun Choi,
• Abstract要約: 視覚的インストラクションチューニングのための適応型オンラインサンプル選択手法を提案する。 OASISは、バッチ間の相対的な情報量に基づいて、バッチ毎に選択されたサンプルを動的に調整する。 データの25%しか使用せず、フルデータトレーニングに匹敵するパフォーマンスを達成し、最先端よりも優れています。
• 参考スコア（独自算出の注目度）: 42.60893812402742
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In continual visual instruction tuning (CVIT) scenarios, where multi-modal data continuously arrive in an online streaming manner, training delays from large-scale data significantly hinder real-time adaptation. While existing data selection strategies reduce training overheads, they rely on pre-trained reference models, which are impractical in CVIT setups due to unknown future data. Recent reference model-free online sample selection methods address this issue but typically select a fixed number of samples per batch (e.g., top-k), causing them to suffer from distribution shifts where informativeness varies across batches. To address these limitations, we propose OASIS, an adaptive online sample selection approach for CVIT that: (1) dynamically adjusts selected samples per batch based on relative inter-batch informativeness, and (2) minimizes redundancy of selected samples through iterative selection score updates. Empirical results across various MLLMs, such as LLaVA-1.5 and Qwen-VL-2.5, show that OASIS achieves comparable performance to full-data training using only 25% of the data and outperforms the state-of-the-art.
• Abstract（参考訳）: マルチモーダルデータが連続的にオンラインストリーミング方式で配信される連続的なビジュアルインストラクションチューニング(CVIT)のシナリオでは、大規模データからのトレーニング遅延がリアルタイム適応を著しく妨げている。 既存のデータ選択戦略はトレーニングのオーバーヘッドを減らすが、それらは訓練済みの参照モデルに依存している。 最近の参照モデルなしオンラインサンプル選択手法ではこの問題に対処するが、通常、バッチ毎に一定の数のサンプル(例:トップ-k)を選択する。 これらの制約に対処するために, CVIT の適応型オンラインサンプル選択手法 OASIS を提案する。(1) 相対的バッチ間情報量に基づいて, バッチ毎に選択されたサンプルを動的に調整し, (2) 反復的選択スコア更新により, 選択されたサンプルの冗長性を最小化する。 LLaVA-1.5やQwen-VL-2.5といったMLLMの実証的な結果から、OASISはデータの25%しか使用せず、最先端のトレーニングに匹敵するパフォーマンスを実現していることがわかる。

関連論文リスト

• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Your Vision-Language Model Itself Is a Strong Filter: Towards High-Quality Instruction Tuning with Data Selection [59.11430077029321]
  視覚言語モデル(VLM)のための新しいデータセット選択手法であるSelf-Filterを導入する。 第1段階では、VLMと共同で学習する訓練指導の難しさを評価するためのスコアリングネットワークを考案する。 第2段階では、トレーニングされたスコアネットを使用して、各命令の難易度を測定し、最も難しいサンプルを選択し、類似したサンプルをペナルティ化し、多様性を促進する。
  論文  参考訳（メタデータ） (2024-02-19T20:08:48Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• AdaSelection: Accelerating Deep Learning Training through Data Subsampling [27.46630703428186]
  適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。 業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-06-19T07:01:28Z)
• A Gradient-based Approach for Online Robust Deep Neural Network Training with Noisy Labels [27.7867122240632]
  本稿では,雑音ラベルのオンライン選択を可能にする新しい手法を提案する。 オンライングラディエントベースの選択選択(OGRS)は、パラメータ設定を変更することなく、さまざまなクリーン比を持つデータセットから更新するステップによって、クリーンサンプルを自動的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-08T08:57:06Z)
• Classifier Transfer with Data Selection Strategies for Online Support Vector Machine Classification with Class Imbalance [1.2599533416395767]
  我々は、格納されたトレーニングデータのサイズを制限するデータ選択戦略に焦点を当てる。 データ選択基準の正しい組み合わせを用いることで、分類器を適応させ、性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-10T02:36:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。