論文の概要: OASIS: Online Sample Selection for Continual Visual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2506.02011v2
• Date: Thu, 09 Oct 2025 08:42:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 15:34:28.522257
• Title: OASIS: Online Sample Selection for Continual Visual Instruction Tuning
• Title（参考訳）: OASIS: 継続的なビジュアルインストラクションチューニングのためのオンラインサンプル選択
• Authors: Minjae Lee, Minhyuk Seo, Tingyu Qu, Tinne Tuytelaars, Jonghyun Choi,
• Abstract要約: 連続的インストラクションチューニング(CIT)のシナリオでは、新しいインストラクションチューニングデータがオンラインストリーミング形式で連続的に到着する。 データの選択はこのオーバーヘッドを軽減することができるが、既存の戦略はしばしば事前訓練された参照モデルに依存している。 最近の参照モデルなしオンラインサンプル選択手法はこれに対処するが、典型的にはバッチ毎に一定の数のサンプルを選択する。
• 参考スコア（独自算出の注目度）: 55.92362550389058
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In continual instruction tuning (CIT) scenarios, where new instruction tuning data continuously arrive in an online streaming manner, training delays from large-scale data significantly hinder real-time adaptation. Data selection can mitigate this overhead, but existing strategies often rely on pretrained reference models, which are impractical in CIT setups since future data are unknown. Recent reference model-free online sample selection methods address this, but typically select a fixed number of samples per batch (e.g., top-k), making them vulnerable to distribution shifts where informativeness varies across batches. To address these limitations, we propose OASIS, an adaptive online sample selection approach for CIT that (1) selects informative samples by estimating each sample's informativeness relative to all previously seen data, beyond batch-level constraints, and (2) minimizes informative redundancy of selected samples through iterative selection score updates. Experiments on various large foundation models show that OASIS, using only 25 percent of the data, achieves comparable performance to full-data training and outperforms the state-of-the-art sampling methods.
• Abstract（参考訳）: オンラインストリーミング方式で新しい命令チューニングデータが連続的に到着する連続的命令チューニング(CIT)のシナリオでは、大規模データからのトレーニング遅延がリアルタイム適応を著しく妨げている。 データの選択はこのオーバーヘッドを軽減することができるが、既存の戦略はしばしば事前訓練された参照モデルに依存している。 最近の参照モデルなしオンラインサンプル選択手法ではこの問題に対処するが、通常、バッチ毎に一定の数のサンプル(トップ-kなど)を選択する。 これらの制約に対処するため,本論文では,(1)前述したすべてのデータに対して,各サンプルの情報量から情報量の推定を行い,(2)反復的選択スコア更新により,選択したサンプルの情報冗長性を最小化する,CITの適応型オンラインサンプル選択手法であるOASISを提案する。 さまざまな大規模な基盤モデルの実験により、OASISはデータの25%しか使用していないが、完全なデータトレーニングと同等のパフォーマンスを達成し、最先端のサンプリング手法より優れていることが示された。

関連論文リスト

• T-SHIRT: Token-Selective Hierarchical Data Selection for Instruction Tuning [5.963754140027611]
  Token-Selective HIeRarchical Data Selection for Instruction Tuning (T-SHIRT)は、新しいデータ選択フレームワークである。 我々は、キュレートされたデータセットでチューニングされたモデルが、大規模データセット全体においてトレーニングされたモデルよりも優れていることを実証した。
  論文  参考訳（メタデータ） (2025-06-02T04:59:17Z)
• MLLM-Selector: Necessity and Diversity-driven High-Value Data Selection for Enhanced Visual Instruction Tuning [69.7347209018861]
  視覚的インストラクションのチューニングに有用なデータを自動的に識別するMLLM-Selectorを提案する。 モデル性能を向上させるために,VITデータプールの各サンプルの必要なスコアを算出し,サンプルのピボットを同定する。 以上の結果から,データ選択における必要条件と多様性の混合の重要性が指摘され,MLLMセレクタの創出につながった。
  論文  参考訳（メタデータ） (2025-03-26T12:42:37Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Your Vision-Language Model Itself Is a Strong Filter: Towards High-Quality Instruction Tuning with Data Selection [59.11430077029321]
  視覚言語モデル(VLM)のための新しいデータセット選択手法であるSelf-Filterを導入する。 第1段階では、VLMと共同で学習する訓練指導の難しさを評価するためのスコアリングネットワークを考案する。 第2段階では、トレーニングされたスコアネットを使用して、各命令の難易度を測定し、最も難しいサンプルを選択し、類似したサンプルをペナルティ化し、多様性を促進する。
  論文  参考訳（メタデータ） (2024-02-19T20:08:48Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• AdaSelection: Accelerating Deep Learning Training through Data Subsampling [27.46630703428186]
  適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。 業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-06-19T07:01:28Z)
• A Gradient-based Approach for Online Robust Deep Neural Network Training with Noisy Labels [27.7867122240632]
  本稿では,雑音ラベルのオンライン選択を可能にする新しい手法を提案する。 オンライングラディエントベースの選択選択(OGRS)は、パラメータ設定を変更することなく、さまざまなクリーン比を持つデータセットから更新するステップによって、クリーンサンプルを自動的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-08T08:57:06Z)
• Classifier Transfer with Data Selection Strategies for Online Support Vector Machine Classification with Class Imbalance [1.2599533416395767]
  我々は、格納されたトレーニングデータのサイズを制限するデータ選択戦略に焦点を当てる。 データ選択基準の正しい組み合わせを用いることで、分類器を適応させ、性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-10T02:36:20Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。