論文の概要: Once-For-All: A Train-Once and Select-Anytime Framework for Multimodal Instruction Tuning

• arxiv url: http://arxiv.org/abs/2605.26761v1
• Date: Tue, 26 May 2026 09:31:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.792513
• Title: Once-For-All: A Train-Once and Select-Anytime Framework for Multimodal Instruction Tuning
• Title（参考訳）: once-For-All:マルチモーダルインストラクションチューニングのためのTrain-OnceとSelect-Anytimeフレームワーク
• Abstract要約: 我々は、再利用可能なセレクタを一度トレーニングし、再計算なしで任意のデータセットやモデルに適用するデータ選択フレームワークOFAを提案する。 OFAは凍ったCLIP空間でマルチモーダル命令をクラスタ化し、クラスタ構造から擬似ラベルを導き、ほんの数回だけ軽量セレクタを訓練する。 トレーニングが完了すると、凍結セレクタはデータセットとモデルスケールを直接転送する。
• 参考スコア（独自算出の注目度）: 5.733450405369182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal instruction tuning is the de facto recipe for adapting vision language models (VLMs), yet instruction data are highly redundant, making data selection critical for training efficiency. Existing methods derive selection signals from a specific model or dataset, so whenever the target model or candidate pool changes, the criteria must be recomputed from scratch at substantial cost. To address this, we propose OFA, a data selection framework that trains a reusable selector once and applies it to any dataset or model without recomputation. OFA clusters multimodal instructions in a frozen CLIP space, derives pseudo labels from the cluster structure, and trains a lightweight selector for only a few epochs; samples on which this selector is least confident are selected as the most informative. Once trained, the frozen selector transfers directly across datasets and model scales. The selector is trained once on LLaVA-665K and applied both to LLaVA-665K itself and, without any retraining, to the unseen Vision-Flan-186K. Selecting only 15% of the data, OFA achieves 98.3% of full data performance across 10 downstream benchmarks; on the smaller Vision-Flan-186K, the transferred selector surpasses full data training by 10.6%, confirming that the learned signal generalizes to datasets never seen during selector training. The same selected subsets benefit VLMs at both Qwen2.5-VL-3B and LLaVA-v1.5-7B without per model recomputation, decoupling selection from the target model. These results demonstrate that a single, transferable selector provides an effective and reusable solution for efficient multimodal instruction tuning.
• Abstract（参考訳）: マルチモーダル・インストラクション・チューニングは視覚言語モデル(VLM)を適用するためのデファクト・レシピである。 既存の方法は特定のモデルやデータセットから選択信号を取得するため、ターゲットモデルや候補プールが変化するたびに、その基準を相当なコストでスクラッチから再計算する必要がある。 これを解決するために、再利用可能なセレクタを一度トレーニングし、再計算せずに任意のデータセットやモデルに適用するデータ選択フレームワークOFAを提案する。 OFAは凍ったCLIP空間でマルチモーダル命令をクラスタ化し、クラスタ構造から擬似ラベルを導き、いくつかのエポックで軽量セレクタを訓練する。 トレーニングが完了すると、凍結セレクタはデータセットとモデルスケールを直接転送する。 セレクターは一度はLLaVA-665Kで訓練され、LLaVA-665K自体にも再訓練することなく、目に見えないビジョン・フラン-186Kにも適用された。 送信されたセレクタは10の下流ベンチマークで98.3%の完全なデータ性能を達成し、Vision-Flan-186Kでは、全データトレーニングを10.6%越え、学習信号がセレクタトレーニング中に見られないデータセットに一般化されることを確認する。 同じ選択されたサブセットはQwen2.5-VL-3BとLLaVA-v1.5-7Bの両方でVLMの恩恵を受ける。 これらの結果から,効率的なマルチモーダル命令チューニングのための効率よく再利用可能な1つのセレクタが得られた。

関連論文リスト

• DOSE: Data Selection for Multi-Modal LLMs via Off-the-Shelf Models [43.094426671099]
  目標データを見たことのない市販の事前訓練モデルを用いて,タスク固有のトレーニングを伴わずに,より大規模で強力なマルチモーダルモデルのトレーニングサンプルを選択することができるかを検討する。 共同品質アライメント分布を構築し, 適応重み付きサンプリングを適用して, 長期の多様性を維持しつつ, 情報的サンプルを選択する。 このアプローチはデータの多様性を高め、DOSEでフィルタされたデータでトレーニングされたモデルが、標準のVQAおよび数学ベンチマークでトレーニングされたデータセットでトレーニングされたモデルと一致するか、あるいは超えるようにする。
  論文  参考訳（メタデータ） (2026-04-18T12:41:06Z)
• ScalSelect: Scalable Training-Free Multimodal Data Selection for Efficient Visual Instruction Tuning [18.989158560585675]
  大規模データセットのトレーニングは、計算コストが高く、データの冗長性のために非効率である。 ScalSelectは、線形時間複雑性を持つ訓練不要なマルチモーダルデータ選択法である。 ScalSelectはデータセット全体のトレーニングパフォーマンスの97.5%以上を16%のデータで達成し、一部の設定ではフルデータトレーニングよりも優れています。
  論文  参考訳（メタデータ） (2026-02-12T06:38:49Z)
• MLLM-Selector: Necessity and Diversity-driven High-Value Data Selection for Enhanced Visual Instruction Tuning [69.7347209018861]
  視覚的インストラクションのチューニングに有用なデータを自動的に識別するMLLM-Selectorを提案する。 モデル性能を向上させるために,VITデータプールの各サンプルの必要なスコアを算出し,サンプルのピボットを同定する。 以上の結果から,データ選択における必要条件と多様性の混合の重要性が指摘され,MLLMセレクタの創出につながった。
  論文  参考訳（メタデータ） (2025-03-26T12:42:37Z)
• Large-Scale Data Selection for Instruction Tuning [20.45142921023614]
  命令チューニングのためのデータ選択アプローチは、通常、小さなプールから小さなデータセットを選択することでテストされる。 しかし、一般的なインストラクションチューニングモデルでは、数十万から数百万のサンプルをトレーニングし、さらに大きなデータプールからサンプリングすることが多い。 この設定では,最近提案された多くの手法はランダムな選択に欠けており,さらに大きなデータプールへのアクセスを与えられると,性能が低下することさえ示している。 表現に基づくデータ選択の変種(RDS+)は、テストされたすべての設定において、より複雑なメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-03-03T18:37:26Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Your Vision-Language Model Itself Is a Strong Filter: Towards High-Quality Instruction Tuning with Data Selection [59.11430077029321]
  視覚言語モデル(VLM)のための新しいデータセット選択手法であるSelf-Filterを導入する。 第1段階では、VLMと共同で学習する訓練指導の難しさを評価するためのスコアリングネットワークを考案する。 第2段階では、トレーニングされたスコアネットを使用して、各命令の難易度を測定し、最も難しいサンプルを選択し、類似したサンプルをペナルティ化し、多様性を促進する。
  論文  参考訳（メタデータ） (2024-02-19T20:08:48Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。