論文の概要: Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training

• arxiv url: http://arxiv.org/abs/2608.16927v1
• Date: Wed, 05 Aug 2026 04:40:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.978369
• Title: Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training
• Title（参考訳）: LLMポストトレーニングにおけるマニフォールド被覆とスパース特徴被覆による階層的データ選択
• Abstract要約: MASSは粗いセマンティックグルーピングのための高密度オートエンコーダを用いて低次元主多様体座標を学習する。 Vision FlanとLLaVA-CoTの実験によると、MASSは複数の予算で強いデータ選択ベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 36.73565681027731
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As supervised fine-tuning data continues to scale, selecting high-value subsets from large candidate pools is crucial for reducing training cost and improving model performance. Existing methods often measure diversity directly in the original embedding space, where geometric metrics entangle dominant semantic directions, fine-grained supervision differences, and local noise. We address this limitation by formulating data selection as a coarse-to-fine hierarchical coverage problem and propose MASS. MASS learns low-dimensional principal manifold coordinates with a dense autoencoder for coarse semantic grouping, and then performs quality-aware sparse feature coverage within each group using a TopK sparse autoencoder. Experiments on Vision Flan and LLaVA-CoT show that MASS consistently outperforms strong data selection baselines across multiple budgets, and in several settings matches or surpasses full data training with only a small subset of data.
• Abstract（参考訳）: 教師付き微調整データがスケールし続けるにつれて、大きな候補プールから高価値サブセットを選択することは、トレーニングコストの削減とモデル性能の向上に不可欠である。 既存の手法は、幾何学的メトリクスが支配的な意味的方向、きめ細かい監督の違い、局所的な雑音を絡めるような、元の埋め込み空間における多様性を直接測定することが多い。 本稿では,データ選択を大まかな階層被覆問題として定式化し,MASSを提案する。 MASSは、粗いセマンティックグルーピングのための密集オートエンコーダを用いて低次元主多様体座標を学習し、TopKスパースオートエンコーダを用いて、各グループで品質に配慮したスパース特徴カバレッジを実行する。 Vision FlanとLLaVA-CoTの実験によると、MASSは複数の予算で強いデータ選択ベースラインを一貫して上回り、いくつかの設定ではデータの小さなサブセットで完全なデータトレーニングにマッチするか、超えている。

関連論文リスト

• DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes [10.902458329410562]
  我々は、データ構築を系統的な混合最適化問題として定式化する。 クラス間アロケーションには、品質と難易度を評価する多次元のデータセットレベルアセスメントを適用する。 クラス内構成には、品質と難易度を評価する多次元のデータセットレベル評価を適用する。
  論文  参考訳（メタデータ） (2026-07-27T14:55:04Z)
• CNMBI: Determining the Number of Clusters Using Center Pairwise Matching and Boundary Filtering [10.865555707958057]
  我々はデータ空間に固有の分布情報を利用するCNMBIという手法を提案する。 異なるサンプルは異なる信頼度を持ち、したがって信頼度の低いサンプルを積極的に除去する。 CNMBIは堅牢で、ターゲットデータの寸法と形状をより柔軟にすることができる。
  論文  参考訳（メタデータ） (2026-03-23T07:43:03Z)
• Robust Categorical Data Clustering Guided by Multi-Granular Competitive Learning [47.32771052588132]
  ネストされた粒状クラスター効果は、カテゴリーデータの暗黙的な離散距離空間で顕著である。 本稿では,潜在的なクラスタが対話的に自分自身をチューニングできるマルチグラニュラ競合学習アルゴリズムを提案する。 提案手法は,マルチグラニュラクラスタのネスト分布の探索に有効であることを示す。
  論文  参考訳（メタデータ） (2026-01-23T06:33:08Z)
• Learning from the Best, Differently: A Diversity-Driven Rethinking on Data Selection [45.327105807111934]
  既存のアプローチは通常、1次元または複数次元のスコアベースの選択に依存する。 本稿では,データ選択時の品質と多様性を両立するOrthogonal Diversity-Aware Selection (ODiS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-21T03:37:31Z)
• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• Adaptive and Robust DBSCAN with Multi-agent Reinforcement Learning [53.527506374566485]
  本稿では,多エージェント強化学習クラスタフレームワーク,すなわちAR-DBSCANを用いた新しいAdaptive and Robust DBSCANを提案する。 我々は、AR-DBSCANが、NMIおよびARIメトリクスの最大144.1%と175.3%のクラスタリング精度を向上するだけでなく、支配的なパラメータを確実に見つけることができることを示した。
  論文  参考訳（メタデータ） (2025-05-07T11:37:23Z)
• Label-independent hyperparameter-free self-supervised single-view deep subspace clustering [0.0]
  ディープサブスペースクラスタリング(DSC)アルゴリズムは、ドメイン間で広く採用されるのを妨げるいくつかの課題に直面している。 本稿では,結合表現行列を用いたレイヤワイド自己表現損失を最小限に抑える一視点DSC手法を提案する。 提案手法は,顔,数字,オブジェクトを表す6つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2025-04-25T08:54:34Z)
• Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
  わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。 本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。 本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
  論文  参考訳（メタデータ） (2025-03-28T07:23:07Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• OMH: Structured Sparsity via Optimally Matched Hierarchy for Unsupervised Semantic Segmentation [69.37484603556307]
  Un Semantic segmenting (USS)は、事前に定義されたラベルに頼ることなく、イメージをセグメント化する。 上記の問題を同時に解決するために,OMH (Optimally Matched Hierarchy) という新しいアプローチを導入する。 我々のOMHは既存のUSS法と比較して教師なしセグメンテーション性能がよい。
  論文  参考訳（メタデータ） (2024-03-11T09:46:41Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。