論文の概要: GLOBE: Trajectory-Aligned Gradient Matching with Structured SparseOptimization for Coreset Selection

• arxiv url: http://arxiv.org/abs/2608.02690v1
• Date: Mon, 03 Aug 2026 09:01:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.89856
• Title: GLOBE: Trajectory-Aligned Gradient Matching with Structured SparseOptimization for Coreset Selection
• Title（参考訳）: GLOBE:コアセット選択のための構造化スパース最適化を用いた軌道配向勾配マッチング
• Abstract要約: ディープニューラルネットワークのオンデバイストレーニングは、大規模データセットの計算とメモリコストに制約される。 本稿では,大域的に最適化されたスパース重み付け問題として,サンプル選択を定式化するトラジェクトリ・アライン・コアセット選択フレームワークGLOBEを提案する。
• 参考スコア（独自算出の注目度）: 4.969458805037944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device training of deep neural networks is fundamentally constrained by the computational and memory costs of large-scale datasets. Coreset selection offers a practical solution by retaining only a compact subset of real training samples. However, existing gradient-based methods commonly rely on gradients computed at a single model snapshot and employ greedy or pursuit-based selection procedures, limiting their ability to capture evolving optimization dynamics and handle strongly correlated samples. We propose GLOBE (Gradient Local-Balanced Extraction), a trajectory-aligned coreset selection framework that formulates sample selection as a globally optimized sparse weighting problem. GLOBE represents each sample by a gradient trajectory constructed across multiple training checkpoints, thereby capturing its influence throughout different stages of optimization. To preserve the training behavior of the full dataset, we introduce a multi-order matching objective that jointly aligns the first-order mean and projected uncentered second-order moments of gradient trajectories. GLOBE further combines Group LASSO, Elastic Net regularization, and nonnegative budget constraints to induce group- and sample-level sparsity while stabilizing the weights of correlated trajectories. Finally, class-balanced Top-K selection maintains adequate category coverage under limited sampling budgets. Experiments across six benchmarks and five evaluation architectures demonstrate that GLOBE consistently outperforms existing coreset selection methods in downstream test accuracy, particularly at low retention ratios. These results highlight the effectiveness of combining dynamic gradient information, multi-order distribution matching, and structured sparsity for data-efficient learning.
• Abstract（参考訳）: ディープニューラルネットワークのオンデバイストレーニングは、大規模データセットの計算とメモリコストによって基本的に制限されている。 コアセットの選択は、実際のトレーニングサンプルのコンパクトなサブセットのみを保持することで、実用的なソリューションを提供する。 しかし、既存の勾配に基づく手法は、単一のモデルスナップショットで計算された勾配に依存し、欲求や追従に基づく選択手順を採用し、進化する最適化力学を捕捉し、強く相関したサンプルを扱う能力を制限している。 本稿では, 標本選択を大域的に最適化したスパース重み付け問題として定式化する, GLOBE (Gradient Local-Balanced extract) を提案する。 GLOBEは、複数のトレーニングチェックポイントにまたがって構築された勾配軌跡によって各サンプルを表現し、最適化の異なる段階にわたってその影響を捉えている。 本研究は,全データセットのトレーニング動作を維持するために,勾配軌跡の1次平均と2次無集中の2次モーメントを協調的に整列する多次マッチング手法を提案する。 GLOBEはさらに、グループLASSO、Elastic Net正規化、非負の予算制約を組み合わせて、相関軌道の重みを安定化させながら、グループレベルとサンプルレベルの間隔を誘導する。 最後に、クラスバランスのTop-Kセレクションは、限られたサンプリング予算の下で適切なカテゴリカバレッジを維持します。 6つのベンチマークと5つの評価アーキテクチャによる実験により、GLOBEは既存のコアセット選択法を、特に保持率の低いダウンストリームテスト精度で一貫して上回っていることが示された。 これらの結果は、動的勾配情報、多階分布マッチング、データ効率学習のための構造化された空間性を組み合わせることの有効性を強調した。

関連論文リスト

• Active Learning with Low-Rank Structure for Data Selection [85.43185363043362]
  低ランク近似と残差に基づくサンプリングに基づく新しいデータ選択フレームワークを提案する。 平均損失がデータセット全体の平均損失を近似した$tildeOleft(k + frac1varepsilon2right)$データポイントの重み付きサブセットを選択することができることを示す。
  論文  参考訳（メタデータ） (2026-06-14T22:29:59Z)
• CogniEdit: Dense Gradient Flow Optimization for Fine-Grained Image Editing [88.9067184995168]
  マルチモーダル推論と高密度報酬最適化を組み合わせた統合フレームワークCogniEditを提案する。 本手法は,視覚的品質と編集可能性の保存に追従する微粒な命令のバランスをとることによって,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-12-15T12:36:50Z)
• Optimizing Distributional Geometry Alignment with Optimal Transport for Generative Dataset Distillation [109.13471554184554]
  最適輸送(OT)距離最小化問題としてデータセット蒸留を再構成する。 OTは分布マッチングのための幾何学的に忠実なフレームワークを提供する。 提案手法は, 常に最先端の手法を効率よく上回っている。
  論文  参考訳（メタデータ） (2025-11-29T04:04:05Z)
• ClusterUCB: Efficient Gradient-Based Data Selection for Targeted Fine-Tuning of LLMs [22.68421108740517]
  本稿では、クラスタリングと修正されたアッパー信頼境界(UCB)アルゴリズムを用いた効率的な勾配に基づくデータ選択フレームワークを提案する。 各種ベンチマーク実験の結果,提案フレームワークであるClusterUCBは,従来の勾配に基づくデータ選択法と同等の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2025-06-12T01:53:01Z)
• Taming LLMs by Scaling Learning Rates with Gradient Grouping [49.91587150497186]
  大きな言語モデル(LLM)のトレーニングは、その大規模で異質なアーキテクチャのため、課題を提起する。 SGG(Scaling with Gradient Grouping)は、動的グルーピングとグループ固有のスケーリングによる適応的な学習率推定を改善するグラデーションラッパーである。
  論文  参考訳（メタデータ） (2025-06-01T15:30:37Z)
• Semantic-Aligned Learning with Collaborative Refinement for Unsupervised VI-ReID [82.12123628480371]
  教師なしの人物再識別(USL-VI-ReID)は、モデル学習のための人間のアノテーションを使わずに、同じ人物の歩行者像を異なるモードでマッチングすることを目指している。 従来の手法では、ラベルアソシエーションアルゴリズムを用いて異質な画像の擬似ラベルを統一し、グローバルな特徴学習のためのコントラスト学習フレームワークを設計していた。 本稿では,各モダリティによって強調される特定のきめ細かいパターンを対象とするSALCR(Semantic-Aligned Learning with Collaborative Refinement)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-27T13:58:12Z)
• Non-Uniform Class-Wise Coreset Selection: Characterizing Category Difficulty for Data-Efficient Transfer Learning [19.152700266277247]
  Non-Uniform Class-Wise Coreset Selection (NUCS)は、クラスレベルとインスタンスレベルの両方の基準を統合する新しいフレームワークである。 我々の研究は、コアセット選択におけるカテゴリの難しさを特徴づけることの重要性を強調し、転送学習のための堅牢でデータ効率のよいソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-17T15:40:51Z)
• Coreset Selection via LLM-based Concept Bottlenecks [6.857632954159568]
  Coreset Selection(CS)は、データセット全体の使用に匹敵するモデルパフォーマンスを達成するトレーニングデータセットのサブセットを特定することを目的としている。 本研究は,ダウンストリームモデルに依存しない人間の理解可能なテキスト属性(概念)を用いて,サンプルの難易度を計算するスコアを提案する。 我々のコアセットは高いプルーニングレートでもランダムなサブセットよりも優れており、動的手法を訓練することによって得られるコアセットに匹敵するモデル性能を実現している。
  論文  参考訳（メタデータ） (2025-02-23T22:14:42Z)
• BWS: Best Window Selection Based on Sample Scores for Data Pruning across Broad Ranges [12.248397169100784]
  データサブセットの選択は、フルデータセットのトレーニングを近似できる大規模なデータセットの、小さくても情報に富むサブセットを見つけることを目的としている。 難易度スコアに基づいて順序付けされたサンプルから最適なウィンドウサブセットを選択する方法を提案することにより、普遍的で効率的なデータサブセット選択法であるBest Window Selection(BWS)を導入する。
  論文  参考訳（メタデータ） (2024-06-05T08:33:09Z)
• Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints [69.27190330994635]
  コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。 本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。 実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T03:43:04Z)
• Probabilistic Bilevel Coreset Selection [24.874967723659022]
  本稿では,各トレーニングサンプルの確率的重みを学習することにより,コアセット選択の連続確率的2レベル定式化を提案する。 暗黙的な微分の問題を伴わずに、偏りのない政策勾配を経由し、二段階最適化問題に対する効率的な解法を開発する。
  論文  参考訳（メタデータ） (2023-01-24T09:37:00Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。