論文の概要: GRACE: A Dynamic Coreset Selection Framework for Large Language Model Optimization

• arxiv url: http://arxiv.org/abs/2604.11810v1
• Date: Thu, 09 Apr 2026 14:08:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:31.990288
• Title: GRACE: A Dynamic Coreset Selection Framework for Large Language Model Optimization
• Title（参考訳）: GRACE:大規模言語モデル最適化のための動的コアセット選択フレームワーク
• Authors: Tianhao Tang, Haoyang Li, Lei Chen,
• Abstract要約: 大規模言語モデル(LLM)のためのグラフ誘導適応および動的コアセット選択フレームワークを提案する。 GRACEは、表現の多様性と勾配に基づく重要なメトリクスを組み合わせることで、コアセットを動的に構築し、更新する。 GRACEは様々なLLMやタスクのトレーニング効率とダウンストリームのパフォーマンスを大幅に向上させる。
• 参考スコア（独自算出の注目度）: 10.688822115811865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in natural language understanding and generation. However, their immense number of parameters and complex transformer-based architectures result in significant resource demands and computational complexity during training, making it challenging to optimize them efficiently on large datasets. To reduce training costs while preserving performance, researchers have investigated coreset selection techniques, which aim to identify small, representative subsets of the entire training dataset to accelerate LLM training. However, existing coreset selection methods fail to adapt to the dynamic nature of LLM training and often struggle with scalability for models of this size. To address these limitations, we propose a graph-guided adaptive and dynamic coreset selection framework for LLMs, namely GRACE. GRACE dynamically constructs and updates coresets by combining representation diversity with gradient-based importance metrics, ensuring both informativeness and efficiency. To mitigate the computational cost of frequent updates, GRACE leverages a $k$-NN graph-based propagation mechanism and selectively updates scores and embeddings, adapting to evolving training dynamics. Extensive experiments on three benchmarks demonstrate that GRACE significantly improves training efficiency and downstream performance across diverse LLMs and tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語の理解と生成において顕著な能力を示した。 しかし、その膨大な数のパラメータと複雑なトランスフォーマーベースのアーキテクチャは、トレーニング中に大きなリソース要求と計算の複雑さをもたらすため、大規模なデータセット上でそれらを効率的に最適化することは困難である。 性能を保ちながらトレーニングコストを削減するため、LLMトレーニングを加速するためにトレーニングデータセット全体の小さな、代表的なサブセットを特定することを目的としたコアセット選択技術を調査した。 しかし、既存のコアセット選択法は、LLMトレーニングの動的な性質に適応できず、しばしばこのサイズのモデルのスケーラビリティに悩まされる。 これらの制約に対処するために,LLMのためのグラフ誘導適応および動的コアセット選択フレームワーク,すなわちGRACEを提案する。 GRACEは、表現の多様性と勾配に基づく重要な指標を組み合わせることで、コアセットを動的に構築し、更新する。 頻繁な更新の計算コストを軽減するため、GRACEは$k$-NNグラフベースの伝搬機構を活用し、スコアと埋め込みを選択的に更新し、進化するトレーニングダイナミクスに適応する。 3つのベンチマークによる大規模な実験により、GRACEは様々なLLMやタスクにわたるトレーニング効率とダウンストリームのパフォーマンスを大幅に改善することが示された。

関連論文リスト

• GRIP: In-Parameter Graph Reasoning through Fine-Tuning Large Language Models [40.5886835740214]
  大規模言語モデル(LLM)は、逐次テキストデータのモデリングにおいて顕著な能力を示した。 グラフから複雑な関係情報を内部化できる新しいフレームワークGRIPを提案する。 この知識は軽量な LoRA パラメータに効率的に格納され、微調整された LLM が幅広いグラフ関連タスクを実行できる。
  論文  参考訳（メタデータ） (2025-11-06T21:56:58Z)
• DynaSwarm: Dynamically Graph Structure Selection for LLM-based Multi-agent System [0.276240219662896]
  DynaSwarmはマルチエージェントシステムを強化する動的フレームワークである。 グラフ構造を最適化するためにアクター-批判的強化学習機構を使用する。 また、動的グラフセレクタを持ち、各入力サンプルに対して最適なグラフ構造を適応的に選択する。
  論文  参考訳（メタデータ） (2025-07-31T05:52:30Z)
• LLM Data Selection and Utilization via Dynamic Bi-level Optimization [100.20933466418786]
  本研究では,各バッチ内で選択したデータの重み付けを調整し,トレーニング中の動的データ利用を実現するための新しいデータ重み付けモデル(DWM)を提案する。 実験により,DWMはランダムに選択されたデータを用いて訓練されたモデルの性能を向上させることが示された。 さらに、トレーニング中にモデルのデータ嗜好がどのように進化するかを分析し、トレーニング中のモデルのデータ嗜好に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-07-22T02:47:12Z)
• Towards Efficient and Effective Alignment of Large Language Models [7.853945494882636]
  大規模言語モデル(LLM)は多様なタスクにまたがる優れた能力を示すが、それらを効率的かつ効果的に人間の期待に合わせることは重要な課題である。 この論文は、データ収集、トレーニング、評価において新しい方法論を導入することで、LCMアライメントを推し進める。
  論文  参考訳（メタデータ） (2025-06-11T02:08:52Z)
• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• RPLKG: Robust Prompt Learning with Knowledge Graph [14.531071492983767]
  CLIPのようなマルチモーダル事前トレーニングモデルでは、さまざまな実験でパフォーマンスが大幅に向上した。 既存の手法はしばしば解釈可能性に欠け、高い計算コストを課す。 本稿では,知識グラフを用いたロバスト・プロンプト学習(RPLKG)を提案する。
  論文  参考訳（メタデータ） (2023-04-21T08:22:58Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。