論文の概要: DRPruning: Efficient Large Language Model Pruning through Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2411.14055v2
• Date: Tue, 27 May 2025 02:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:18.963175
• Title: DRPruning: Efficient Large Language Model Pruning through Distributionally Robust Optimization
• Title（参考訳）: DRPruning:分散ロバスト最適化による効率的な大規模言語モデル計算
• Authors: Hexuan Deng, Wenxiang Jiao, Xuebo Liu, Jing Li, Min Zhang, Zhaopeng Tu,
• Abstract要約: 大きな言語モデル(LLM)は素晴らしい結果をもたらすが、モデルのサイズと計算コストの増加による課題に直面している。 DRPruningは、トレーニング中にデータ分散を動的に調整し、不均一なマルチタスクデータ間でのバランス性能を回復する手法である。 単言語および多言語設定の実験では、DRPランニングはプルーニングと継続トレーニングの両方において同様の大きさのモデルを上回ることが示されている。
• 参考スコア（独自算出の注目度）: 59.96455188197593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) deliver impressive results but face challenges from increasing model sizes and computational costs. Structured pruning reduces model size and speeds up inference but often causes uneven degradation across domains, leading to biased performance. To address this, we propose DRPruning, a method that dynamically adjusts the data distribution during training to restore balanced performance across heterogeneous and multi-tasking data. Experiments in monolingual and multilingual settings show that DRPruning surpasses similarly sized models in both pruning and continued pretraining over perplexity, downstream tasks, and instruction tuning. Further analysis demonstrates the robustness of DRPruning towards various domains and distribution shifts. Furthermore, DRPruning can determine optimal reference losses and data ratios automatically, suggesting potential for broader applications. Code and scripts are available at https://github.com/hexuandeng/DRPruning.
• Abstract（参考訳）: 大きな言語モデル(LLM)は素晴らしい結果をもたらすが、モデルのサイズと計算コストの増加による課題に直面している。 構造化プルーニングはモデルのサイズを減らし、推論を高速化するが、しばしばドメイン間で不均一な劣化を引き起こし、性能に偏りをもたらす。 そこで本研究では、トレーニング中のデータ分散を動的に調整し、不均一およびマルチタスクデータ間のバランス性能を回復するDRPruningを提案する。 単言語と多言語での実験では、DRPランニングはプルーニングとコンストラクターの両方において、パープレクシリティ、ダウンストリームタスク、インストラクションチューニングの両方において、同様の大きさのモデルを上回ることが示されている。 さらなる分析は、DRPが様々な領域に向かって進むことのロバストさと分布シフトを示している。 さらに、DRPruningは最適な参照損失とデータ比率を自動的に決定し、より広範なアプリケーションの可能性を示す。 コードとスクリプトはhttps://github.com/hexuandeng/DRPruning.comで入手できる。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Sample-aware Adaptive Structured Pruning for Large Language Models [14.605017410864583]
  本研究では,大規模言語モデル(LLM)のためのサンプル対応型構造化プルーニングフレームワークであるAdaPrunerを紹介する。 特に、AdaPrunerは構造化プルーニング解空間を構築して、LLMから冗長パラメータを効果的に除去する。 20%のプルーニング比で、AdaPrunerでプルーニングされたモデルは、未プルーニングモデルのパフォーマンスの97%を維持している。
  論文  参考訳（メタデータ） (2025-03-08T12:00:21Z)
• OPTISHEAR: Towards Efficient and Adaptive Pruning of Large Language Models via Evolutionary Optimization [18.57876883968734]
  適応型LLMプルーニングのための効率的な進化的最適化フレームワークである textbftextscOptiShear を紹介する。 我々のフレームワークは,メタプルーニングメトリック上に構築された効率的な検索空間と,迅速な評価のためのモデルワイド再構成誤差の2つの重要なイノベーションを特徴としている。
  論文  参考訳（メタデータ） (2025-02-15T09:17:38Z)
• DReSS: Data-driven Regularized Structured Streamlining for Large Language Models [30.47317140878219]
  大規模言語モデル(LLM)は、様々な領域で大きな進歩を遂げているが、その規模が大きくなると高い計算とメモリコストがもたらされる。 本稿では,まず正規化,次にプーン,そして最後に微細構造を適用する新しいパラダイムを提案する。 プルーニングされるコンポーネントを正規化するために少量のデータを活用することで、DReSSは、重要な情報をモデルの残りの部分に前もって明示的に転送する。
  論文  参考訳（メタデータ） (2025-01-29T14:28:11Z)
• Instruction-Following Pruning for Large Language Models [58.329978053711024]
  我々は、モデルに対する固定的なプルーニングマスクを決定する従来の静的プルーニングアプローチを超えて移動する。 本手法では,プルーニングマスクは入力依存型であり,ユーザ命令に記述された情報に基づいて動的に適応する。 我々の手法は「命令追従プルーニング」と呼ばれ、ユーザ命令を入力とし、与えられたタスクに対して最も関連性の高いモデルパラメータを動的に選択するスパースマスク予測器を導入している。
  論文  参考訳（メタデータ） (2025-01-03T20:19:14Z)
• Numerical Pruning for Efficient Autoregressive Models [87.56342118369123]
  本稿では,デコーダのみを用いた変圧器を用いた自己回帰モデルの圧縮に着目する。 具体的には,ニュートン法とモジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。 提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-12-17T01:09:23Z)
• Task-level Distributionally Robust Optimization for Large Language Model-based Dense Retrieval [32.104911827710936]
  本稿では,大規模言語モデルに基づくDense Retrievalファインタニングのためのタスクレベル分散ロバスト最適化(tDRO)を提案する。 tDROはドメインの重みをパラメータ化し、拡張されたドメイン勾配で更新する。 実験では、大規模検索ベンチマークの最適改善と、最大30%のデータセット使用率の削減が示されている。
  論文  参考訳（メタデータ） (2024-08-20T07:48:19Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models [14.310720048047136]
  ALPSは,演算子分割法と事前条件付き勾配共役型後処理法を用いて,プルーニング問題に対処する最適化ベースのフレームワークである。 提案手法はベクトル化とGPU並列性を有効利用しながら収束を加速し理論的に保証する新しい手法を取り入れている。 OPT-30Bモデルでは70%の間隔で、ALPSはWikiTextデータセットにおけるテストの難易度を13%削減し、既存の手法と比較してゼロショットベンチマークのパフォーマンスを19%改善した。
  論文  参考訳（メタデータ） (2024-06-12T02:57:41Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework for Enhancing Model Performance and Efficiency [9.460023981858319]
  本稿では,AdaPruner と呼ばれる適応型 DAtaset PRUNing フレームワークを提案する。 AdaPrunerは、冗長なサンプルを期待プルーニング比率に反復的にプルークする。 トレーニングデータの最大10～30%をプルーニングしても、モデルパフォーマンスを著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-12-09T16:01:21Z)
• A Machine Learning Approach to Improving Timing Consistency between Global Route and Detailed Route [3.202646674984817]
  不正確なタイミング予測は設計の労力を浪費し、回路性能を損なう。 この研究は、時間と「完全」ネットリストを最適化する最も初期の機会であるクロックツリー合成と配置の合法化の後のタイミング予測に焦点を当てている。 GR-based parasiticと時間推定のギャップを埋めるために,ポストGR最適化におけるポストDR結果のギャップを埋めるため,機械学習(ML)ベースのモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-11T16:01:23Z)
• Leveraging Synthetic Targets for Machine Translation [5.302421715411791]
  本研究では,合成目標のトレーニングモデルが実際の地上構造データよりも優れていることを示す。 我々は、この性能向上が最適化の容易性や予測のより決定論的性質に結びついているかどうかを予備分析する。
  論文  参考訳（メタデータ） (2023-05-07T07:42:22Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Fine-Tuning Pre-Trained Language Models Effectively by Optimizing Subnetworks Adaptively [32.001304911395756]
  微調整時の大規模事前学習モデルの動的選択(DPS)アルゴリズムを提案する。 GLUEベンチマークの実験では、DPSは全体的な性能と安定性の点で従来の微調整法よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-03T08:32:12Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。