論文の概要: Gradients: When Markets Meet Fine-tuning -- A Distributed Approach to Model Optimisation

• arxiv url: http://arxiv.org/abs/2506.07940v1
• Date: Mon, 09 Jun 2025 17:00:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.155861
• Title: Gradients: When Markets Meet Fine-tuning -- A Distributed Approach to Model Optimisation
• Title（参考訳）: グラディエンス: 市場が細調整に直面するとき - モデル最適化への分散アプローチ
• Authors: Christopher Subia-Waud,
• Abstract要約: Gradientsは、ハイパーパラメータの最適化を競争力のあるマーケットプレースに変換する、分散型のAutoMLプラットフォームです。 経済的なインセンティブは、個人の探索と集合的な最適化目標を一致させる。 多様なモデルアーキテクチャとタスクタイプにまたがる180の制御実験に対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 1.8130068086063336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation model fine-tuning faces a fundamental challenge: existing AutoML platforms rely on single optimisation strategies that explore only a fraction of viable hyperparameter configurations. In this white paper, We introduce Gradients, a decentralised AutoML platform that transforms hyperparameter optimisation into a competitive marketplace where independent miners compete to discover optimal configurations. Economic incentives align individual exploration with collective optimisation goals, driving systematic investigation of hyperparameter regions that centralised methods miss. We evaluate our approach across 180 controlled experiments spanning diverse model architectures (70M to 70B parameters) and task types. Gradients achieves an 82.8\% win rate against HuggingFace AutoTrain and 100\% against TogetherAI, Databricks, and Google Cloud, with mean improvements of 11.8\% and 42.1\% respectively. Complex reasoning and retrieval tasks show particularly strong gains of 30-40\%, whilst diffusion models achieve 23.4\% improvements for person-specific generation. These results demonstrate that competitive, economically-driven approaches can systematically discover superior configurations that centralised AutoML consistently miss.
• Abstract（参考訳）: 既存のAutoMLプラットフォームは、実行可能なハイパーパラメータ設定のごく一部を探索する単一の最適化戦略に依存しています。 このホワイトペーパーでは、ハイパーパラメータ最適化を競争市場へと転換する分散AutoMLプラットフォームであるGradientsを紹介します。 経済的なインセンティブは、個々の探索を集合的な最適化目標と整合させ、中央集権的な手法が見逃すハイパーパラメータ領域の体系的な調査を推進している。 多様なモデルアーキテクチャ(70Mから70Bパラメータ)とタスクタイプにまたがる180の制御実験に対するアプローチを評価した。 グラディエンツはHuggingFace AutoTrainに対して82.8\%、OweenAI、Databricks、Google Cloudに対して100\%、それぞれ11.8\%と42.1\%という平均的な改善を達成している。 複雑な推論と検索タスクは、特に 30-40 % の強い利得を示し、一方拡散モデルでは、個人固有の生成に対して 23.4 % の改善が達成されている。 これらの結果は、競争力があり、経済的に駆動されるアプローチが、AutoMLを中央集権化する優れた構成を、常に見逃していることを、体系的に発見できることを示している。

関連論文リスト

• Predictable Scale: Part I -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [58.26575378840226]
  最適な学習速度は、モデルパラメータとデータサイズの両方とのパワー-法則関係に従うが、最適なバッチサイズは、主にデータサイズでスケールする。 この研究は、Mixture-of-Expertsモデルや高密度トランスなど、異なるモデル形状と構造を統一する最初の研究である。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents [44.34340798542]
  大きな言語モデル(LLM)は、複雑な推論を必要とする自然言語タスクにおいて顕著な能力を示している。 静的データセットに対する従来の教師付き事前トレーニングは、自律的なエージェント機能を実現するには不十分である。 本稿では,モンテカルロ木探索(MCTS)を自己批判機構と組み合わせ,エージェント間相互作用を反復的に微調整するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T20:52:13Z)
• Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
  グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-03-05T06:23:55Z)
• Gradient-based Parameter Selection for Efficient Fine-Tuning [41.30092426231482]
  グラディエントベース。 選択(GPS)はパラメータ効率の良い新しい微調整法である。 GPSはトレーニングと推論の段階で追加のパラメータや計算コストを導入していない。 GPSは3.33%(91.78% vs. 88.45%, FGVC)、9.61%(73.1% vs. 65.57%, VTAB)の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-12-15T18:59:05Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Model Parameter Identification via a Hyperparameter Optimization Scheme for Autonomous Racing Systems [3.613072342189595]
  ハイパーパラメータ最適化スキーム(MI-HPO)を用いたモデルパラメータ同定手法を提案する。 実験では、MI-HPOは従来のパラメータ同定法より13倍以上早く収束している。 モデルベースシステムを検証するために広範囲なフィールドテストを行い、安定した障害物回避と217km/hまでの高速運転を実証した。
  論文  参考訳（メタデータ） (2023-01-04T07:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。