論文の概要: Gradients: When Markets Meet Fine-tuning -- A Distributed Approach to Model Optimisation

• arxiv url: http://arxiv.org/abs/2506.07940v2
• Date: Wed, 03 Sep 2025 09:39:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:02.976253
• Title: Gradients: When Markets Meet Fine-tuning -- A Distributed Approach to Model Optimisation
• Title（参考訳）: グラディエンス: 市場が細調整に直面するとき - モデル最適化への分散アプローチ
• Authors: Christopher Subia-Waud,
• Abstract要約: 70Mから70Bパラメータのモデル間で180の微調整タスクをテストした結果,HuggingFace AutoTrain, TogetherAI, Databricks, Google Cloudのサブ最適化構成が一貫して生成されていることがわかった。 実験では、GradientsがO togetherAI、Databricks、Google Cloudに対して100%勝利し、HuggingFace AutoTrainを82.8%で破った。
• 参考スコア（独自算出の注目度）: 2.3689955632456092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current AutoML platforms leave substantial performance untapped. Testing 180 fine-tuning tasks across models from 70M to 70B parameters, we found that HuggingFace AutoTrain, TogetherAI, Databricks, and Google Cloud consistently produce suboptimal configurations. Gradients, built on the Bittensor network, attacks this problem through competition. Independent miners race to find optimal hyperparameters, earning rewards proportional to their models' performance. This tournament drives exploration of configuration spaces that single-strategy methods never examine. In our experiments, Gradients achieved a 100\% win rate against TogetherAI, Databricks, and Google Cloud, and beat HuggingFace AutoTrain in 82.8\% of experiments. Mean improvements reached 42.1\% against commercial platforms. Retrieval-augmented generation tasks saw 30-40\% gains; diffusion models improved 23.4\% on person-specific generation. When miners compete for rewards, they develop optimization strategies that centralized approaches overlook. These findings demonstrate that decentralized systems with economic incentives can systematically outperform traditional AutoML, suggesting market dynamics may be key to achieving superior fine-tuning results. Code is available at https://github.com/rayonlabs/G.O.D.
• Abstract（参考訳）: 現在のAutoMLプラットフォームでは、大幅なパフォーマンスが失われている。 70Mから70Bパラメータのモデル間で180の微調整タスクをテストした結果,HuggingFace AutoTrain, TogetherAI, Databricks, Google Cloudのサブ最適化構成が一貫して生成されていることがわかった。 Bittensorネットワーク上に構築されたGradientsは、競合を通じてこの問題に対処する。 独立鉱山労働者は最適なハイパーパラメータを見つけようと競い合い、モデルの性能に比例する報酬を得る。 このトーナメントは、単一戦略手法が決して検査しない構成空間の探索を推進している。 実験では、GradientsがO togetherAI、Databricks、Google Cloudに対して100\%の勝利率を獲得し、82.8%の実験でHuggingFace AutoTrainを破った。 平均的な改善は商業用プラットフォームに対して42.1\%に達した。 Retrieval-augmented generation task は 30-40 % 増加し、拡散モデルは個人固有の世代で 23.4 % 改善した。 鉱山労働者が報酬を競うと、集中的なアプローチを見落としている最適化戦略を開発する。 これらの結果から,経済的なインセンティブを持つ分散型システムは従来のAutoMLを体系的に上回り,市場動態が優れた微調整結果の達成の鍵となる可能性が示唆された。 コードはhttps://github.com/rayonlabs/G.O.D.で入手できる。

関連論文リスト

• PSEO: Optimizing Post-hoc Stacking Ensemble Through Hyperparameter Tuning [21.71071582871805]
  本稿では,ポスト・ホック・スタックング・アンサンブル最適化のためのフレームワークであるPSEOを提案する。 sysは、最近のAutoMLシステムにおけるポストホックな設計を含む16の手法の中で、最も平均的なテストランク(2.96)を達成している。
  論文  参考訳（メタデータ） (2025-08-07T08:25:44Z)
• Divergence Minimization Preference Optimization for Diffusion Model Alignment [58.651951388346525]
  Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 その結果,DMPOで微調整した拡散モデルは,既存の手法よりも常に優れるか,一致しているかが示唆された。 DMPOは、優先順位調整のための堅牢でエレガントな経路を解き、拡散モデルにおいて実用的な性能を持つ原理的理論をブリッジする。
  論文  参考訳（メタデータ） (2025-07-10T07:57:30Z)
• Adaptive and Robust DBSCAN with Multi-agent Reinforcement Learning [53.527506374566485]
  本稿では,多エージェント強化学習クラスタフレームワーク,すなわちAR-DBSCANを用いた新しいAdaptive and Robust DBSCANを提案する。 我々は、AR-DBSCANが、NMIおよびARIメトリクスの最大144.1%と175.3%のクラスタリング精度を向上するだけでなく、支配的なパラメータを確実に見つけることができることを示した。
  論文  参考訳（メタデータ） (2025-05-07T11:37:23Z)
• Predictable Scale: Part I -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [58.26575378840226]
  最適な学習速度は、モデルパラメータとデータサイズの両方とのパワー-法則関係に従うが、最適なバッチサイズは、主にデータサイズでスケールする。 この研究は、Mixture-of-Expertsモデルや高密度トランスなど、異なるモデル形状と構造を統一する最初の研究である。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
  本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。 $SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。 評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
  本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。 既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。 この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T02:41:04Z)
• Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents [44.34340798542]
  大きな言語モデル(LLM)は、複雑な推論を必要とする自然言語タスクにおいて顕著な能力を示している。 静的データセットに対する従来の教師付き事前トレーニングは、自律的なエージェント機能を実現するには不十分である。 本稿では,モンテカルロ木探索(MCTS)を自己批判機構と組み合わせ,エージェント間相互作用を反復的に微調整するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T20:52:13Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
  グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-03-05T06:23:55Z)
• Gradient-based Parameter Selection for Efficient Fine-Tuning [41.30092426231482]
  グラディエントベース。 選択(GPS)はパラメータ効率の良い新しい微調整法である。 GPSはトレーニングと推論の段階で追加のパラメータや計算コストを導入していない。 GPSは3.33%(91.78% vs. 88.45%, FGVC)、9.61%(73.1% vs. 65.57%, VTAB)の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-12-15T18:59:05Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Model Parameter Identification via a Hyperparameter Optimization Scheme for Autonomous Racing Systems [3.613072342189595]
  ハイパーパラメータ最適化スキーム(MI-HPO)を用いたモデルパラメータ同定手法を提案する。 実験では、MI-HPOは従来のパラメータ同定法より13倍以上早く収束している。 モデルベースシステムを検証するために広範囲なフィールドテストを行い、安定した障害物回避と217km/hまでの高速運転を実証した。
  論文  参考訳（メタデータ） (2023-01-04T07:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。