論文の概要: Train 'n Trade: Foundations of Parameter Markets

• arxiv url: http://arxiv.org/abs/2312.04740v1
• Date: Thu, 7 Dec 2023 22:50:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 16:47:14.552428
• Title: Train 'n Trade: Foundations of Parameter Markets
• Title（参考訳）: train 'n trade: foundations of parameter markets
• Authors: Tzu-Heng Huang, Harit Vishwakarma, Frederic Sala
• Abstract要約: 市場運営に必要なインフラを含む枠組みを提案する。 競争環境においても,市場を利用して相互に利益を得ることが可能であることを示す。
• 参考スコア（独自算出の注目度）: 18.002561163904684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Organizations typically train large models individually. This is costly and time-consuming, particularly for large-scale foundation models. Such vertical production is known to be suboptimal. Inspired by this economic insight, we ask whether it is possible to leverage others' expertise by trading the constituent parts in models, i.e., sets of weights, as if they were market commodities. While recent advances in aligning and interpolating models suggest that doing so may be possible, a number of fundamental questions must be answered to create viable parameter markets. In this work, we address these basic questions, propose a framework containing the infrastructure necessary for market operations to take place, study strategies for exchanging parameters, and offer means for agents to monetize parameters. Excitingly, compared to agents who train siloed models from scratch, we show that it is possible to mutually gain by using the market, even in competitive settings. This suggests that the notion of parameter markets may be a useful paradigm for improving large-scale model training in the future.
• Abstract（参考訳）: 組織は通常,大規模モデルを個別にトレーニングする。 これはコストがかかり、特に大規模基礎モデルでは時間がかかります。 このような垂直生産は最適でないことが知られている。 この経済的な洞察に触発されて、モデルを構成する部分、すなわち重みのセットを市場商品のように取引することで、他人の専門知識を活用できるかどうかを問う。 近年のアライメントと補間モデルの発展は、それが可能であることを示唆しているが、実行可能なパラメータ市場を作るためには、いくつかの根本的な疑問に答えなければならない。 本稿では,これらの基本的な問題に対処し,市場運営に必要なインフラストラクチャを含むフレームワークを提案し,パラメータ交換のための戦略を考察し,エージェントがパラメータを収益化するための手段を提供する。 サイロ化されたモデルをゼロからトレーニングするエージェントと比較すると,競争環境においても,市場の利用によって相互に利益を得ることができることを示す。 このことは,パラメータマーケットの概念が将来,大規模なモデルトレーニングを改善する上で有用なパラダイムであることを示している。

関連論文リスト

• TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters [102.1116808722299]
  TokenFormerは、Transformerをスケールするためのスケーラブルなアーキテクチャです。 モデルパラメータをトークンとして扱うことで、トランスフォーマーのすべての線形射影を置き換える。 我々のモデルは、新しいキー値パラメータペアを漸進的に追加することで、124Mから1.4Bパラメータにスケールする。
  論文  参考訳（メタデータ） (2024-10-30T16:19:00Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• A Network Simulation of OTC Markets with Multiple Agents [3.8944986367855963]
  我々は、取引が市場メーカによってのみ仲介される、オーバー・ザ・カウンタ(OTC)金融市場をシミュレートするための新しいアプローチを提案する。 本稿では,ネットワークモデルを用いて市場構造が価格変動に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-05-03T20:45:00Z)
• Optimal Automated Market Makers: Differentiable Economics and Strong Duality [22.943723387429678]
  複数の商品の存在下での最適な市場形成はよく理解されていない。 最適な市場メーカを見つけることは、最適な輸送問題と双対であることを示します。 より複雑な振る舞いを示す設定において最適メカニズムの予想を示す。
  論文  参考訳（メタデータ） (2024-02-14T12:27:54Z)
• Electricity Price Forecasting in the Irish Balancing Market [0.0]
  この研究は、広く研究されている日頭市場で成功した様々な価格予測手法をアイルランドのバランス市場に適用する。 異なるトレーニングサイズの影響を調査するフレームワークを用いて,統計モデル,機械学習モデル,ディープラーニングモデルを比較した。 大規模な数値的な研究により、日頭市場における良いパフォーマンスのモデルはバランスの取れないモデルではうまく機能しないことが示された。
  論文  参考訳（メタデータ） (2024-02-09T15:18:00Z)
• An Auction-based Marketplace for Model Trading in Federated Learning [54.79736037670377]
  フェデレートラーニング(FL)は、局所的な分散データを用いたトレーニングモデルにおいて、その効果がますます認識されている。 FLはモデルのマーケットプレースであり、顧客は買い手と売り手の両方として振る舞う。 本稿では,性能向上に基づく適切な価格設定を実現するため,オークションベースのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-02-02T07:25:53Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• HireVAE: An Online and Adaptive Factor Model Based on Hierarchical and Regime-Switch VAE [113.47287249524008]
  オンラインで適応的な環境で株価予測を行うファクターモデルを構築することは、依然としてオープンな疑問である。 本稿では,オンラインおよび適応型要素モデルであるHireVAEを,市場状況とストックワイド潜在要因の関係を埋め込んだ階層型潜在空間として提案する。 4つの一般的な実市場ベンチマークにおいて、提案されたHireVAEは、以前の手法よりもアクティブリターンの点で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-06-05T12:58:13Z)
• A Scalable Inference Method For Large Dynamic Economic Systems [19.757929782329892]
  本稿では,時間変化パラメータ自動回帰モデルを組み込む新しい変分ベイズ推論手法を提案する。 我々のモデルは、価格、個々のアクターのトランザクション、トランザクションフローの分析、価格の動きを含む大規模なブロックチェーンデータセットに適用されます。 我々は、機械学習アーキテクチャの助けを借りて、フォワードモデルに非線形性を導入することで、シンプルな状態空間モデリングをさらに改善する。
  論文  参考訳（メタデータ） (2021-10-27T10:52:17Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)
• Deep Probabilistic Modelling of Price Movements for High-Frequency Trading [0.0]
  本稿では、高周波市場価格の確率論的モデリングのための深い再帰アーキテクチャを提案する。 結果として生じる深層混合モデルは、自動化された高周波取引戦略の開発において重要ないくつかの実践的課題に同時に対処する。 このモデルでは,メトリックベーステストとシミュレートされたトレーディングシナリオの両方において,ベンチマークモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-31T19:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。