論文の概要: PyGlove: Efficiently Exchanging ML Ideas as Code
- arxiv url: http://arxiv.org/abs/2302.01918v1
- Date: Fri, 3 Feb 2023 18:52:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-06 15:15:39.778458
- Title: PyGlove: Efficiently Exchanging ML Ideas as Code
- Title(参考訳): PyGlove: MLのアイデアをコードとして効率的に交換する
- Authors: Daiyi Peng, Xuanyi Dong, Esteban Real, Yifeng Lu, Quoc V. Le
- Abstract要約: PyGloveは、アイデアを象徴的なルールベースのパッチとして表現している。
これによって、チーム間のネットワーク効果が実現します – 一度に、すべてのチームが他のすべてのチームにパッチを発行することができます。
- 参考スコア(独自算出の注目度): 81.80955202879686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing complexity and scale of machine learning (ML) has led to the
need for more efficient collaboration among multiple teams. For example, when a
research team invents a new architecture like "ResNet," it is desirable for
multiple engineering teams to adopt it. However, the effort required for each
team to study and understand the invention does not scale well with the number
of teams or inventions. In this paper, we present an extension of our PyGlove
library to easily and scalably share ML ideas. PyGlove represents ideas as
symbolic rule-based patches, enabling researchers to write down the rules for
models they have not seen. For example, an inventor can write rules that will
"add skip-connections." This permits a network effect among teams: at once, any
team can issue patches to all other teams. Such a network effect allows users
to quickly surmount the cost of adopting PyGlove by writing less code quicker,
providing a benefit that scales with time. We describe the new paradigm of
organizing ML through symbolic patches and compare it to existing approaches.
We also perform a case study of a large codebase where PyGlove led to an 80%
reduction in the number of lines of code.
- Abstract(参考訳): 機械学習(ml)の複雑さと規模の増加は、複数のチーム間のより効率的なコラボレーションの必要性を招いた。
例えば、研究チームが"resnet"のような新しいアーキテクチャを発明する場合、複数のエンジニアリングチームがそれを採用することが望ましい。
しかしながら、各チームが発明を研究、理解するのに必要な労力は、チーム数や発明数ではうまくスケールしない。
本稿では PyGlove ライブラリを拡張して,ML のアイデアを容易に共有する。
pygloveはアイデアを象徴的なルールベースのパッチとして表現しており、研究者は見たことのないモデルのルールを書き留めることができる。
例えば、発明者は「スキップ接続を追加する」ルールを書くことができる。
これにより、チーム間のネットワーク効果が実現される。 一度にすべてのチームは、他のすべてのチームにパッチを発行できる。
このようなネットワーク効果により、ユーザはより少ないコードの記述でpygloveを採用するコストを迅速に超過することができ、時間とともにスケールするメリットを提供する。
我々は、シンボリックパッチを通じてMLを編成する新しいパラダイムを説明し、既存のアプローチと比較する。
また、PyGloveがコード行数を80%削減した大規模なコードベースのケーススタディも実施しています。
関連論文リスト
- TransformCode: A Contrastive Learning Framework for Code Embedding via
Subtree transformation [10.168149114095566]
我々は、コード埋め込みを対照的な学習方法で学習する、TransformCodeと呼ばれる新しいフレームワークを提案する。
私たちのフレームワークは柔軟で適応性があり、コード表現を必要とする他の下流タスクに簡単に拡張できます。
論文 参考訳(メタデータ) (2023-11-10T09:05:23Z) - LILO: Learning Interpretable Libraries by Compressing and Documenting Code [72.90003911433905]
LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。
LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。
LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
論文 参考訳(メタデータ) (2023-10-30T17:55:02Z) - torchgfn: A PyTorch GFlowNet library [56.071033896777784]
torchgfnはPyTorchライブラリで、このニーズに対処することを目指している。
環境のためのシンプルなAPIと、サンプルと損失のための有用な抽象化を提供する。
論文 参考訳(メタデータ) (2023-05-24T00:20:59Z) - PAL: Program-aided Language Models [112.94785609781503]
自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。
PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。
私たちは12のベンチマークで新しい最先端の結果を設定しました。
論文 参考訳(メタデータ) (2022-11-18T18:56:13Z) - pyGSL: A Graph Structure Learning Toolkit [14.000763778781547]
pyGSLは、最先端のグラフ構造学習モデルの効率的な実装を提供するPythonライブラリである。
pyGSLはGPUフレンドリーな方法で書かれており、より大きなネットワークタスクにスケールすることができる。
論文 参考訳(メタデータ) (2022-11-07T14:23:10Z) - PyTorch Geometric Signed Directed: A Software Package on Graph Neural
Networks for Signed and Directed Graphs [20.832917829426098]
PyGSD (PyTorch Geometric Signed Directed) は、PyGSDのソフトウェアパッケージである。
PyGSDは、使い易いGNNモデル、合成および実世界のデータ、タスク固有の評価指標と損失関数で構成されている。
PyGの拡張ライブラリとして提案されているソフトウェアは、オープンソースリリース、詳細なドキュメント、継続的インテグレーション、ユニットテスト、コードカバレッジチェックでメンテナンスされています。
論文 参考訳(メタデータ) (2022-02-22T10:25:59Z) - PyGlove: Symbolic Programming for Automated Machine Learning [88.15565138144042]
シンボリックプログラミングに基づくAutoMLの新しいプログラミング方法を紹介します。
このパラダイムでは、MLプログラムは変更可能であるため、他のプログラムで簡単に操作できます。
PyGloveユーザーは、静的プログラムを検索空間に簡単に変換し、検索空間と検索アルゴリズムをすばやく繰り返し、複雑な検索フローを作成できることを示しています。
論文 参考訳(メタデータ) (2021-01-21T19:05:44Z) - COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。
COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
論文 参考訳(メタデータ) (2020-10-19T13:53:38Z) - PyTorch Metric Learning [37.03614011735927]
PyTorch Metric Learningは、研究者と実践者の両方にとってこの障壁を取り除くことを目的とした、オープンソースのライブラリである。
モジュラーでフレキシブルな設計により、ユーザーは既存のコードで異なるアルゴリズムの組み合わせを簡単に試すことができる。
また、結果の速さを望むユーザーには、完全なトレイン/テストが提供される。
論文 参考訳(メタデータ) (2020-08-20T19:08:56Z) - ktrain: A Low-Code Library for Augmented Machine Learning [0.0]
ktrainはローコードPythonライブラリで、機械学習をよりアクセスしやすく、適用しやすくする。
初心者と経験豊富な実践者の両方が構築し、トレーニングし、検査し、適用するための、洗練された最先端の機械学習モデルを簡単にするように設計されている。
論文 参考訳(メタデータ) (2020-04-19T14:18:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。