論文の概要: PyGlove: Efficiently Exchanging ML Ideas as Code

• arxiv url: http://arxiv.org/abs/2302.01918v1
• Date: Fri, 3 Feb 2023 18:52:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 15:15:39.778458
• Title: PyGlove: Efficiently Exchanging ML Ideas as Code
• Title（参考訳）: PyGlove: MLのアイデアをコードとして効率的に交換する
• Authors: Daiyi Peng, Xuanyi Dong, Esteban Real, Yifeng Lu, Quoc V. Le
• Abstract要約: PyGloveは、アイデアを象徴的なルールベースのパッチとして表現している。 これによって、チーム間のネットワーク効果が実現します – 一度に、すべてのチームが他のすべてのチームにパッチを発行することができます。
• 参考スコア（独自算出の注目度）: 81.80955202879686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing complexity and scale of machine learning (ML) has led to the need for more efficient collaboration among multiple teams. For example, when a research team invents a new architecture like "ResNet," it is desirable for multiple engineering teams to adopt it. However, the effort required for each team to study and understand the invention does not scale well with the number of teams or inventions. In this paper, we present an extension of our PyGlove library to easily and scalably share ML ideas. PyGlove represents ideas as symbolic rule-based patches, enabling researchers to write down the rules for models they have not seen. For example, an inventor can write rules that will "add skip-connections." This permits a network effect among teams: at once, any team can issue patches to all other teams. Such a network effect allows users to quickly surmount the cost of adopting PyGlove by writing less code quicker, providing a benefit that scales with time. We describe the new paradigm of organizing ML through symbolic patches and compare it to existing approaches. We also perform a case study of a large codebase where PyGlove led to an 80% reduction in the number of lines of code.
• Abstract（参考訳）: 機械学習(ml)の複雑さと規模の増加は、複数のチーム間のより効率的なコラボレーションの必要性を招いた。 例えば、研究チームが"resnet"のような新しいアーキテクチャを発明する場合、複数のエンジニアリングチームがそれを採用することが望ましい。 しかしながら、各チームが発明を研究、理解するのに必要な労力は、チーム数や発明数ではうまくスケールしない。 本稿では PyGlove ライブラリを拡張して,ML のアイデアを容易に共有する。 pygloveはアイデアを象徴的なルールベースのパッチとして表現しており、研究者は見たことのないモデルのルールを書き留めることができる。 例えば、発明者は「スキップ接続を追加する」ルールを書くことができる。 これにより、チーム間のネットワーク効果が実現される。 一度にすべてのチームは、他のすべてのチームにパッチを発行できる。 このようなネットワーク効果により、ユーザはより少ないコードの記述でpygloveを採用するコストを迅速に超過することができ、時間とともにスケールするメリットを提供する。 我々は、シンボリックパッチを通じてMLを編成する新しいパラダイムを説明し、既存のアプローチと比較する。 また、PyGloveがコード行数を80%削減した大規模なコードベースのケーススタディも実施しています。

関連論文リスト

• Steering Large Language Models between Code Execution and Textual Reasoning [22.279107036500083]
  テキスト推論は、数学、論理学、最適化、探索における課題を伴うタスクの解決に固有の制限がある。 最近リリースされたOpenAI GPT Code InterpreterとAutoGenのようなマルチエージェントフレームワークは、コード生成と実行を統合するのに顕著な能力を示している。 LLMのコード/テキスト生成を良くし、顕著な改善を実現するための3つの方法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T15:44:47Z)
• AI Coders Are Among Us: Rethinking Programming Language Grammar Towards Efficient Code Generation [14.831115535710692]
  本稿では,AI指向文法の概念を提案する。 これは、AIモデルの動作メカニズムにより良い方法でコードを表現することを目的としています。 AI指向文法で書かれたコードはフォーマットを捨て、最小限のトークンを使用する。
  論文  参考訳（メタデータ） (2024-04-25T04:46:02Z)
• Open Ad Hoc Teamwork with Cooperative Game Theory [28.605478081031215]
  アドホックなチームワークは、事前の調整や共同トレーニングなしに、チームメイトと協力するエージェントの設計を必要とする、困難な問題を引き起こします。 有望な解決策の1つは、制限のない数のエージェントを扱うためにグラフニューラルネットワークの一般化性を活用することである。 本稿では,ゲームフレームワークをベースとしたCIAOという新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-23T11:04:33Z)
• torchgfn: A PyTorch GFlowNet library [56.071033896777784]
  torchgfnはPyTorchライブラリで、このニーズに対処することを目指している。 環境のためのシンプルなAPIと、サンプルと損失のための有用な抽象化を提供する。
  論文  参考訳（メタデータ） (2023-05-24T00:20:59Z)
• Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
  本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。 より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。 ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
  論文  参考訳（メタデータ） (2023-04-17T09:27:40Z)
• PAL: Program-aided Language Models [112.94785609781503]
  自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。 私たちは12のベンチマークで新しい最先端の結果を設定しました。
  論文  参考訳（メタデータ） (2022-11-18T18:56:13Z)
• pyGSL: A Graph Structure Learning Toolkit [14.000763778781547]
  pyGSLは、最先端のグラフ構造学習モデルの効率的な実装を提供するPythonライブラリである。 pyGSLはGPUフレンドリーな方法で書かれており、より大きなネットワークタスクにスケールすることができる。
  論文  参考訳（メタデータ） (2022-11-07T14:23:10Z)
• PyGlove: Symbolic Programming for Automated Machine Learning [88.15565138144042]
  シンボリックプログラミングに基づくAutoMLの新しいプログラミング方法を紹介します。 このパラダイムでは、MLプログラムは変更可能であるため、他のプログラムで簡単に操作できます。 PyGloveユーザーは、静的プログラムを検索空間に簡単に変換し、検索空間と検索アルゴリズムをすばやく繰り返し、複雑な検索フローを作成できることを示しています。
  論文  参考訳（メタデータ） (2021-01-21T19:05:44Z)
• COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
  我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。 COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
  論文  参考訳（メタデータ） (2020-10-19T13:53:38Z)
• PyTorch Metric Learning [37.03614011735927]
  PyTorch Metric Learningは、研究者と実践者の両方にとってこの障壁を取り除くことを目的とした、オープンソースのライブラリである。 モジュラーでフレキシブルな設計により、ユーザーは既存のコードで異なるアルゴリズムの組み合わせを簡単に試すことができる。 また、結果の速さを望むユーザーには、完全なトレイン/テストが提供される。
  論文  参考訳（メタデータ） (2020-08-20T19:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。