Fugu-MT 論文翻訳(概要): Fast Optimizer Benchmark

論文の概要: Fast Optimizer Benchmark

arxiv url: http://arxiv.org/abs/2406.18701v1
Date: Wed, 26 Jun 2024 19:10:34 GMT
ステータス: 処理完了
システム内更新日: 2024-06-28 16:06:39.753905
Title: Fast Optimizer Benchmark
Title（参考訳）: Fast Optimizer Benchmark
Authors: Simon Blauth, Tobias Bürger, Zacharias Häringer, Jörg Franke, Frank Hutter,
Abstract要約: 本稿では,Fast Benchmark(FOB)について紹介する。このベンチマークは、コンピュータビジョン、自然言語処理、グラフ学習などの複数のドメインからのタスクをサポートする。モジュール化された設計は、単にタスクのコレクションとして使うだけで、カスタムパイプラインへの統合を可能にする。
参考スコア（独自算出の注目度）: 34.80019300616218
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we present the Fast Optimizer Benchmark (FOB), a tool designed for evaluating deep learning optimizers during their development. The benchmark supports tasks from multiple domains such as computer vision, natural language processing, and graph learning. The focus is on convenient usage, featuring human-readable YAML configurations, SLURM integration, and plotting utilities. FOB can be used together with existing hyperparameter optimization (HPO) tools as it handles training and resuming of runs. The modular design enables integration into custom pipelines, using it simply as a collection of tasks. We showcase an optimizer comparison as a usage example of our tool. FOB can be found on GitHub: https://github.com/automl/FOB.
Abstract（参考訳）: 本稿では,Fast Optimizer Benchmark(FOB)について述べる。このベンチマークは、コンピュータビジョン、自然言語処理、グラフ学習などの複数のドメインからのタスクをサポートする。人間の読みやすいYAML構成、SLURM統合、プロットユーティリティなど、便利な使用方法に重点を置いている。 FOBは既存のハイパーパラメータ最適化(HPO)ツールと併用して、トレーニングと実行再開を処理できる。モジュール化された設計は、単にタスクのコレクションとして使うだけで、カスタムパイプラインへの統合を可能にする。ツールの使用例として,オプティマイザ比較を紹介する。 FOBはGitHubのhttps://github.com/automl/FOB.comで公開されている。

関連論文リスト

DeepContext: A Context-aware, Cross-platform, and Cross-framework Tool for Performance Profiling and Analysis of Deep Learning Workloads [5.987963635879264]
本稿では,高レベルのPythonコード,ディープラーニングフレームワーク,C/C++で記述された基盤ライブラリ,GPU上で実行されるデバイスコードなど,プログラムコンテキストをリンクする新しいプロファイラであるDeepContextを紹介する。 DeepContextには、PyTorchやJAXといった主要なディープラーニングフレームワークのための粗いパフォーマンスメトリクスときめ細かいパフォーマンスメトリクスの両方が組み込まれています。さらにDeepContextは、ユーザがホットスポットを素早く識別できる新しいGUIと、パフォーマンスメトリクスとプログラムコンテキストに基づいた潜在的な最適化をユーザに提案する革新的な自動パフォーマンスアナライザを統合している。
論文参考訳（メタデータ） (2024-11-05T04:15:26Z)
Trace is the Next AutoDiff: Generative Optimization with Rich Feedback, Execution Traces, and LLMs [19.89948665187903]
我々は、コーディングアシスタント、ロボット、コピロなどのAIシステムの設計と更新を自動化することによって動機付けられた最適化問題のクラスについて研究する。 PyTorchのような構文を用いて、ワークフロー最適化問題をOPTOインスタンスに効率的に変換するPython、Traceを提供する。
論文参考訳（メタデータ） (2024-06-23T21:05:31Z)
Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
論文参考訳（メタデータ） (2024-05-26T11:40:58Z)
ControlLLM: Augment Language Models with Tools by Searching on Graphs [97.62758830255002]
我々は,大規模言語モデル(LLM)が実世界のタスクを解くためのマルチモーダルツールを利用できる新しいフレームワークであるControlLLMを提案する。フレームワークは,(1)複雑なタスクを明確なサブタスクに分割し,入力と出力を適切に定義したサブタスクに分解するtextittask Decomposer,(2)構築済みのツールグラフ上で最適なソリューションパスを探索する textitThoughts-on-Graph(ToG)パラダイム,(3)ソリューションパスを解釈して実行するリッチなツールボックスを備えた textitexecution Engine,の3つの主要なコンポーネントから構成される。
論文参考訳（メタデータ） (2023-10-26T21:57:21Z)
CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文参考訳（メタデータ） (2023-09-29T17:40:26Z)
ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs [104.37772295581088]
オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
論文参考訳（メタデータ） (2023-07-31T15:56:53Z)
VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文参考訳（メタデータ） (2022-11-17T18:39:07Z)
DeepCAVE: An Interactive Analysis Tool for Automated Machine Learning [41.90094833178758]
DeepCAVEはAutoMLの最先端の最適化手順を分析し、監視するインタラクティブなフレームワークである。当社のフレームワークのモジュール構造は、ユーザが自動的に生成したテキスト、テーブル、グラフィック視覚化を提供する。
論文参考訳（メタデータ） (2022-06-07T12:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。