論文の概要: Green Runner: A tool for efficient deep learning component selection
- arxiv url: http://arxiv.org/abs/2401.15810v1
- Date: Mon, 29 Jan 2024 00:15:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 16:26:49.801436
- Title: Green Runner: A tool for efficient deep learning component selection
- Title（参考訳）: green runner: 効率的なディープラーニングコンポーネント選択ツール
- Authors: Jai Kannan
- Abstract要約: 本稿では、自然言語で提供されるアプリケーションシナリオに基づいて、モデルを自動的に選択し、評価する新しいツールであるToolnameを提案する。
ツールネームは、問題に基づく制約とトレードオフをモデル選択プロセスに統合する、リソース効率のよい実験エンジンを備えている。
- 参考スコア（独自算出の注目度）: 0.76146285961466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For software that relies on machine-learned functionality, model selection is
key to finding the right model for the task with desired performance
characteristics. Evaluating a model requires developers to i) select from many
models (e.g. the Hugging face model repository), ii) select evaluation metrics
and training strategy, and iii) tailor trade-offs based on the problem domain.
However, current evaluation approaches are either ad-hoc resulting in
sub-optimal model selection or brute force leading to wasted compute. In this
work, we present \toolname, a novel tool to automatically select and evaluate
models based on the application scenario provided in natural language. We
leverage the reasoning capabilities of large language models to propose a
training strategy and extract desired trade-offs from a problem description.
\toolname~features a resource-efficient experimentation engine that integrates
constraints and trade-offs based on the problem into the model selection
process. Our preliminary evaluation demonstrates that \toolname{} is both
efficient and accurate compared to ad-hoc evaluations and brute force. This
work presents an important step toward energy-efficient tools to help reduce
the environmental impact caused by the growing demand for software with
machine-learned functionality.
- Abstract（参考訳）: 機械学習機能に依存するソフトウェアにとって、モデル選択は望ましい性能特性を持つタスクに適したモデルを見つけるための鍵となる。
モデルを評価するには
i) 多くのモデルから選択すること(例えば、Hugging face model repository)
二 評価指標及び訓練戦略の選択、及び
三 問題領域に基づく仕立て的トレードオフ
しかし、現在の評価アプローチは、最適化されたモデル選択をもたらすアドホックか、無駄な計算に繋がるブルートフォースのいずれかである。
本稿では,自然言語で提供されるアプリケーションシナリオに基づいてモデルを自動的に選択し,評価する新しいツールである \toolname を提案する。
我々は,大規模言語モデルの推論能力を活用して,学習戦略を提案し,問題記述から望ましいトレードオフを抽出する。
問題に基づいた制約とトレードオフをモデル選択プロセスに統合する、リソース効率の高い実験エンジンである。
予備評価の結果,<toolname{} はアドホック評価やブルート力と比較して効率的かつ正確であることがわかった。
本研究は,機械学習機能を備えたソフトウェアに対する需要の増加に伴う環境影響を軽減するための,エネルギー効率向上のための重要なステップを示す。
関連論文リスト
- REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。
REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
論文 参考訳（メタデータ） (2024-03-13T18:06:43Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Green Runner: A tool for efficient model selection from model
repositories [3.0378875015087563]
GreenRunnerGPTは、特定のユースケースに基づいてディープラーニングモデルを選択する新しいツールである。
品質指標の重み付けを提案し、リソース利用を最適化するために、大きな言語モデルを採用している。
我々は、GreenRunnerGPTが、無駄な計算をすることなく、ターゲットユースケースに適したモデルを識別できることを実証した。
論文 参考訳（メタデータ） (2023-05-26T12:00:37Z) - Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。
モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。
5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2023-05-23T16:28:29Z) - Evaluating Representations with Readout Model Switching [18.475866691786695]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳（メタデータ） (2023-02-19T14:08:01Z) - SHiFT: An Efficient, Flexible Search Engine for Transfer Learning [16.289623977712086]
トランスファーラーニングは、スクラッチからトレーニングモデルのデータと計算効率の代替品と見なすことができる。
本稿では,トランスファー学習のための第1のダウンストリームタスク認識,フレキシブル,効率的なモデル検索エンジンであるSHiFTを提案する。
論文 参考訳（メタデータ） (2022-04-04T13:16:46Z) - Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。
リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。
モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文 参考訳（メタデータ） (2022-02-22T02:33:54Z) - Sample-Efficient Reinforcement Learning via Conservative Model-Based
Actor-Critic [67.00475077281212]
モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。
本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。
CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-12-16T15:33:11Z) - Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。
理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
論文 参考訳（メタデータ） (2021-08-27T19:03:32Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。