論文の概要: On the Value of ML Models
- arxiv url: http://arxiv.org/abs/2112.06775v1
- Date: Mon, 13 Dec 2021 16:32:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-14 18:52:47.178833
- Title: On the Value of ML Models
- Title(参考訳): MLモデルの価値について
- Authors: Fabio Casati, Pierre-Andr\'e No\"el and Jie Yang
- Abstract要約: 機械学習(ML)モデルの確立とベンチマークを行う場合、研究コミュニティは、実践的なアプリケーションでモデルがもたらす価値をよりよく把握する評価指標を優先すべきである、と私たちは主張する。
特定のユースケースのクラス -- 選択的な分類 -- に対して、我々はそれができるほどシンプルであるだけでなく、結果がインポートできることを示し、良い'MLモデルで何を探すべきかを洞察する。
- 参考スコア(独自算出の注目度): 7.301530330533432
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We argue that, when establishing and benchmarking Machine Learning (ML)
models, the research community should favour evaluation metrics that better
capture the value delivered by their model in practical applications. For a
specific class of use cases -- selective classification -- we show that not
only can it be simple enough to do, but that it has import consequences and
provides insights what to look for in a ``good'' ML model.
- Abstract(参考訳): 機械学習(ML)モデルの確立とベンチマークを行う場合、研究コミュニティは、実践的なアプリケーションでモデルがもたらす価値をよりよく把握する評価指標を優先すべきである、と私たちは主張する。
特定のユースケースのクラス -- 選択的な分類 -- に対して、我々はそれができるほどシンプルであるだけでなく、結果がインポートできることを示し、‘よい’MLモデルで何を探すべきかの洞察を提供する。
関連論文リスト
- Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。
モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。
評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
論文 参考訳(メタデータ) (2023-11-03T14:59:54Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳(メタデータ) (2023-06-25T02:39:19Z) - Evaluating Representations with Readout Model Switching [18.475866691786695]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳(メタデータ) (2023-02-19T14:08:01Z) - Minimal Value-Equivalent Partial Models for Scalable and Robust Planning
in Lifelong Reinforcement Learning [56.50123642237106]
モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。
このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。
我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
論文 参考訳(メタデータ) (2023-01-24T16:40:01Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Rethinking and Recomputing the Value of ML Models [28.80821411530123]
私たちがMLモデルをトレーニングし評価してきた方法は、それらが組織や社会的文脈に適用されているという事実をほとんど忘れている、と私たちは主張する。
この観点から、私たちはMLモデルの評価、選択、デプロイの方法を根本的に変えています。
論文 参考訳(メタデータ) (2022-09-30T01:02:31Z) - Predicting is not Understanding: Recognizing and Addressing
Underspecification in Machine Learning [47.651130958272155]
下位仕様とは、ドメイン内の精度で区別できない複数のモデルの存在を指す。
我々は、不特定概念を形式化し、それを特定し、部分的に対処する方法を提案する。
論文 参考訳(メタデータ) (2022-07-06T11:20:40Z) - Evaluation of HTR models without Ground Truth Material [2.4792948967354236]
手書き文字認識モデルの開発における評価は容易である。
しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。
我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
論文 参考訳(メタデータ) (2022-01-17T01:26:09Z) - QuantifyML: How Good is my Machine Learning Model? [0.0]
QuantifyMLは、機械学習モデルが与えられたデータから学習し、一般化した範囲を定量化することを目的としている。
この式は市販モデルカウンタを用いて解析し、異なるモデル挙動に関する正確な数を求める。
論文 参考訳(メタデータ) (2021-10-25T01:56:01Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。
本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
論文 参考訳(メタデータ) (2020-05-17T22:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。