論文の概要: Interpret-able feedback for AutoML systems
- arxiv url: http://arxiv.org/abs/2102.11267v1
- Date: Mon, 22 Feb 2021 18:54:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-23 21:05:04.296082
- Title: Interpret-able feedback for AutoML systems
- Title(参考訳): AutoMLシステムの解釈可能なフィードバック
- Authors: Behnaz Arzani, Kevin Hsieh, Haoxian Chen
- Abstract要約: 自動機械学習(AutoML)システムは、非ML専門家のための機械学習(ML)モデルのトレーニングを可能にすることを目的としている。
これらのシステムの欠点は、高い精度でモデルの生成に失敗した場合、モデルを改善するためのパスがないことである。
AutoML用の解釈可能なデータフィードバックソリューションを紹介します。
- 参考スコア(独自算出の注目度): 5.5524559605452595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated machine learning (AutoML) systems aim to enable training machine
learning (ML) models for non-ML experts. A shortcoming of these systems is that
when they fail to produce a model with high accuracy, the user has no path to
improve the model other than hiring a data scientist or learning ML -- this
defeats the purpose of AutoML and limits its adoption. We introduce an
interpretable data feedback solution for AutoML. Our solution suggests new data
points for the user to label (without requiring a pool of unlabeled data) to
improve the model's accuracy. Our solution analyzes how features influence the
prediction among all ML models in an AutoML ensemble, and we suggest more data
samples from feature ranges that have high variance in such analysis. Our
evaluation shows that our solution can improve the accuracy of AutoML by 7-8%
and significantly outperforms popular active learning solutions in data
efficiency, all the while providing the added benefit of being interpretable.
- Abstract(参考訳): 自動機械学習(AutoML)システムは、非ML専門家のための機械学習(ML)モデルのトレーニングを可能にすることを目的としている。
これらのシステムの欠点は、高精度なモデルの作成に失敗した場合、ユーザーはデータサイエンティストの雇用やMLの学習以外にモデルを改善する道がないということです。
AutoML用の解釈可能なデータフィードバックソリューションを紹介します。
提案手法では,モデルの精度を向上させるためにラベル付けを行う(ラベルなしデータのプールを必要とせずに)新しいデータポイントを提案する。
提案手法は,automlアンサンブルにおけるすべてのmlモデルの予測に機能がどのように影響するかを分析し,その分析に高いばらつきを持つ特徴範囲からより多くのデータサンプルを提案する。
評価の結果,本ソリューションはautomlの精度を7~8%向上させ,データ効率において一般的なアクティブラーニングソリューションを著しく上回っていることが示された。
関連論文リスト
- Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data
Selection for Instruction Tuning [54.222609226692015]
我々は大規模言語モデルのための自己誘導手法を導入し、大規模なオープンソースデータセットからサクラサンプルを自律的に識別し、選択する。
私たちの重要なイノベーションであるIFD(Instruction-Following Difficulty)メトリックは、モデルが期待する応答と自動生成技術との間の相違を識別するための重要なツールとして現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳(メタデータ) (2023-04-28T10:27:38Z) - XAutoML: A Visual Analytics Tool for Understanding and Validating
Automated Machine Learning [5.633209323925663]
XAutoMLは、AutoMLによって構築された任意のAutoML最適化手順とMLパイプラインを説明するための、インタラクティブなビジュアル分析ツールである。
XAutoMLは、インタラクティブな視覚化と、説明可能な人工知能(XAI)の確立したテクニックを組み合わせることで、完全なAutoML手順を透過的かつ説明可能なものにする。
論文 参考訳(メタデータ) (2022-02-24T08:18:25Z) - Automatic Componentwise Boosting: An Interpretable AutoML System [1.1709030738577393]
本稿では,高度にスケーラブルなコンポーネントワイドブースティングアルゴリズムを用いて適用可能な,解釈可能な付加モデルを構築するAutoMLシステムを提案する。
我々のシステムは、部分的な効果やペアの相互作用を可視化するなど、簡単なモデル解釈のためのツールを提供する。
解釈可能なモデル空間に制限があるにもかかわらず、我々のシステムは、ほとんどのデータセットにおける予測性能の点で競争力がある。
論文 参考訳(メタデータ) (2021-09-12T18:34:33Z) - Man versus Machine: AutoML and Human Experts' Role in Phishing Detection [4.124446337711138]
本稿では,10種類のフィッシングデータセット上での6つの最先端AutoMLフレームワークのパフォーマンスを比較した。
以上の結果から,AutoMLベースのモデルでは,複雑な分類タスクにおいて,手作業で開発した機械学習モデルよりも優れていることが示唆された。
論文 参考訳(メタデータ) (2021-08-27T09:26:20Z) - Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。
このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
論文 参考訳(メタデータ) (2021-01-15T03:12:29Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - Adaptation Strategies for Automated Machine Learning on Evolving Data [7.843067454030999]
本研究は,概念ドリフトなどのデータストリーム課題がAutoML手法の性能に及ぼす影響を理解することを目的とする。
本稿では,6つの概念ドリフト適応戦略を提案し,それらの有効性を異なるAutoMLアプローチで評価する。
論文 参考訳(メタデータ) (2020-06-09T14:29:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。