論文の概要: Subjectivity in Unsupervised Machine Learning Model Selection

• arxiv url: http://arxiv.org/abs/2309.00201v2
• Date: Fri, 5 Jan 2024 05:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 18:02:44.129178
• Title: Subjectivity in Unsupervised Machine Learning Model Selection
• Title（参考訳）: 教師なし機械学習モデル選択における主観性
• Authors: Wanyi Chen, Mary L. Cummings
• Abstract要約: 本研究では、モデル選択に関わる主観性を調べる例として、隠れマルコフモデルを用いる。 主観性の源泉には、異なる基準とメトリクスの重要性についての異なる意見、モデルがどのように同化されるべきなのか、データセットのサイズがモデル選択にどのように影響するかについての異なる見解が含まれる。
• 参考スコア（独自算出の注目度）: 2.9370710299422598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model selection is a necessary step in unsupervised machine learning. Despite numerous criteria and metrics, model selection remains subjective. A high degree of subjectivity may lead to questions about repeatability and reproducibility of various machine learning studies and doubts about the robustness of models deployed in the real world. Yet, the impact of modelers' preferences on model selection outcomes remains largely unexplored. This study uses the Hidden Markov Model as an example to investigate the subjectivity involved in model selection. We asked 33 participants and three Large Language Models (LLMs) to make model selections in three scenarios. Results revealed variability and inconsistencies in both the participants' and the LLMs' choices, especially when different criteria and metrics disagree. Sources of subjectivity include varying opinions on the importance of different criteria and metrics, differing views on how parsimonious a model should be, and how the size of a dataset should influence model selection. The results underscore the importance of developing a more standardized way to document subjective choices made in model selection processes.
• Abstract（参考訳）: モデル選択は教師なし機械学習における必要なステップである。 多くの基準とメトリクスにもかかわらず、モデルの選択は主観的である。 高い主観性は、様々な機械学習研究の再現性と再現性に関する疑問と、現実世界に展開されるモデルの堅牢性に関する疑念を引き起こす可能性がある。 しかし、モデル選択結果に対するモデラーの選好の影響はほとんど未定である。 本研究では、モデル選択に関わる主観性を調べる例として、隠れマルコフモデルを用いる。 33人の参加者と3つの大規模言語モデル(llm)に3つのシナリオでモデル選択を依頼しました。 その結果, 参加者の選択とLCMの選択の相違, 特に基準と基準の相違が認められた。 主観性源には、異なる基準とメトリクスの重要性に関するさまざまな意見、モデルの特化性に関するさまざまな見解、データセットのサイズがモデル選択にどのように影響するかなどが含まれる。 結果は、モデル選択プロセスで行った主観的な選択を文書化するより標準化された方法を開発することの重要性を強調している。

関連論文リスト

• What matters when building vision-language models? [52.8539131958858]
  我々は、80億のパラメータを持つ効率的な基礎的視覚言語モデルであるIdefics2を開発した。 Idefics2は、様々なマルチモーダルベンチマークで、そのサイズカテゴリ内で最先端のパフォーマンスを達成する。 トレーニング用に作成されたデータセットとともに、モデル(ベース、指示、チャット)をリリースします。
  論文  参考訳（メタデータ） (2024-05-03T17:00:00Z)
• Extending Variability-Aware Model Selection with Bias Detection in Machine Learning Projects [0.7646713951724013]
  本稿では,機械学習プロジェクトにおけるバイアス検出による適応変数認識モデル選択手法の拡張について述べる。 提案手法は, モデル選択, 特にバイアスに関連する要因, およびそれらの相互作用に影響を及ぼす因子を明示することによって, 技術の現状を推し進めることを目的としている。
  論文  参考訳（メタデータ） (2023-11-23T22:08:29Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Ensembling improves stability and power of feature selection for deep learning models [11.973624420202388]
  本稿では,ディープラーニングモデルの設計と訓練における本質性によって,一般的に用いられる特徴重要度スコアが不安定になることを示す。 我々は、異なるエポックにおけるモデルの重要度スコアのアンサンブルについて検討し、この単純なアプローチがこの問題に実質的に対処できることを見出した。 訓練されたモデルの特徴的重要度を組み合わせるためのフレームワークを提案し、一つのベストモデルから特徴を選択する代わりに、多くの優れたモデルから特徴的重要度スコアのアンサンブルを実行する。
  論文  参考訳（メタデータ） (2022-10-02T19:07:53Z)
• Deep Learning for Choice Modeling [5.173001988341294]
  我々は,機能フリーと機能ベースという2つの選択モデルに基づいて,ディープラーニングに基づく選択モデルを構築した。 本モデルでは,候補選択に対する本質的効用と,候補選択が選択確率に与える影響の両方を捉える。
  論文  参考訳（メタデータ） (2022-08-19T13:10:17Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Model Selection's Disparate Impact in Real-World Deep Learning Applications [3.924854655504237]
  アルゴリズムの公平性は、自動決定結果におけるバイアスデータの役割を強調している。 このような偏見の1つ、モデル選択における人間の嗜好は、人口集団間で異なる影響を及ぼす役割において、未解明のままである、と我々は主張する。
  論文  参考訳（メタデータ） (2021-04-01T16:37:01Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Model-specific Data Subsampling with Influence Functions [37.64859614131316]
  トレーニングポイントが様々な影響を持つ場合、ランダムサンプリングよりも優れたモデル固有データサブサンプリング戦略を開発する。 具体的には、影響関数を活用して、選択戦略をガイドし、理論的に証明し、我々のアプローチが素早く高品質なモデルを選択することを実証する。
  論文  参考訳（メタデータ） (2020-10-20T12:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。