論文の概要: Robustness of Algorithms for Causal Structure Learning to Hyperparameter Choice

• arxiv url: http://arxiv.org/abs/2310.18212v1
• Date: Fri, 27 Oct 2023 15:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 13:20:37.188995
• Title: Robustness of Algorithms for Causal Structure Learning to Hyperparameter Choice
• Title（参考訳）: ハイパーパラメータ選択のための因果構造学習アルゴリズムのロバスト性
• Authors: Damian Machlanski, Spyridon Samothrakis, Paul Clarke
• Abstract要約: ハイパーパラメータチューニングは、どんなアルゴリズムでも最先端と予測性能の低さを区別することができる。 本稿では,ハイパーパラメータ選択が因果構造学習タスクに及ぼす影響について検討する。
• 参考スコア（独自算出の注目度）: 2.3020018305241337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperparameters play a critical role in machine learning. Hyperparameter tuning can make the difference between state-of-the-art and poor prediction performance for any algorithm, but it is particularly challenging for structure learning due to its unsupervised nature. As a result, hyperparameter tuning is often neglected in favour of using the default values provided by a particular implementation of an algorithm. While there have been numerous studies on performance evaluation of causal discovery algorithms, how hyperparameters affect individual algorithms, as well as the choice of the best algorithm for a specific problem, has not been studied in depth before. This work addresses this gap by investigating the influence of hyperparameters on causal structure learning tasks. Specifically, we perform an empirical evaluation of hyperparameter selection for some seminal learning algorithms on datasets of varying levels of complexity. We find that, while the choice of algorithm remains crucial to obtaining state-of-the-art performance, hyperparameter selection in ensemble settings strongly influences the choice of algorithm, in that a poor choice of hyperparameters can lead to analysts using algorithms which do not give state-of-the-art performance for their data.
• Abstract（参考訳）: ハイパーパラメータは機械学習において重要な役割を果たす。 ハイパーパラメータチューニングは、あらゆるアルゴリズムの最先端と低い予測性能の違いをもたらすが、教師なしの性質のため、構造学習では特に困難である。 その結果、ハイパーパラメータチューニングはアルゴリズムの特定の実装によって提供されるデフォルト値を使うことを好んで無視されることが多い。 因果発見アルゴリズムの性能評価には多くの研究があるが、ハイパーパラメータが個々のアルゴリズムにどのように影響するか、また特定の問題に対する最適なアルゴリズムの選択は、これまで深く研究されていない。 本研究は,ハイパーパラメータが因果構造学習タスクに与える影響を調べることで,このギャップに対処する。 具体的には,複雑性の異なるデータセット上での正規学習アルゴリズムに対するハイパーパラメータ選択の実証的評価を行う。 アルゴリズムの選択は最先端のパフォーマンスを得るためには不可欠であるが、アンサンブル設定におけるハイパーパラメータの選択はアルゴリズムの選択に強く影響を与えており、ハイパーパラメータの選択が貧弱であれば、データに最先端のパフォーマンスを与えないアルゴリズムを使う分析者につながる可能性がある。

関連論文リスト

• Tuning structure learning algorithms with out-of-sample and resampling strategies [6.85316573653194]
  構造学習のためのサンプル外チューニングは、構造学習のための最適なハイパーパラメータ構成を推定するために、サンプル外および再サンプリング戦略を採用する。 OTSLを用いることで,最先端技術と比較してグラフィカルな精度が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-24T10:39:44Z)
• Enhancing Machine Learning Model Performance with Hyper Parameter Optimization: A Comparative Study [0.0]
  機械学習における最も重要な問題のひとつは、トレーニングモデルに適切なハイパーパラメータの選択である。 ハイパーパラメータ最適化(HPO)は、人工知能研究が最近注目している話題である。 本研究では,グリッドやランダム探索,ベイズ最適化などの古典的手法,遺伝的アルゴリズムや粒子群最適化といった人口ベースアルゴリズムについて論じる。
  論文  参考訳（メタデータ） (2023-02-14T10:12:10Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Leveraging Benchmarking Data for Informed One-Shot Dynamic Algorithm Selection [0.9281671380673306]
  進化的アルゴリズムの適用における重要な課題は、目の前の問題に最も適したアルゴリズムインスタンスの選択である。 本研究では, 疑似ブール最適化問題の解法として, このような先行性能データを用いて, 動的アルゴリズム選択スキームを推論する方法について分析する。
  論文  参考訳（メタデータ） (2021-02-12T12:27:02Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Generalization in portfolio-based algorithm selection [97.74604695303285]
  ポートフォリオベースのアルゴリズム選択に関する最初の証明可能な保証を提供する。 ポートフォリオが大きければ、非常に単純なアルゴリズムセレクタであっても、過剰適合は避けられないことを示す。
  論文  参考訳（メタデータ） (2020-12-24T16:33:17Z)
• On tuning deep learning models: a data mining perspective [0.0]
  4種類のディープラーニングアルゴリズムをチューニングとデータマイニングの観点から検討した。 特徴の数は、ディープラーニングアルゴリズムの精度の低下に寄与していない。 データマイニングの観点で、信頼できる結果に到達するためには、均一な分布がより重要である。
  論文  参考訳（メタデータ） (2020-11-19T14:40:42Z)
• Data-driven Algorithm Design [21.39493074700162]
  データ駆動型アルゴリズム設計は、現代のデータ科学とアルゴリズム設計の重要な側面である。 パラメータの小さな微調整は、アルゴリズムの振る舞いのカスケードを引き起こす可能性がある。 バッチおよびオンラインシナリオに対して、強力な計算および統計的パフォーマンス保証を提供する。
  論文  参考訳（メタデータ） (2020-11-14T00:51:57Z)
• Extreme Algorithm Selection With Dyadic Feature Representation [78.13985819417974]
  我々は,数千の候補アルゴリズムの固定セットを考慮に入れた,極端なアルゴリズム選択(XAS)の設定を提案する。 我々は、XAS設定に対する最先端のAS技術の適用性を評価し、Dyadic特徴表現を利用したアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-29T09:40:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。