論文の概要: Modeling the Machine Learning Multiverse

• arxiv url: http://arxiv.org/abs/2206.05985v1
• Date: Mon, 13 Jun 2022 09:11:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 17:55:20.398184
• Title: Modeling the Machine Learning Multiverse
• Title（参考訳）: 機械学習マルチバースのモデリング
• Authors: Samuel J. Bell, Onno P. Kampman, Jesse Dodge and Neil D. Lawrence
• Abstract要約: 機械学習研究において、ロバストで一般化可能な主張を行うための原則的枠組みを提案する。 この枠組みは,心理学の危機に対応するために導入された心理学的多元的分析に基づいている。 機械学習コミュニティにとって、Multiverse Analysisはロバストなクレームを特定するためのシンプルで効果的なテクニックである。
• 参考スコア（独自算出の注目度）: 10.809039816152161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Amid mounting concern about the reliability and credibility of machine learning research, we present a principled framework for making robust and generalizable claims: the Multiverse Analysis. Our framework builds upon the Multiverse Analysis (Steegen et al., 2016) introduced in response to psychology's own reproducibility crisis. To efficiently explore high-dimensional and often continuous ML search spaces, we model the multiverse with a Gaussian Process surrogate and apply Bayesian experimental design. Our framework is designed to facilitate drawing robust scientific conclusions about model performance, and thus our approach focuses on exploration rather than conventional optimization. In the first of two case studies, we investigate disputed claims about the relative merit of adaptive optimizers. Second, we synthesize conflicting research on the effect of learning rate on the large batch training generalization gap. For the machine learning community, the Multiverse Analysis is a simple and effective technique for identifying robust claims, for increasing transparency, and a step toward improved reproducibility.
• Abstract（参考訳）: 機械学習研究の信頼性と信頼性に関する懸念が高まる中、我々は、堅牢で一般化可能なクレームを作るための原則的なフレームワークであるMultiverse Analysisを提案する。 我々の枠組みは,心理学の再現性危機に対応するために導入された多元的分析(Steegen et al., 2016)に基づいている。 高次元かつしばしば連続なml探索空間を効率的に探索するために、多元系をガウス過程でモデル化し、ベイズ実験設計を適用する。 我々のフレームワークは、モデル性能に関する堅牢な科学的結論を導き出すために設計されており、従来の最適化よりも探索に焦点を当てている。 最初の2つのケーススタディにおいて、適応最適化器の相対的メリットに関する議論を考察した。 第二に,大規模バッチ訓練一般化ギャップに対する学習率の影響について,矛盾する研究を合成する。 機械学習コミュニティにとって、Multiverse Analysisは、堅牢なクレームを識別し、透明性を高め、再現性を向上させるためのシンプルで効果的なテクニックである。

関連論文リスト

• Two-Stage Surrogate Modeling for Data-Driven Design Optimization with Application to Composite Microstructure Generation [1.912429179274357]
  本稿では,科学・工学分野における逆問題に対処する2段階の機械学習に基づく代理モデリングフレームワークを提案する。 最初の段階では、"Learner"と呼ばれる機械学習モデルは、予測出力が望ましい結果と密接に一致している入力デザイン空間内の候補の限られたセットを特定する。 第2段では、第1段で生成された縮小候補空間を評価するために、「評価器」として機能する別の代理モデルを用いる。
  論文  参考訳（メタデータ） (2024-01-04T00:25:12Z)
• Efficient Inverse Design Optimization through Multi-fidelity Simulations, Machine Learning, and Search Space Reduction Strategies [0.8646443773218541]
  本稿では,限られた計算量で制約されたシナリオにおける逆設計最適化プロセスの拡張を目的とした手法を提案する。 提案手法はエアフォイル逆設計とスカラーフィールド再構成の2つの異なる工学的逆設計問題について解析する。 特に、この方法は、任意の逆設計アプリケーションに適用可能であり、代表的低忠実MLモデルと高忠実度シミュレーションの相乗効果を容易にし、様々な集団ベース最適化アルゴリズムにシームレスに適用することができる。
  論文  参考訳（メタデータ） (2023-12-06T18:20:46Z)
• Topology-aware Robust Optimization for Out-of-distribution Generalization [18.436575017126323]
  アウト・オブ・ディストリビューション(OOD)の一般化は難しい機械学習問題であるが、多くの高スループットアプリケーションで非常に望ましい。 本稿では,分散トポロジを原理的最適化フレームワークにシームレスに統合するトポロジ対応ロバスト最適化(TRO)を提案する。 提案手法の有効性を理論的に実証し, 分類, 回帰, セマンティックセグメンテーションを含む幅広いタスクにおいて, 芸術の状態を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2023-07-26T03:48:37Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• IRGen: Generative Modeling for Image Retrieval [82.62022344988993]
  本稿では,画像検索を生成モデルの一種として再フレーミングする新しい手法を提案する。 我々は、イメージを意味単位の簡潔なシーケンスに変換するという技術的課題に対処するため、IRGenと呼ばれるモデルを開発した。 本モデルは,広範に使用されている3つの画像検索ベンチマークと200万件のデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T17:07:36Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• USCO-Solver: Solving Undetermined Stochastic Combinatorial Optimization Problems [9.015720257837575]
  入力-解対のサンプルから高品質な最適化解を推定することを目的として,空間間の回帰を考察する。 基礎学習にはPAC-Bayesianフレームワークを用いて学習エラー分析を行う。 我々は,合成データセットと実世界のデータセットの両方において,古典的な問題に対する高い励振実験結果を得た。
  論文  参考訳（メタデータ） (2021-07-15T17:59:08Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• Machine Learning Framework for Quantum Sampling of Highly-Constrained, Continuous Optimization Problems [101.18253437732933]
  本研究では,連続空間の逆設計問題を,制約のないバイナリ最適化問題にマッピングする,汎用的な機械学習ベースのフレームワークを開発する。 本研究では, 熱発光トポロジを熱光応用に最適化し, (ii) 高効率ビームステアリングのための拡散メタグレーティングを行うことにより, 2つの逆設計問題に対するフレームワークの性能を示す。
  論文  参考訳（メタデータ） (2021-05-06T02:22:23Z)
• An Empirical Study of Assumptions in Bayesian Optimisation [61.19427472792523]
  本研究では,ベイズ最適化に固有の従来的および非慣習的仮定を厳密に分析する。 超パラメータチューニングタスクの大多数は、不均一性と非定常性を示すと結論付けている。 これらの発見が実践者およびこの分野のさらなる研究の指針となることを願っている。
  論文  参考訳（メタデータ） (2020-12-07T16:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。