論文の概要: Beyond the training set: an intuitive method for detecting distribution shift in model-based optimization

• arxiv url: http://arxiv.org/abs/2311.05363v1
• Date: Thu, 9 Nov 2023 13:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 15:18:06.942359
• Title: Beyond the training set: an intuitive method for detecting distribution shift in model-based optimization
• Title（参考訳）: トレーニングセットを超えて:モデルベース最適化における分布シフト検出のための直感的手法
• Authors: Farhan Damani, David H Brookes, Theodore Sternlieb, Cameron Webster, Stephen Malina, Rishi Jajoo, Kathy Lin, Sam Sinai
• Abstract要約: 一般的なシナリオは、モデルのトレーニングに固定されたトレーニングセットを使用することであり、トレーニングデータに存在するものよりも優れた新しいサンプルを設計することを目的としている。 この設定における大きな課題は、トレーニングと設計サンプルの分布が異なる分散シフトである。 本稿では,分散シフトを検出する設計実践者のための簡単な手法を提案する。
• 参考スコア（独自算出の注目度）: 0.4188114563181614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model-based optimization (MBO) is increasingly applied to design problems in science and engineering. A common scenario involves using a fixed training set to train models, with the goal of designing new samples that outperform those present in the training data. A major challenge in this setting is distribution shift, where the distributions of training and design samples are different. While some shift is expected, as the goal is to create better designs, this change can negatively affect model accuracy and subsequently, design quality. Despite the widespread nature of this problem, addressing it demands deep domain knowledge and artful application. To tackle this issue, we propose a straightforward method for design practitioners that detects distribution shifts. This method trains a binary classifier using knowledge of the unlabeled design distribution to separate the training data from the design data. The classifier's logit scores are then used as a proxy measure of distribution shift. We validate our method in a real-world application by running offline MBO and evaluate the effect of distribution shift on design quality. We find that the intensity of the shift in the design distribution varies based on the number of steps taken by the optimization algorithm, and our simple approach can identify these shifts. This enables users to constrain their search to regions where the model's predictions are reliable, thereby increasing the quality of designs.
• Abstract（参考訳）: モデルベース最適化(MBO)は、科学技術における設計問題にますます応用されている。 一般的なシナリオは、モデルトレーニングに固定されたトレーニングセットを使用することで、トレーニングデータに存在するものを上回る新しいサンプルを設計することにある。 この設定における大きな課題は、トレーニングと設計サンプルの分布が異なる分散シフトである。 何らかの変更が期待されているが、目標はよりよい設計を作ることであるが、この変更はモデルの正確さとその後の設計品質に悪影響を及ぼす可能性がある。 この問題の広範な性質にもかかわらず、ドメインの深い知識と巧妙な応用を必要とする。 そこで本研究では,分布変化を検知する簡易な設計手法を提案する。 この方法は、ラベルのない設計分布の知識を用いてバイナリ分類器を訓練し、トレーニングデータを設計データから分離する。 分類器のロジットスコアは、分布シフトの指標として使用される。 本手法は,オフラインのmboを実行して実世界のアプリケーションで検証し,分散シフトが設計品質に及ぼす影響を評価する。 最適化アルゴリズムによって得られるステップ数によって,設計分布の変化の強度が異なり,簡単なアプローチでこれらのシフトを識別できることがわかった。 これにより、モデルの予測が信頼できる領域に検索を限定することが可能となり、設計の品質が向上する。

関連論文リスト

• Design Editing for Offline Model-based Optimization [18.701760631151316]
  オフラインモデルベース最適化(MBO)は、デザインとスコアのオフラインデータセットのみを使用してブラックボックスの目的関数を最大化することを目的としている。 一般的なアプローチは、既存の設計とその対応するスコアを使用して代理モデルをトレーニングし、その後、代理モデルに関する勾配ベースの更新を通じて新しい設計を生成することである。 この方法は、サロゲートモデルが見当たらない設計の高得点を誤って予測できるという、アウト・オブ・ディストリビューションの問題に悩まされる。 過度に最適化された設計を校正する前に拡散を利用したオフラインモデルベース最適化のための新しい設計編集手法(DEMO)を提案する。
  論文  参考訳（メタデータ） (2024-05-22T20:00:19Z)
• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
  本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。 本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T00:54:57Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• Style Curriculum Learning for Robust Medical Image Segmentation [62.02435329931057]
  深部セグメンテーションモデルは、トレーニングデータセットとテストデータセットの間の画像強度の分散シフトによって、しばしば劣化する。 本稿では,そのような分散シフトが存在する場合に,ロバストなセグメンテーションを確保するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-01T08:56:24Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
  分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。 分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。 本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
  論文  参考訳（メタデータ） (2020-12-14T11:14:56Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)
• Incremental Unsupervised Domain-Adversarial Training of Neural Networks [17.91571291302582]
  教師付き統計学習の文脈では通常、トレーニングセットはテストサンプルを描画する同じ分布から来ていると仮定される。 ここでは、モデルが新しいドメインに反復的に適応される段階的な視点から、別の道を選び、問題にアプローチします。 その結果,いくつかのデータセットにおける非増加事例に対する明らかな改善が報告され,他の最先端のドメイン適応アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-01-13T09:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。