論文の概要: Combining Diverse Feature Priors

• arxiv url: http://arxiv.org/abs/2110.08220v1
• Date: Fri, 15 Oct 2021 17:31:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 12:53:02.688154
• Title: Combining Diverse Feature Priors
• Title（参考訳）: 異なる特徴を優先して組み合わせる
• Authors: Saachi Jain, Dimitris Tsipras, Aleksander Madry
• Abstract要約: 多様な機能事前セットでトレーニングされたモデルには、重複する障害モードが少なくなることを示す。 また、追加(ラベルなし)データでそのようなモデルを共同でトレーニングすることで、互いのミスを修正できることも示しています。
• 参考スコア（独自算出の注目度）: 90.74601233745047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve model generalization, model designers often restrict the features that their models use, either implicitly or explicitly. In this work, we explore the design space of leveraging such feature priors by viewing them as distinct perspectives on the data. Specifically, we find that models trained with diverse sets of feature priors have less overlapping failure modes, and can thus be combined more effectively. Moreover, we demonstrate that jointly training such models on additional (unlabeled) data allows them to correct each other's mistakes, which, in turn, leads to better generalization and resilience to spurious correlations. Code available at https://github.com/MadryLab/copriors.
• Abstract（参考訳）: モデル一般化を改善するために、モデルデザイナはモデルが暗黙的または明示的に使用する機能を制限することが多い。 本研究では,これらの特徴をデータに対する異なる視点として捉え,その特徴を優先的に活用するデザイン空間について検討する。 具体的には、さまざまな機能プリミティブセットでトレーニングされたモデルは、重複する障害モードが少なく、より効果的に組み合わせられることが分かりました。 さらに,追加(ラベルなし)データで協調的にモデルをトレーニングすることで,相互の誤りを正すことが可能となり,その結果,相互相関性が向上し,レジリエンスが向上することを示す。 コードはhttps://github.com/madrylab/copriors。

関連論文リスト

• Offline Model-Based Optimization by Learning to Rank [26.21886715050762]
  我々は、平均二乗誤差(MSE)で訓練された回帰モデルは、オフラインモデルに基づく最適化の第一目標とうまく一致していないと論じる。 そこで本稿では,学習手法のランク付けに活用し,相対的なスコアに基づいて有望な設計を優先順位付けするランキングベースモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:15:03Z)
• A Federated Data Fusion-Based Prognostic Model for Applications with Multi-Stream Incomplete Signals [1.2277343096128712]
  本稿では、複数のユーザが共同で障害時間予測モデルを構築することができるフェデレーション予測モデルを提案する。 数値解析により,提案モデルの性能は古典的非フェデレーション予測モデルと同一であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-13T17:08:34Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Self-Attention Between Datapoints: Going Beyond Individual Input-Output Pairs in Deep Learning [36.047444794544425]
  一度に1つのデータポイントを処理するのではなく、データセット全体を入力として扱う汎用ディープラーニングアーキテクチャを導入します。 このアプローチでは、データポイント間の関係を明示的に推論するために、自己注意を使用します。 従来の非パラメトリックモデルとは異なり、予測に他のデータポイントを使う方法をデータからエンド・ツー・エンドに学習させる。
  論文  参考訳（メタデータ） (2021-06-04T16:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。