論文の概要: Compositional Risk Minimization

• arxiv url: http://arxiv.org/abs/2410.06303v1
• Date: Tue, 8 Oct 2024 19:25:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:11:01.905779
• Title: Compositional Risk Minimization
• Title（参考訳）: 構成リスク最小化
• Authors: Divyat Mahajan, Mohammad Pezeshki, Ioannis Mitliagkas, Kartik Ahuja, Pascal Vincent,
• Abstract要約: サブポピュレーションシフト(サブポピュレーションシフト)という,困難かつ極端な形態のサブポピュレーションシフトに取り組む。 構成シフトの下では、いくつかの属性の組み合わせはトレーニング分布から完全に欠落しているが、テスト分布には存在しない。 構成リスク最小化と呼ばれる経験的リスク最小化の簡単な代替案を導出する。
• 参考スコア（独自算出の注目度）: 23.118420916158083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we tackle a challenging and extreme form of subpopulation shift, which is termed compositional shift. Under compositional shifts, some combinations of attributes are totally absent from the training distribution but present in the test distribution. We model the data with flexible additive energy distributions, where each energy term represents an attribute, and derive a simple alternative to empirical risk minimization termed compositional risk minimization (CRM). We first train an additive energy classifier to predict the multiple attributes and then adjust this classifier to tackle compositional shifts. We provide an extensive theoretical analysis of CRM, where we show that our proposal extrapolates to special affine hulls of seen attribute combinations. Empirical evaluations on benchmark datasets confirms the improved robustness of CRM compared to other methods from the literature designed to tackle various forms of subpopulation shifts.
• Abstract（参考訳）: 本研究では, サブポピュレーションシフトの難易度と極端な形態に取り組み, これを構成シフトと呼ぶ。 構成シフトの下では、いくつかの属性の組み合わせはトレーニング分布から完全に欠落しているが、テスト分布には存在しない。 我々は、各エネルギー項が属性を表すフレキシブルな付加エネルギー分布を用いてデータをモデル化し、構成的リスク最小化(CRM)と呼ばれる経験的リスク最小化の簡単な代替案を導出する。 まず、複数の属性を予測するために加法エネルギー分類器を訓練し、次にこの分類器を合成シフトに取り組むように調整する。 我々はCRMの広範な理論的分析を行い、この提案は、見受けられる属性の組み合わせの特別なアフィン殻に外挿することを示す。 ベンチマークデータセットの実証評価により、CRMのロバスト性は、様々な形態のサブポピュレーションシフトに取り組むために設計された文献の他の方法と比較して改善されていることが確認できる。

関連論文リスト

• MetaRM: Shifted Distributions Alignment via Meta-Learning [52.94381279744458]
  言語モデルアライメントにおけるヒューマンフィードバック(RLHF)からの強化学習は、報酬モデル(RM)の能力に依存している メタラーニングを利用したメタRMを導入し,その環境分布とRMを整合させる手法を提案する。 大規模な実験により、MetaRMは反復RLHF最適化におけるRMの識別能力を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-05-01T10:43:55Z)
• Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [16.69453837626083]
  本稿では,Multimodal Sentiment Analysis (MSA)タスクのための相関分離型知識蒸留(CorrKD)フレームワークを提案する。 本稿では, クロスサンプル相関を含む包括的知識を伝達し, 欠落した意味論を再構築するサンプルレベルのコントラスト蒸留機構を提案する。 我々は,学生ネットワークの感情決定境界を最適化するために,応答不整合蒸留方式を設計する。
  論文  参考訳（メタデータ） (2024-04-25T09:35:09Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Multiple Augmented Reduced Rank Regression for Pan-Cancer Analysis [0.0]
  フレキシブルな行列回帰および分解法である多重強化階数回帰(maRRR)を提案する。 我々は、ランダム行列理論によって動機付けられた構造化された核ノルムの目的を考える。 われわれはTGAの複数の癌型(すなわち膵臓)の遺伝子発現データにmaRRRを適用した。
  論文  参考訳（メタデータ） (2023-08-30T21:40:58Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Directly Training Joint Energy-Based Models for Conditional Synthesis and Calibrated Prediction of Multi-Attribute Data [9.389098132764431]
  マルチ属性予測のためのアーキテクチャは,エネルギーモデルとして再解釈可能であることを示す。 本研究では,ESMの精度を向上し,正確な条件付きサンプルを生成するための簡単な拡張を提案する。 我々のモデルは、正確で校正された予測と、新しい属性の組み合わせの高品質な条件合成の両方が可能である。
  論文  参考訳（メタデータ） (2021-07-19T22:19:41Z)
• Heterogeneous Risk Minimization [25.5458915855661]
  分散一般化のための不変学習法は、複数の学習環境を利用して不変関係を見つけることによって提案されている。 現代のデータセットは、明示的なソースラベルなしで複数のソースからのデータをマージすることで組み立てられる。 不均一リスク最小化(HRM: Heterogeneous Risk Minimization)フレームワークを提案し、データと不変関係間の潜在不均質性の共同学習を実現する。
  論文  参考訳（メタデータ） (2021-05-09T02:51:36Z)
• Model-based Multi-agent Policy Optimization with Adaptive Opponent-wise Rollouts [52.844741540236285]
  マルチエージェント強化学習(MARL)におけるモデルベース手法について検討する。 AORPO(Adaptive Opponent-wise Rollout Policy)と呼ばれる新しい分散型モデルベースのMARL法を提案する。
  論文  参考訳（メタデータ） (2021-05-07T16:20:22Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Repulsive Mixture Models of Exponential Family PCA for Clustering [127.90219303669006]
  指数関数型家族主成分分析(EPCA)の混合拡張は、従来のEPCAよりもデータ分布に関する構造情報を符号化するように設計された。 従来のEPCAの混合は、モデルの冗長性、すなわち混合成分間の重なりが問題であり、データクラスタリングの曖昧さを引き起こす可能性がある。 本稿では, 混合成分間での反発性増感前処理を導入し, ベイズ式に分散EPCA混合(DEPCAM)モデルを開発した。
  論文  参考訳（メタデータ） (2020-04-07T04:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。