論文の概要: Monotonicity Regularization: Improved Penalties and Novel Applications to Disentangled Representation Learning and Robust Classification

• arxiv url: http://arxiv.org/abs/2205.08247v1
• Date: Tue, 17 May 2022 11:42:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 13:02:52.164359
• Title: Monotonicity Regularization: Improved Penalties and Novel Applications to Disentangled Representation Learning and Robust Classification
• Title（参考訳）: 単調性規則化:刑罰の改善と異方性表現学習とロバスト分類への新しい応用
• Authors: Joao Monteiro, Mohamed Osama Ahmed, Hossein Hajimirsadeghi, Greg Mori
• Abstract要約: リスク最小化とともに、勾配のペナルティが使用される環境について検討する。 我々は、異なる罰則の選択が、その性質が観測される入力空間の領域を定義することを示す。 本稿では,トレーニングインスタンスとランダムポイントを混合して空間をポップアップさせ,より広い領域でペナルティを強制する手法を提案する。
• 参考スコア（独自算出の注目度）: 27.827211361104222
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study settings where gradient penalties are used alongside risk minimization with the goal of obtaining predictors satisfying different notions of monotonicity. Specifically, we present two sets of contributions. In the first part of the paper, we show that different choices of penalties define the regions of the input space where the property is observed. As such, previous methods result in models that are monotonic only in a small volume of the input space. We thus propose an approach that uses mixtures of training instances and random points to populate the space and enforce the penalty in a much larger region. As a second set of contributions, we introduce regularization strategies that enforce other notions of monotonicity in different settings. In this case, we consider applications, such as image classification and generative modeling, where monotonicity is not a hard constraint but can help improve some aspects of the model. Namely, we show that inducing monotonicity can be beneficial in applications such as: (1) allowing for controllable data generation, (2) defining strategies to detect anomalous data, and (3) generating explanations for predictions. Our proposed approaches do not introduce relevant computational overhead while leading to efficient procedures that provide extra benefits over baseline models.
• Abstract（参考訳）: グラデーションペナルティをリスク最小化と併用し,モノトニック性の異なる概念を満足する予測子を得ることを目的とした。 具体的には2つのコントリビューションを提示します。 論文の第1部では、異なるペナルティの選択が、プロパティが観察される入力空間の領域を定義することを示している。 このように、以前の方法は、入力空間の少量のボリュームでのみ単調なモデルとなる。 そこで本研究では,訓練インスタンスとランダムポイントを混合して空間を配置し,より広い領域でペナルティを課す手法を提案する。 コントリビューションの2つ目のセットとして、異なる設定で他の単調性の概念を強制する正規化戦略を導入する。 この場合、単調性は厳しい制約ではなく、モデルのいくつかの側面を改善するのに役立つ画像分類や生成モデリングなどの応用を考える。 すなわち,(1)制御可能なデータ生成を可能にすること,(2)異常なデータを検出するための戦略を定義すること,(3)予測のための説明を生成すること,などである。 提案手法は,ベースラインモデルよりも高効率な計算処理を実現する一方で,計算オーバーヘッドを伴わない。

関連論文リスト

• Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models [24.376036129920948]
  本研究では,データ拡張が視力事前訓練モデルの性能に与える影響について検討する。 ランダム消去(Random Erasing)、CutOut(CutOut)、CutMix(CutMix)、MixUp(MixUp)という4種類のデータ拡張を適用します。 画像分類,オブジェクト検出,インスタンスセグメンテーション,セマンティックセグメンテーションなどの視覚タスクにおける性能について報告する。
  論文  参考訳（メタデータ） (2023-10-28T23:46:31Z)
• On Regularization and Inference with Label Constraints [62.60903248392479]
  機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
  論文  参考訳（メタデータ） (2023-07-08T03:39:22Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Two-level monotonic multistage recommender systems [5.983189537988243]
  パーソナライズされた予測のためのイベントのモノトニック連鎖を特徴付ける2レベルモノトニック特性 ユーザ固有の振る舞いを異なる段階で学習するための正規化コスト関数。 ブロックワイズ座標降下に基づくアルゴリズム
  論文  参考訳（メタデータ） (2021-10-06T08:50:32Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• Causality-based Counterfactual Explanation for Classification Models [11.108866104714627]
  本稿では,プロトタイプに基づく対実的説明フレームワーク(ProCE)を提案する。 ProCEは、カウンターファクトデータの特徴の根底にある因果関係を保存することができる。 さらに,提案手法を応用した多目的遺伝的アルゴリズムを考案した。
  論文  参考訳（メタデータ） (2021-05-03T09:25:59Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。