論文の概要: On Regularization and Inference with Label Constraints

• arxiv url: http://arxiv.org/abs/2307.03886v1
• Date: Sat, 8 Jul 2023 03:39:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 17:00:00.849628
• Title: On Regularization and Inference with Label Constraints
• Title（参考訳）: ラベル制約付き正規化と推論について
• Authors: Kaifu Wang, Hangfeng He, Tin D. Nguyen, Piyush Kumar, Dan Roth
• Abstract要約: 機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
• 参考スコア（独自算出の注目度）: 62.60903248392479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior knowledge and symbolic rules in machine learning are often expressed in the form of label constraints, especially in structured prediction problems. In this work, we compare two common strategies for encoding label constraints in a machine learning pipeline, regularization with constraints and constrained inference, by quantifying their impact on model performance. For regularization, we show that it narrows the generalization gap by precluding models that are inconsistent with the constraints. However, its preference for small violations introduces a bias toward a suboptimal model. For constrained inference, we show that it reduces the population risk by correcting a model's violation, and hence turns the violation into an advantage. Given these differences, we further explore the use of two approaches together and propose conditions for constrained inference to compensate for the bias introduced by regularization, aiming to improve both the model complexity and optimal risk.
• Abstract（参考訳）: 機械学習における事前知識や記号規則はラベル制約、特に構造化予測問題といった形で表現されることが多い。 本研究では,機械学習パイプラインにおけるラベル制約の符号化,制約付き正規化,制約付き推論の2つの一般的な戦略を比較し,モデル性能への影響を定量化する。 正規化については、制約に矛盾するモデルに先行して一般化ギャップを狭めることを示す。 しかし、その小さな違反に対する好みは、準最適モデルに対するバイアスをもたらす。 制約付き推論では,モデルの違反を訂正することで人口リスクを低減し,その結果,違反を有利にすることを示す。 これらの違いを考慮し, 2つの手法の併用をさらに検討し, モデル複雑性と最適リスクの両方を改善することを目的とした, 正規化によるバイアスを補償するための制約付き推論条件を提案する。

関連論文リスト

• On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
  本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。 我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
  論文  参考訳（メタデータ） (2024-10-21T14:53:12Z)
• Inference-Time Rule Eraser: Fair Recognition via Distilling and Removing Biased Rules [16.85221824455542]
  機械学習モデルは、しばしば性別、人種、その他の社会的属性などのバイアスのある特徴に基づいて予測を行う。 この問題に対処する従来のアプローチは、公正さを意識した最適化目標を持つニューラルネットワークの再トレーニングや微調整を含む。 フェアネス問題に対処する新しい手法である推論時ルール消去器(Eraser)を紹介する。
  論文  参考訳（メタデータ） (2024-04-07T05:47:41Z)
• ConstraintMatch for Semi-constrained Clustering [32.92933231199262]
  制約クラスタリングにより、ペアの制約のみを使用して分類モデルのトレーニングが可能になる。 そこで本稿では,制約の少ない制約セットとともに大量のテキスト非制約データを利用できる半教師付きコンテキストを提案し,制約のないデータを活用するためのtextitConstraintMatchを提案する。
  論文  参考訳（メタデータ） (2023-11-26T19:31:52Z)
• Representation Disentaglement via Regularization by Causal Identification [3.9160947065896803]
  本稿では,不整合表現学習における基礎となるデータ生成過程の仮定を記述するために,因果コライダー構造モデルを提案する。 そこで本研究では,大規模生成モデルの挙動を因果同定によって課される絡み合った制約に整合させるモジュール型正規化エンジンReIを提案する。
  論文  参考訳（メタデータ） (2023-02-28T23:18:54Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
  このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2021-05-13T16:58:45Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。