論文の概要: XPASC: Measuring Generalization in Weak Supervision

• arxiv url: http://arxiv.org/abs/2206.01444v1
• Date: Fri, 3 Jun 2022 08:16:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 23:10:39.329921
• Title: XPASC: Measuring Generalization in Weak Supervision
• Title（参考訳）: XPASC:弱スーパービジョンにおける一般化の測定
• Authors: Luisa M\"arz, Ehsaneddin Asgari, Fabienne Braune, Franziska Zimmermann, Benjamin Roth
• Abstract要約: 弱教師付きデータセットを用いて訓練されたモデルの一般化を計測するためのXPASC(eXPlainability-Association SCore)を提案する。 我々は XPASC を用いて、ラベリング関数から一般化の度合いを制御するための敵アーキテクチャである KnowMAN を解析する。
• 参考スコア（独自算出の注目度）: 5.197057543520865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weak supervision is leveraged in a wide range of domains and tasks due to its ability to create massive amounts of labeled data, requiring only little manual effort. Standard approaches use labeling functions to specify signals that are relevant for the labeling. It has been conjectured that weakly supervised models over-rely on those signals and as a result suffer from overfitting. To verify this assumption, we introduce a novel method, XPASC (eXPlainability-Association SCore), for measuring the generalization of a model trained with a weakly supervised dataset. Considering the occurrences of features, classes and labeling functions in a dataset, XPASC takes into account the relevance of each feature for the predictions of the model as well as the associations of the feature with the class and the labeling function, respectively. The association in XPASC can be measured in two variants: XPASC-CHI SQAURE measures associations relative to their statistical significance, while XPASC-PPMI measures association strength more generally. We use XPASC to analyze KnowMAN, an adversarial architecture intended to control the degree of generalization from the labeling functions and thus to mitigate the problem of overfitting. On one hand, we show that KnowMAN is able to control the degree of generalization through a hyperparameter. On the other hand, results and qualitative analysis show that generalization and performance do not relate one-to-one, and that the highest degree of generalization does not necessarily imply the best performance. Therefore methods that allow for controlling the amount of generalization can achieve the right degree of benign overfitting. Our contributions in this study are i) the XPASC score to measure generalization in weakly-supervised models, ii) evaluation of XPASC across datasets and models and iii) the release of the XPASC implementation.
• Abstract（参考訳）: 弱い監督は広範囲のドメインやタスクで活用されており、大量のラベル付きデータを作成できるため、手作業は少ない。 標準的なアプローチではラベル機能を使用してラベルに関連する信号を指定する。 弱い教師付きモデルはこれらの信号に過度に反応し、結果として過度に適合すると推測されている。 この仮定を検証するために、弱い教師付きデータセットで訓練されたモデルの一般化を測定する新しい手法XPASC(eXPlainability-Association SCore)を導入する。 データセットの特徴, クラス, ラベル付け関数の発生を考慮し, XPASCは, モデル予測における各特徴と, クラスとラベル付け関数との関係を考慮に入れた。 XPASC-CHI SQAUREはそれらの統計的重要性に対して関連性を測定するが、XPASC-PPMIはより一般的に関連性を測定する。 我々はXPASCを用いて、ラベリング関数から一般化の度合いを制御し、オーバーフィッティングの問題を緩和する敵対的アーキテクチャであるノウマンを解析する。 一方、KnowMANはハイパーパラメータを通して一般化の度合いを制御可能であることを示す。 一方, 結果と質的分析により, 一般化と性能は一対一に関係せず, 最高汎化度が必ずしも最高の性能を意味するとは限らないことが示された。 したがって、一般化量の制御を可能にする手法は、良性オーバーフィッティングの適切な度合いを達成することができる。 この研究への私たちの貢献は 一 弱監督モデルにおける一般化を測定するためのXPASCスコア 二 データセット及びモデルにおけるXPASCの評価及び評価 iii) xpasc 実装のリリース。

関連論文リスト

• Model Monitoring in the Absence of Labeled Data via Feature Attributions Distributions [5.167069404528051]
  この論文では、予測が現実の意思決定やユーザに影響を与える前に、機械学習モデルによるMLの監視について検討する。 i)AIアライメント、AIモデルが人間の価値観と整合した振る舞いを計測すること、(ii)パフォーマンス監視、モデルが特定の精度の目標や欲求を達成するかどうかを測定すること、の2つの主要なテーマで構成されている。
  論文  参考訳（メタデータ） (2025-01-18T14:07:37Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Prospector Heads: Generalized Feature Attribution for Large Models & Data [82.02696069543454]
  本稿では,説明に基づく帰属手法の効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。 入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
  論文  参考訳（メタデータ） (2024-02-18T23:01:28Z)
• Cross-functional Analysis of Generalisation in Behavioural Learning [4.0810783261728565]
  本稿では,異なるレベルの次元をまたいだ一般化を考慮した行動学習の分析手法であるBluGAを紹介する。 集計スコアは、目に見えない機能(または過剰適合)への一般化を測定する
  論文  参考訳（メタデータ） (2023-05-22T11:54:19Z)
• Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision [75.1860418333995]
  Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。 PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。 既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
  論文  参考訳（メタデータ） (2022-10-06T07:28:53Z)
• Calibrated Feature Decomposition for Generalizable Person Re-Identification [82.64133819313186]
  Calibrated Feature Decomposition (CFD)モジュールは、人物の再識別の一般化能力の向上に焦点を当てている。 キャリブレーション・アンド・スタンダード化されたバッチ正規化(CSBN)は、キャリブレーションされた人物表現を学習するために設計されている。
  論文  参考訳（メタデータ） (2021-11-27T17:12:43Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)
• Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
  本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。 本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
  論文  参考訳（メタデータ） (2020-06-09T20:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。