論文の概要: Clarify: Improving Model Robustness With Natural Language Corrections

• arxiv url: http://arxiv.org/abs/2402.03715v1
• Date: Tue, 6 Feb 2024 05:11:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 16:33:08.426274
• Title: Clarify: Improving Model Robustness With Natural Language Corrections
• Title（参考訳）: Clarify: 自然言語補正によるモデルロバストネスの改善
• Authors: Yoonho Lee, Michelle S. Lam, Helena Vasconcelos, Michael S. Bernstein, Chelsea Finn
• Abstract要約: 教師付き学習では、モデルは静的データセットから相関を抽出するために訓練される。 これはしばしば、高レベルの誤解に依存するモデルにつながる。 モデル誤解をインタラクティブに修正する新しいインターフェースと方法であるClarifyを紹介した。
• 参考スコア（独自算出の注目度）: 63.342630414000006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In supervised learning, models are trained to extract correlations from a static dataset. This often leads to models that rely on high-level misconceptions. To prevent such misconceptions, we must necessarily provide additional information beyond the training data. Existing methods incorporate forms of additional instance-level supervision, such as labels for spurious features or additional labeled data from a balanced distribution. Such strategies can become prohibitively costly for large-scale datasets since they require additional annotation at a scale close to the original training data. We hypothesize that targeted natural language feedback about a model's misconceptions is a more efficient form of additional supervision. We introduce Clarify, a novel interface and method for interactively correcting model misconceptions. Through Clarify, users need only provide a short text description to describe a model's consistent failure patterns. Then, in an entirely automated way, we use such descriptions to improve the training process by reweighting the training data or gathering additional targeted data. Our user studies show that non-expert users can successfully describe model misconceptions via Clarify, improving worst-group accuracy by an average of 17.1% in two datasets. Additionally, we use Clarify to find and rectify 31 novel hard subpopulations in the ImageNet dataset, improving minority-split accuracy from 21.1% to 28.7%.
• Abstract（参考訳）: 教師付き学習では、モデルは静的データセットから相関を抽出するために訓練される。 これはしばしばハイレベルな誤解に依存するモデルにつながる。 このような誤解を防ぐためには、トレーニングデータ以外の追加情報を提供しなければならない。 既存の手法には、スパイラルな特徴のラベルやバランスの取れた分布からのラベル付きデータなど、追加のインスタンスレベルの監視形式が組み込まれている。 このような戦略は、元のトレーニングデータに近いスケールで追加のアノテーションを必要とするため、大規模なデータセットでは、非常にコストがかかる可能性がある。 モデルの誤解に対する目標とする自然言語フィードバックは、さらなる監視のより効率的な形式である、という仮説を立てる。 モデル誤解をインタラクティブに修正する新しいインターフェースと方法であるClarifyを紹介した。 Clarifyを通じて、モデルの一貫性のある障害パターンを記述するための短いテキスト記述のみを提供する必要がある。 そして、完全に自動化された方法で、トレーニングデータを再重み付けしたり、追加のターゲットデータを集めることで、トレーニングプロセスを改善するためにこのような記述を使用します。 ユーザ調査の結果,非熟練ユーザは2つのデータセットにおいて,最悪のグループ精度を平均17.1%向上させることで,モデルの誤解をうまく記述できることがわかった。 さらに,imagenetデータセットにおける31個の新規ハードサブポピュレーションの発見と修正を行い,マイノリティ分散精度を21.1%から28.7%に向上させた。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Improving Classification Performance With Human Feedback: Label a few, we label the rest [2.7386128680964408]
  本稿では,連続フィードバックループがモデルをどのように洗練し,精度,リコール,精度を向上させるかを理解することに焦点を当てる。 このアプローチをFinancial Phrasebank, Banking, Craigslist, Trec, Amazon Reviewsのデータセットでベンチマークし、ラベル付き例をいくつか挙げただけで、ゼロショットの大規模言語モデルの精度を上回ります。
  論文  参考訳（メタデータ） (2024-01-17T19:13:05Z)
• Netflix and Forget: Efficient and Exact Machine Unlearning from Bi-linear Recommendations [15.789980605221672]
  本稿では,行列補完に基づくリコメンデーションのための単純だが広範囲に展開されたバイ線形モデルに焦点を当てる。 本研究は,Alternating Least Squaresの下での微調整手順にいくつかの重要な変更を加えることにより,Unlearn-ALSを開発した。 実験の結果,Unlearn-ALSは幻想的モデル劣化を伴わない再訓練と整合性を示し,急速な収束を示した。
  論文  参考訳（メタデータ） (2023-02-13T20:27:45Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• One-bit Supervision for Image Classification [121.87598671087494]
  1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。 負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-09-14T03:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。