論文の概要: Clarify: Improving Model Robustness With Natural Language Corrections
- arxiv url: http://arxiv.org/abs/2402.03715v3
- Date: Thu, 22 Aug 2024 01:26:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 19:45:30.433292
- Title: Clarify: Improving Model Robustness With Natural Language Corrections
- Title（参考訳）: Clarify: 自然言語補正によるモデルロバストネスの改善
- Authors: Yoonho Lee, Michelle S. Lam, Helena Vasconcelos, Michael S. Bernstein, Chelsea Finn,
- Abstract要約: モデルを教える標準的な方法は、大量のデータを提供することです。
このアプローチは、データ内の誤解を招く信号を拾うため、モデルに誤ったアイデアを教えることが多い。
モデル誤解をインタラクティブに修正するためのインターフェースと手法であるClarifyを提案する。
- 参考スコア（独自算出の注目度）: 59.041682704894555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The standard way to teach models is by feeding them lots of data. However, this approach often teaches models incorrect ideas because they pick up on misleading signals in the data. To prevent such misconceptions, we must necessarily provide additional information beyond the training data. Prior methods incorporate additional instance-level supervision, such as labels for misleading features or additional labels for debiased data. However, such strategies require a large amount of labeler effort. We hypothesize that people are good at providing textual feedback at the concept level, a capability that existing teaching frameworks do not leverage. We propose Clarify, a novel interface and method for interactively correcting model misconceptions. Through Clarify, users need only provide a short text description of a model's consistent failure patterns. Then, in an entirely automated way, we use such descriptions to improve the training process. Clarify is the first end-to-end system for user model correction. Our user studies show that non-expert users can successfully describe model misconceptions via Clarify, leading to increased worst-case performance in two datasets. We additionally conduct a case study on a large-scale image dataset, ImageNet, using Clarify to find and rectify 31 novel hard subpopulations.
- Abstract（参考訳）: モデルを教える標準的な方法は、大量のデータを提供することです。
しかし、このアプローチはしばしば、データ内の誤解を招く信号を拾い上げるため、モデルに誤ったアイデアを教える。
このような誤解を防ぐためには、トレーニングデータ以外の追加情報を必ず提供しなければなりません。
従来の手法には、誤解を招く特徴のラベルや、偏りのあるデータのためのラベルなど、追加のインスタンスレベルの監視が含まれている。
しかし、そのような戦略は大量のラベル付け作業を必要とする。
既存の教育フレームワークでは利用できない、概念レベルでのテキストフィードバックの提供に長けている、という仮説を立てる。
モデル誤解をインタラクティブに修正するためのインターフェースと手法であるClarifyを提案する。
Clarifyを通じて、モデルの一貫性のある障害パターンを短いテキストで記述するだけでよい。
そして、完全に自動化された方法で、トレーニングプロセスを改善するためにこのような記述を使用します。
Clarifyは、ユーザーモデル修正のための最初のエンドツーエンドシステムである。
ユーザスタディでは、Clarifyを通じて、非専門家のユーザがモデル誤解をうまく記述できることが示され、2つのデータセットで最悪のパフォーマンスが向上した。
また、Clarify を用いた大規模画像データセット ImageNet のケーススタディを行い、31の新規なハードサブポピュレーションの発見と修正を行う。
関連論文リスト
- Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。
データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文 参考訳（メタデータ） (2024-07-26T10:49:14Z) - Improving Classification Performance With Human Feedback: Label a few,
we label the rest [2.7386128680964408]
本稿では,連続フィードバックループがモデルをどのように洗練し,精度,リコール,精度を向上させるかを理解することに焦点を当てる。
このアプローチをFinancial Phrasebank, Banking, Craigslist, Trec, Amazon Reviewsのデータセットでベンチマークし、ラベル付き例をいくつか挙げただけで、ゼロショットの大規模言語モデルの精度を上回ります。
論文 参考訳（メタデータ） (2024-01-17T19:13:05Z) - Netflix and Forget: Efficient and Exact Machine Unlearning from
Bi-linear Recommendations [15.789980605221672]
本稿では,行列補完に基づくリコメンデーションのための単純だが広範囲に展開されたバイ線形モデルに焦点を当てる。
本研究は,Alternating Least Squaresの下での微調整手順にいくつかの重要な変更を加えることにより,Unlearn-ALSを開発した。
実験の結果,Unlearn-ALSは幻想的モデル劣化を伴わない再訓練と整合性を示し,急速な収束を示した。
論文 参考訳（メタデータ） (2023-02-13T20:27:45Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-01-31T20:09:33Z) - Exploring Strategies for Generalizable Commonsense Reasoning with
Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。
2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。
我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文 参考訳（メタデータ） (2021-09-07T03:13:06Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - One-bit Supervision for Image Classification [121.87598671087494]
1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。
負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
論文 参考訳（メタデータ） (2020-09-14T03:06:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。