論文の概要: Practical Benefits of Feature Feedback Under Distribution Shift
- arxiv url: http://arxiv.org/abs/2110.07566v1
- Date: Thu, 14 Oct 2021 17:35:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-15 12:30:59.253328
- Title: Practical Benefits of Feature Feedback Under Distribution Shift
- Title(参考訳): 配電シフト時の特徴フィードバックの実用的効果
- Authors: Anurag Katakkar, Weiqin Wang, Clay H. Yoo, Zachary C. Lipton, Divyansh
Kaushik
- Abstract要約: 機能フィードバック手法は、様々な自然なドメイン外データセットにおいて、より優れた性能を発揮することを示す。
対照的に、自然言語の推論タスクでは、パフォーマンスは相容れない。
- 参考スコア(独自算出の注目度): 23.615375479758452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In attempts to develop sample-efficient algorithms, researcher have explored
myriad mechanisms for collecting and exploiting feature feedback, auxiliary
annotations provided for training (but not test) instances that highlight
salient evidence. Examples include bounding boxes around objects and salient
spans in text. Despite its intuitive appeal, feature feedback has not delivered
significant gains in practical problems as assessed on iid holdout sets.
However, recent works on counterfactually augmented data suggest an alternative
benefit of supplemental annotations: lessening sensitivity to spurious patterns
and consequently delivering gains in out-of-domain evaluations. Inspired by
these findings, we hypothesize that while the numerous existing methods for
incorporating feature feedback have delivered negligible in-sample gains, they
may nevertheless generalize better out-of-domain. In experiments addressing
sentiment analysis, we show that feature feedback methods perform significantly
better on various natural out-of-domain datasets even absent differences on
in-domain evaluation. By contrast, on natural language inference tasks,
performance remains comparable. Finally, we compare those tasks where feature
feedback does (and does not) help.
- Abstract(参考訳): サンプル効率のアルゴリズムを開発するために、研究者は、有能なエビデンスを強調するトレーニング(ただし、テストではない)インスタンスのための補助アノテーションである、特徴フィードバックの収集と活用のための無数のメカニズムを探索した。
例えば、オブジェクトのバウンディングボックスやテキスト中のサリアンスパンなどです。
直感的なアピールにもかかわらず、機能フィードバックは、iidホールドアウトセットで評価されるような実用的な問題において大きな成果をもたらしていない。
しかし、近年の反実的な拡張データの研究は、補足アノテーションの代替の利点として、スプリアスパターンに対する感度の低下と、ドメイン外評価における利得の達成を示唆している。
これらの知見に触発されて,機能フィードバックを取り入れた既存手法が無視可能なインサンプルゲインを実現している一方で,ドメイン外の領域を一般化する可能性が示唆された。
感情分析を行う実験において, 特徴フィードバック手法はドメイン内評価に違いがない場合でも, 様々な自然のドメイン外データセットにおいて有意に優れた性能を示す。
対照的に、自然言語の推論タスクでは、パフォーマンスは相容れない。
最後に、機能フィードバックが役に立たない(しない)タスクを比較します。
関連論文リスト
- Mitigating Feature Gap for Adversarial Robustness by Feature
Disentanglement [61.048842737581865]
逆方向の微調整法は, 逆方向の訓練方法で, 自然に事前訓練されたモデルを微調整することにより, 逆方向の強靭性を高めることを目的としている。
特徴ギャップの原因となる潜伏する特徴を明示的にモデル化し,取り除く,アンタングルメントに基づくアプローチを提案する。
3つのベンチマークデータセットに対する実証的な評価は、我々のアプローチが既存の逆方向の微調整法や逆方向のトレーニングベースラインを超えていることを示している。
論文 参考訳(メタデータ) (2024-01-26T08:38:57Z) - Discovering Object-Centric Generalized Value Functions From Pixels [17.10287710842919]
本研究では,対象物から意味のある特徴を発見し,時間的コヒーレントな「探索」関数に翻訳する手法を提案する。
また,探索された一般値関数を解析し,学習された表現が解釈可能であるだけでなく,高速な適応を容易にするタスク間で不変なオブジェクトを中心にしていることを示す。
論文 参考訳(メタデータ) (2023-04-27T00:34:24Z) - ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。
本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
論文 参考訳(メタデータ) (2022-05-10T15:39:11Z) - Con$^{2}$DA: Simplifying Semi-supervised Domain Adaptation by Learning
Consistent and Contrastive Feature Representations [1.2891210250935146]
Con$2$DAは、半教師付き学習の最近の進歩を半教師付きドメイン適応問題に拡張するフレームワークである。
我々のフレームワークは、与えられた入力に対してデータ変換を行うことで、関連するサンプルのペアを生成する。
我々は、異なる損失関数を使用して、関連するデータペアのサンプルの特徴表現間の一貫性を強制します。
論文 参考訳(メタデータ) (2022-04-04T15:05:45Z) - Understanding Contrastive Learning Requires Incorporating Inductive
Biases [64.56006519908213]
下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。
このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
論文 参考訳(メタデータ) (2022-02-28T18:59:20Z) - Time to Focus: A Comprehensive Benchmark Using Time Series Attribution
Methods [4.9449660544238085]
本論文は時系列解析といくつかの最先端属性手法のベンチマークに焦点をあてる。
本実験では, 勾配および摂動に基づく帰属法について検討した。
その結果,最も適した帰属法を選択することは,所望のユースケースと強く相関していることが示唆された。
論文 参考訳(メタデータ) (2022-02-08T10:06:13Z) - Can contrastive learning avoid shortcut solutions? [88.249082564465]
暗黙的特徴修正(IFM)は、より広い種類の予測的特徴を捉えるために、対照的なモデルを導くために、正と負のサンプルを変更する方法である。
IFMは特徴抑制を低減し、その結果、視覚および医用画像タスクのパフォーマンスが向上する。
論文 参考訳(メタデータ) (2021-06-21T16:22:43Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳(メタデータ) (2021-04-12T18:50:11Z) - How Useful are Reviews for Recommendation? A Critical Review and
Potential Improvements [8.471274313213092]
本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。
実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。
さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
論文 参考訳(メタデータ) (2020-05-25T16:30:05Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。