論文の概要: Out-of-Distribution Learning with Human Feedback
- arxiv url: http://arxiv.org/abs/2408.07772v1
- Date: Wed, 14 Aug 2024 18:49:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 15:48:53.096741
- Title: Out-of-Distribution Learning with Human Feedback
- Title（参考訳）: 人のフィードバックによるアウト・オブ・ディストリビューション学習
- Authors: Haoyue Bai, Xuefeng Du, Katie Rainey, Shibin Parameswaran, Yixuan Li,
- Abstract要約: 本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。
当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。
人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
- 参考スコア（独自算出の注目度）: 26.398598663165636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Out-of-distribution (OOD) learning often relies heavily on statistical approaches or predefined assumptions about OOD data distributions, hindering their efficacy in addressing multifaceted challenges of OOD generalization and OOD detection in real-world deployment environments. This paper presents a novel framework for OOD learning with human feedback, which can provide invaluable insights into the nature of OOD shifts and guide effective model adaptation. Our framework capitalizes on the freely available unlabeled data in the wild that captures the environmental test-time OOD distributions under both covariate and semantic shifts. To harness such data, our key idea is to selectively provide human feedback and label a small number of informative samples from the wild data distribution, which are then used to train a multi-class classifier and an OOD detector. By exploiting human feedback, we enhance the robustness and reliability of machine learning models, equipping them with the capability to handle OOD scenarios with greater precision. We provide theoretical insights on the generalization error bounds to justify our algorithm. Extensive experiments show the superiority of our method, outperforming the current state-of-the-art by a significant margin.
- Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)学習は、OODデータ分布に関する統計的アプローチや事前定義された仮定に大きく依存することが多く、実際のデプロイメント環境でのOOD一般化とOOD検出の多面的課題に対処する上で、その有効性を妨げている。
本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案し,OODシフトの性質に関する貴重な洞察を与え,効果的なモデル適応を導く。
筆者らのフレームワークは,環境テスト時のOOD分布を,共変量とセマンティックシフトの両方で捉えた,自由に利用可能な未ラベルデータに便乗している。
このようなデータを活用するためには、人間のフィードバックを選択的に提供し、野生のデータ分布から少数の情報的サンプルをラベル付けして、マルチクラス分類器とOOD検出器を訓練する。
人間のフィードバックを活用することで、機械学習モデルの堅牢性と信頼性を高め、より正確なOODシナリオを処理できる能力を備えています。
アルゴリズムを正当化するために一般化誤差境界に関する理論的知見を提供する。
大規模な実験により,本手法の優位性が示され,現状の最先端を著しく上回った。
関連論文リスト
- AHA: Human-Assisted Out-of-Distribution Generalization and Detection [10.927973527794155]
本稿では,AHA(Adaptive Human-Assisted OOD learning)の新たな統合的アプローチを提案する。
OODの一般化と、野生のデータのラベル付けによる人力支援フレームワークによる検出の両方に対処する。
本手法は,人的援助を伴わない既存の最先端手法を著しく上回っている。
論文 参考訳（メタデータ） (2024-10-10T14:57:11Z) - WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。
我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
論文 参考訳（メタデータ） (2024-05-27T13:38:28Z) - A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。
本報告は,OOD評価の総合的な評価を行うための最初の試みである。
我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
論文 参考訳（メタデータ） (2024-03-04T09:30:35Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:26:52Z) - Learning to Augment Distributions for Out-of-Distribution Detection [49.12437300327712]
アウト・オブ・ディストリビューション (OOD) は、ラベルがイン・ディストリビューション (ID) の場合と区別される。
我々は,OODの分布差を軽減するためにDAL(distributal-Augmented OOD Learning)を提案する。
論文 参考訳（メタデータ） (2023-11-03T09:19:33Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T15:38:39Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。