論文の概要: Reliability in Semantic Segmentation: Can We Use Synthetic Data?
- arxiv url: http://arxiv.org/abs/2312.09231v2
- Date: Tue, 24 Sep 2024 13:05:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:46:30.927988
- Title: Reliability in Semantic Segmentation: Can We Use Synthetic Data?
- Title(参考訳): セマンティックセグメンテーションにおける信頼性:合成データの利用は可能か?
- Authors: Thibaut Loiseau, Tuan-Hung Vu, Mickael Chen, Patrick Pérez, Matthieu Cord,
- Abstract要約: セマンティックセグメンテーションモデルの現実的信頼性を総合的に評価するために、合成データを具体的に生成する方法を初めて示す。
この合成データは、事前訓練されたセグメンタの堅牢性を評価するために使用される。
セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを実証する。
- 参考スコア(独自算出の注目度): 69.28268603137546
- License:
- Abstract: Assessing the robustness of perception models to covariate shifts and their ability to detect out-of-distribution (OOD) inputs is crucial for safety-critical applications such as autonomous vehicles. By nature of such applications, however, the relevant data is difficult to collect and annotate. In this paper, we show for the first time how synthetic data can be specifically generated to assess comprehensively the real-world reliability of semantic segmentation models. By fine-tuning Stable Diffusion with only in-domain data, we perform zero-shot generation of visual scenes in OOD domains or inpainted with OOD objects. This synthetic data is employed to evaluate the robustness of pretrained segmenters, thereby offering insights into their performance when confronted with real edge cases. Through extensive experiments, we demonstrate a high correlation between the performance of models when evaluated on our synthetic OOD data and when evaluated on real OOD inputs, showing the relevance of such virtual testing. Furthermore, we demonstrate how our approach can be utilized to enhance the calibration and OOD detection capabilities of segmenters. Code and data are made public.
- Abstract(参考訳): 自律走行車のような安全クリティカルなアプリケーションには、知覚モデルのコバリアレートシフトに対する堅牢性と、アウト・オブ・ディストリビューション(OOD)インプットを検出する能力を評価することが不可欠である。
しかし、そのようなアプリケーションの性質上、関連するデータは収集や注釈付けが困難である。
本稿では,セマンティックセグメンテーションモデルの現実的信頼性を包括的に評価するために,合成データを具体的に生成する方法を初めて示す。
ドメイン内データのみを用いて安定拡散を微調整することにより、OODドメインのゼロショット生成やOODオブジェクトのインペイントを行う。
この合成データは、事前訓練されたセグメンタのロバスト性を評価するために使用され、実際のエッジケースに直面した際のパフォーマンスに関する洞察を提供する。
広範にわたる実験により,我々の合成OODデータを用いた場合と実際のOOD入力による場合とでは高い相関性を示し,このような仮想テストの有効性を示す。
さらに,セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを示す。
コードとデータは公開されています。
関連論文リスト
- Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。
我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。
我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
論文 参考訳(メタデータ) (2024-06-18T08:38:59Z) - Best Practices and Lessons Learned on Synthetic Data for Language Models [83.63271573197026]
AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。
合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
論文 参考訳(メタデータ) (2024-04-11T06:34:17Z) - Instance-Level Safety-Aware Fidelity of Synthetic Data and Its Calibration [5.089356301032639]
4種類のインスタンスレベルの忠実さを導入し、安全クリティカルなアプリケーションにおけるその役割に焦点を当てる。
目的は、合成データにテストを適用することによって、現実世界の安全性の問題を明らかにすることだ。
論文 参考訳(メタデータ) (2024-02-10T19:45:40Z) - Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A
Comprehensive Benchmark [56.8042116967334]
合成データは、機械学習モデルのトレーニングの代替となる。
合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。
本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
論文 参考訳(メタデータ) (2023-10-25T20:32:02Z) - Synthetic Alone: Exploring the Dark Side of Synthetic Data for
Grammatical Error Correction [5.586798679167892]
データ中心のAIアプローチは、モデルを変更することなく、モデルのパフォーマンスを向上させることを目的としている。
データ品質管理手法は、実世界のデータで訓練されたモデルに肯定的な影響を与える。
合成データのみに基づいて訓練されたモデルでは、負の影響が観測される。
論文 参考訳(メタデータ) (2023-06-26T01:40:28Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳(メタデータ) (2023-03-09T04:36:38Z) - SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data [78.21197488065177]
近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。
本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
論文 参考訳(メタデータ) (2022-10-06T15:25:00Z) - Validation of Simulation-Based Testing: Bypassing Domain Shift with
Label-to-Image Synthesis [9.531148049378672]
本稿では,異なる転送可能性尺度とともに生成ラベル-画像合成モデルからなる新しいフレームワークを提案する。
シーンを駆動するセマンティックセグメンテーションタスクにおいて,本手法を実証的に検証する。
後者は実生活と合成テストを区別できるが、前者は自動車と歩行者の両方で0.7の驚くほど強い相関関係を観察する。
論文 参考訳(メタデータ) (2021-06-10T07:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。