論文の概要: ShiftedBronzes: Benchmarking and Analysis of Domain Fine-Grained Classification in Open-World Settings
- arxiv url: http://arxiv.org/abs/2412.12683v1
- Date: Tue, 17 Dec 2024 08:56:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:58:43.435503
- Title: ShiftedBronzes: Benchmarking and Analysis of Domain Fine-Grained Classification in Open-World Settings
- Title(参考訳): ShiftedBronzes: オープンワールド設定におけるドメインファイングラインド分類のベンチマークと解析
- Authors: Rixin Zhou, Honglin Pang, Qian Zhang, Ruihua Qi, Xi Yang, Chuntao Li,
- Abstract要約: ShiftedBronzesは、きめ細かい青銅器年代測定のためのベンチマークデータセットである。
ShiftedBronzesには2種類の青銅器データと7種類のOODデータが含まれている。
ShiftedBronzesと5つの一般的なOODデータセットについて実験を行った。
- 参考スコア(独自算出の注目度): 5.144974645567005
- License:
- Abstract: In real-world applications across specialized domains, addressing complex out-of-distribution (OOD) challenges is a common and significant concern. In this study, we concentrate on the task of fine-grained bronze ware dating, a critical aspect in the study of ancient Chinese history, and developed a benchmark dataset named ShiftedBronzes. By extensively expanding the bronze Ding dataset, ShiftedBronzes incorporates two types of bronze ware data and seven types of OOD data, which exhibit distribution shifts commonly encountered in bronze ware dating scenarios. We conduct benchmarking experiments on ShiftedBronzes and five commonly used general OOD datasets, employing a variety of widely adopted post-hoc, pre-trained Vision Large Model (VLM)-based and generation-based OOD detection methods. Through analysis of the experimental results, we validate previous conclusions regarding post-hoc, VLM-based, and generation-based methods, while also highlighting their distinct behaviors on specialized datasets. These findings underscore the unique challenges of applying general OOD detection methods to domain-specific tasks such as bronze ware dating. We hope that the ShiftedBronzes benchmark provides valuable insights into both the field of bronze ware dating and the and the development of OOD detection methods. The dataset and associated code will be available later.
- Abstract(参考訳): 専門分野にわたる現実世界のアプリケーションでは、複雑なアウト・オブ・ディストリビューション(OOD)の課題に対処することが一般的で重要な関心事である。
本研究では,古代中国史研究における重要な側面である細粒青銅器年代測定の課題に集中し,ShiftedBronzesというベンチマークデータセットを開発した。
ShiftedBronzesは、青銅器データセットを広範囲に拡張することで、2種類の青銅器データと7種類のOODデータを取り込み、青銅器年代測定のシナリオでよく見られる分布変化を示す。
我々は、ShiftedBronzesと5つの一般的なOODデータセットのベンチマーク実験を行い、広く採用されているポストホック、事前訓練された視覚大モデル(VLM)に基づく、世代ベースのOOD検出手法を採用した。
実験結果の分析を通じて, ポストホック, VLM, ジェネレーションベースの手法に関する過去の結論を検証し, また, 特定のデータセット上での異なる振る舞いを強調した。
これらの結果は,青銅器年代測定などのドメイン固有のタスクに一般OOD検出法を適用するという,ユニークな課題を浮き彫りにした。
ShiftedBronzesベンチマークは、青銅器年代測定の分野とOOD検出手法の開発の両方に関する貴重な知見を提供することを期待している。
データセットと関連するコードは後日公開される予定だ。
関連論文リスト
- WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。
我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
論文 参考訳(メタデータ) (2024-05-27T13:38:28Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:47:13Z) - ExCeL : Combined Extreme and Collective Logit Information for Enhancing
Out-of-Distribution Detection [9.689089164964484]
ExCeLは出力層内の極端な情報と集合情報を結合し、OOD検出の精度を向上する。
ExCeLは、既存の21のポストホックベースラインの中で、一貫して5つのトップパフォーマンスメソッドのうちの1つである。
論文 参考訳(メタデータ) (2023-11-23T14:16:03Z) - DIVERSIFY: A General Framework for Time Series Out-of-distribution
Detection and Generalization [58.704753031608625]
時系列は、機械学習研究における最も困難なモダリティの1つである。
時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。
時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
論文 参考訳(メタデータ) (2023-08-04T12:27:11Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-24T18:50:49Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳(メタデータ) (2023-06-07T17:47:03Z) - A Survey on Out-of-Distribution Detection in NLP [119.80687868012393]
現実世界における機械学習システムの信頼性と安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,OOD検出の最近の進歩について,特に自然言語処理に焦点をあてて概説する。
論文 参考訳(メタデータ) (2023-05-05T01:38:49Z) - Multi-Granularity Archaeological Dating of Chinese Bronze Dings Based on
a Knowledge-Guided Relation Graph [5.359415272318481]
現在の考古学は、青銅年代測定を行うための訓練された専門家に依存している。
先進的な深層学習技術と考古学的知識を統合するための学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2023-03-27T14:54:50Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳(メタデータ) (2022-10-17T14:32:02Z) - OpenOOD: Benchmarking Generalized Out-of-Distribution Detection [60.13300701826931]
アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。
この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。
関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
論文 参考訳(メタデータ) (2022-10-13T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。