Fugu-MT 論文翻訳(概要): dacl1k: Real-World Bridge Damage Dataset Putting Open-Source Data to the Test

論文の概要: dacl1k: Real-World Bridge Damage Dataset Putting Open-Source Data to the Test

arxiv url: http://arxiv.org/abs/2309.03763v1
Date: Thu, 7 Sep 2023 15:05:35 GMT
ステータス: 処理完了
システム内更新日: 2023-09-08 12:40:40.033026
Title: dacl1k: Real-World Bridge Damage Dataset Putting Open-Source Data to the Test
Title（参考訳）: dacl1k: オープンソースのデータをテストに当てる実世界のブリッジ損傷データセット
Authors: Johannes Flotzinger, Philipp J. R\"osch, Norbert Oswald, Thomas Braml
Abstract要約: dacl1kは1,474枚の画像を含む建築検査に基づく多ラベル分類のための多ラベルRCDデータセットである。我々は、オープンソースデータ(メタデータセット)の異なる組み合わせに基づいてモデルを訓練し、その後、外在的にも内在的にも評価された。 dacl1kの性能分析は、メタデータの実用性を示し、最良のモデルでは、Exact Match比が32%である。
参考スコア（独自算出の注目度）: 0.6827423171182154
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recognising reinforced concrete defects (RCDs) is a crucial element for determining the structural integrity, traffic safety and durability of bridges. However, most of the existing datasets in the RCD domain are derived from a small number of bridges acquired in specific camera poses, lighting conditions and with fixed hardware. These limitations question the usability of models trained on such open-source data in real-world scenarios. We address this problem by testing such models on our "dacl1k" dataset, a highly diverse RCD dataset for multi-label classification based on building inspections including 1,474 images. Thereby, we trained the models on different combinations of open-source data (meta datasets) which were subsequently evaluated both extrinsically and intrinsically. During extrinsic evaluation, we report metrics on dacl1k and the meta datasets. The performance analysis on dacl1k shows practical usability of the meta data, where the best model shows an Exact Match Ratio of 32%. Additionally, we conduct an intrinsic evaluation by clustering the bottleneck features of the best model derived from the extrinsic evaluation in order to find out, if the model has learned distinguishing datasets or the classes (RCDs) which is the aspired goal. The dacl1k dataset and our trained models will be made publicly available, enabling researchers and practitioners to put their models to the real-world test.
Abstract（参考訳）: 鉄筋コンクリート欠陥(RCD)の認識は,橋梁の構造的完全性,交通安全,耐久性を決定する重要な要素である。しかし、rcdドメインにある既存のデータセットのほとんどは、特定のカメラポーズ、照明条件、固定されたハードウェアで取得された少数のブリッジに由来する。これらの制限は、実際のシナリオでそのようなオープンソースデータに基づいてトレーニングされたモデルのユーザビリティに疑問を呈する。我々は,1,474枚の画像を含む建築検査に基づく多ラベル分類のための非常に多様なRCDデータセットである"dacl1k"データセット上で,そのようなモデルをテストすることでこの問題に対処する。そこで,我々はオープンソースデータ(メタデータセット)の異なる組み合わせでモデルを訓練し,それらの組み合わせは外部的および本質的に評価された。外部評価では,dacl1kとメタデータセットのメトリクスを報告する。 dacl1kのパフォーマンス分析はメタデータの実用的な使用性を示し、最良のモデルは正確な一致率32%を示す。さらに,モデルがデータセットの識別や目標となるクラス(rcds)を学習した場合には,外部評価から導出した最良モデルのボトルネック特性をクラスタリングすることにより,本質的な評価を行う。 dacl1kデータセットとトレーニング済みのモデルが公開され、研究者や実践者がモデルを実世界でテストできるようになります。

関連論文リスト

A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-15T03:00:58Z)
On Evaluation of Vision Datasets and Models using Human Competency Frameworks [20.802372291783488]
アイテム応答理論(IRT)は、モデルと各データセット項目のアンサンブルに対して解釈可能な潜在パラメータを推論するフレームワークである。モデルキャリブレーションを評価し、情報的データサブセットを選択し、コンピュータビジョンにおけるモデルとデータセットを解析・比較するための潜在パラメータの有用性を実証する。
論文参考訳（メタデータ） (2024-09-06T06:20:11Z)
SARDet-100K: Towards Open-Source Benchmark and ToolKit for Large-Scale SAR Object Detection [79.23689506129733]
我々は,大規模SARオブジェクト検出のための新しいベンチマークデータセットとオープンソース手法を構築した。私たちのデータセットであるSARDet-100Kは、10の既存のSAR検出データセットの厳格な調査、収集、標準化の結果です。私たちの知る限りでは、SARDet-100KはCOCOレベルの大規模マルチクラスSARオブジェクト検出データセットとしては初めてのものです。
論文参考訳（メタデータ） (2024-03-11T09:20:40Z)
dacl10k: Benchmark for Semantic Bridge Damage Segmentation [0.0]
dacl10kは、現実世界の橋梁検査から得られる9,920枚の画像からなる、セマンティックセグメンテーションのための非常に多様なRCDデータセットである。 dacl10kは、建物評価と推奨行動において重要な役割を果たす6つのブリッジコンポーネントに加えて、12の損傷クラスを区別する。
論文参考訳（メタデータ） (2023-09-01T13:46:24Z)
Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文参考訳（メタデータ） (2023-05-23T12:05:09Z)
Revisiting Table Detection Datasets for Visually Rich Documents [17.846536373106268]
この研究では、高品質なアノテーションでいくつかのオープンデータセットを再検討し、ノイズを特定し、クリーン化し、これらのデータセットのアノテーション定義を、Open-Tablesと呼ばれるより大きなデータセットとマージするように調整する。情報通信技術(ICT)コモディティのPDFファイルを用いた新しいICT-TDデータセットを提案する。実験の結果,データソースが異なるにも関わらず,既存のオープンデータセット間の領域差は小さいことがわかった。
論文参考訳（メタデータ） (2023-05-04T01:08:15Z)
Scene-centric vs. Object-centric Image-Text Cross-modal Retrieval: A Reproducibility Study [55.964387734180114]
クロスモーダル検索(CMR)アプローチは通常、オブジェクト中心のデータセットに焦点を当てる。本稿では、データセットの種類によって異なる結果とそれらの一般化性に焦点を当てる。アーキテクチャの異なる2つの最先端CMRモデルを選択する。これらのデータセットから選択したモデルの相対的性能を決定する。
論文参考訳（メタデータ） (2023-01-12T18:00:00Z)
MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。 MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
論文参考訳（メタデータ） (2021-12-27T16:16:35Z)
Label-Free Model Evaluation with Semi-Structured Dataset Representations [78.54590197704088]
ラベルなしモデル評価(AutoEval)は、ラベルなしテストセットでモデル精度を推定する。画像ラベルがない場合、データセット表現に基づいて、回帰を伴うAutoEvalのモデル性能を推定する。本稿では,AutoEvalのリッチな情報を含む回帰学習のための半構造化データセット表現を提案する。
論文参考訳（メタデータ） (2021-12-01T18:15:58Z)
BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models [41.45240621979654]
情報検索のための異種ベンチマークであるBEIRを紹介する。ゼロショット評価設定における9つの最先端の検索モデルの有効性を検討する。 Dense-Retrievalモデルは計算効率が良いが、他のアプローチでは性能が劣ることが多い。
論文参考訳（メタデータ） (2021-04-17T23:29:55Z)
On the Composition and Limitations of Publicly Available COVID-19 X-Ray Imaging Datasets [0.0]
データ不足、トレーニングとターゲット人口のミスマッチ、グループ不均衡、ドキュメントの欠如は、バイアスの重要な原因である。本稿では,現在公開されている新型コロナウイルス胸部X線データセットの概要を紹介する。
論文参考訳（メタデータ） (2020-08-26T14:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。