論文の概要: ELSA: Evaluating Localization of Social Activities in Urban Streets using Open-Vocabulary Detection

• arxiv url: http://arxiv.org/abs/2406.01551v2
• Date: Thu, 05 Dec 2024 14:25:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:37:25.061071
• Title: ELSA: Evaluating Localization of Social Activities in Urban Streets using Open-Vocabulary Detection
• Title（参考訳）: ELSA:オープンボキャブラリ検出による街路における社会活動の地域化の評価
• Authors: Maryam Hosseini, Marco Cipriano, Sedigheh Eslami, Daniel Hodczak, Liu Liu, Andres Sevtsuk, Gerard de Melo,
• Abstract要約: 本稿では,社会活動のローカライゼーションを評価するELSAについて紹介する。 重なり合う予測における意味的一貫性を評価するため,新しい信頼度スコア計算手法であるNLSEと,新しい動的ボックス集約(DBA)アルゴリズムを導入する。 我々は,広く使用されているSOTAモデルであるGrounding DINO, Detic, OWL, MDETRについて報告する。
• 参考スコア（独自算出の注目度）: 22.420962041487282
• License:
• Abstract: Existing Open Vocabulary Detection (OVD) models exhibit a number of challenges. They often struggle with semantic consistency across diverse inputs, and are often sensitive to slight variations in input phrasing, leading to inconsistent performance. The calibration of their predictive confidence, especially in complex multi-label scenarios, remains suboptimal, frequently resulting in overconfident predictions that do not accurately reflect their context understanding. To understand these limitations, multi-label detection benchmarks are needed. A particularly challenging domain for such benchmarking is social activities. Due to the lack of multi-label benchmarks for social interactions, in this work we present ELSA: Evaluating Localization of Social Activities. ELSA draws on theoretical frameworks in urban sociology and design and uses in-the-wild street-level imagery, where the size of groups and the types of activities vary significantly. ELSA includes more than 900 manually annotated images with more than 4,300 multi-labeled bounding boxes for individual and group activities. We introduce a novel confidence score computation method NLSE and a novel Dynamic Box Aggregation (DBA) algorithm to assess semantic consistency in overlapping predictions. We report our results on the widely-used SOTA models Grounding DINO, Detic, OWL, and MDETR. Our evaluation protocol considers semantic stability and localization accuracy and further exposes the limitations of existing approaches.
• Abstract（参考訳）: 既存のOpen Vocabulary Detection (OVD)モデルには、いくつかの課題がある。 彼らは様々な入力のセマンティックな一貫性に苦しむことが多く、入力のフレーズのわずかなバリエーションに敏感であり、一貫性のないパフォーマンスをもたらす。 予測信頼性の校正、特に複雑なマルチラベルのシナリオでは、しばしばコンテキスト理解を正確に反映しない過信予測が生じる。 これらの制限を理解するには、マルチラベル検出ベンチマークが必要である。 このようなベンチマークを行う上で特に困難な分野は、社会活動である。 社会的相互作用のマルチラベルベンチマークが欠如しているため、本稿ではELSA: Evaluating Localization of Social Activityを紹介する。 ELSAは、都市社会学とデザインの理論的枠組みに基づいており、グループの大きさや活動の種類が著しく異なる街路レベルの画像を使用する。 ELSAには900以上の手動の注釈付き画像が含まれており、4300以上の複数ラベル付きバウンディングボックスがある。 重なり合う予測における意味的一貫性を評価するため,新しい信頼度スコア計算手法であるNLSEと,新しい動的ボックス集約(DBA)アルゴリズムを導入する。 我々は,広く使用されているSOTAモデルであるGrounding DINO, Detic, OWL, MDETRについて報告する。 評価プロトコルは意味的安定性と局所化の精度を考慮し,既存のアプローチの限界を明らかにする。

関連論文リスト

• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation On Diverse Modalities [55.87169702896249]
  Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。 本稿では,再重み付け,マッピング,部分空間アライメントなど,既存の浅層アルゴリズムの完全かつ公平な評価を行う。 本ベンチマークでは,現実的な検証の重要性を強調し,現実的なアプリケーションに対する実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-07-16T12:52:29Z)
• Dynamic Correlation Learning and Regularization for Multi-Label Confidence Calibration [60.95748658638956]
  本稿では,多ラベルシナリオにおける信頼度を適切に評価することを目的としたマルチラベル信頼性タスクを提案する。 既存のシングルラベルキャリブレーション手法では、セマンティックな混乱に対処するために欠かせないカテゴリ相関を考慮できない。 本稿では,多粒度セマンティック相関を利用した動的相関学習と正規化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-09T13:26:21Z)
• SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation [23.203761925540736]
  対話評価のためのフレームワークSLIDE(Small and Large Integrated for Dialogue Evaluation)を提案する。 本手法は, 分類タスクと評価タスクの両方において最先端のパフォーマンスを達成し, また, SLIDEは人的評価器との相関性も良好である。
  論文  参考訳（メタデータ） (2024-05-24T20:32:49Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Accounting for multiplicity in machine learning benchmark performance [0.0]
  最先端のパフォーマンスをSOTA(State-of-the-art)のパフォーマンスの見積として使うのはバイアスのある推定器であり、過度に楽観的な結果をもたらす。 本稿では、複数の分類器の場合の確率分布について、既知の解析手法を適用できるようにし、より優れたSOTA推定値を提供する。
  論文  参考訳（メタデータ） (2023-03-10T10:32:18Z)
• Active Learning-based Isolation Forest (ALIF): Enhancing Anomaly Detection in Decision Support Systems [2.922007656878633]
  ALIFは一般的な孤立林の軽量な修正であり、他の最先端のアルゴリズムと比較して優れた性能を示した。 提案手法は,現実のシナリオでますます普及しているDSS(Decision Support System)の存在に特に注目されている。
  論文  参考訳（メタデータ） (2022-07-08T14:36:38Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Uncertainty-aware Score Distribution Learning for Action Quality Assessment [91.05846506274881]
  行動品質評価(AQA)のための不確実性認識スコア分布学習(USDL)手法を提案する。 具体的には、異なる評価スコアの確率を記述したスコア分布に関連する事例として、アクションを考察する。 微粒なスコアラベルが利用できる状況下では、多パス不確実性を考慮したスコア分布学習法(MUSDL)を考案し、スコアの不整合成分を探索する。
  論文  参考訳（メタデータ） (2020-06-13T15:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。