論文の概要: Waste-Bench: A Comprehensive Benchmark for Evaluating VLLMs in Cluttered Environments

• arxiv url: http://arxiv.org/abs/2509.00176v1
• Date: Fri, 29 Aug 2025 18:22:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.110566
• Title: Waste-Bench: A Comprehensive Benchmark for Evaluating VLLMs in Cluttered Environments
• Title（参考訳）: Waste-Bench: クラッタ環境におけるVLLM評価のための総合ベンチマーク
• Authors: Muhammad Ali, Salman Khan,
• Abstract要約: 実世界のシナリオにおける廃棄物の分類に特化して設計された新しいデータセットを提案する。 本稿では,視覚大言語モデルの頑健さと精度を徹底的に評価するための詳細な評価手法を提案する。 以上の結果から,複雑な環境下でのVLLMのさらなる向上の必要性が示唆された。
• 参考スコア（独自算出の注目度）: 14.305005964980573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Large Language Models (LLMs) have paved the way for Vision Large Language Models (VLLMs) capable of performing a wide range of visual understanding tasks. While LLMs have demonstrated impressive performance on standard natural images, their capabilities have not been thoroughly explored in cluttered datasets where there is complex environment having deformed shaped objects. In this work, we introduce a novel dataset specifically designed for waste classification in real-world scenarios, characterized by complex environments and deformed shaped objects. Along with this dataset, we present an in-depth evaluation approach to rigorously assess the robustness and accuracy of VLLMs. The introduced dataset and comprehensive analysis provide valuable insights into the performance of VLLMs under challenging conditions. Our findings highlight the critical need for further advancements in VLLM's robustness to perform better in complex environments. The dataset and code for our experiments will be made publicly available.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、広範囲の視覚的理解タスクを実行することができる視覚的大規模言語モデル(VLLM)の道を開いた。 LLMは、標準的な自然画像に対して印象的な性能を示してきたが、その能力は、変形した形状のオブジェクトを持つ複雑な環境のある散在したデータセットでは、徹底的に調べられていない。 本研究では, 複雑な環境と変形した形状の物体を特徴とする, 現実シナリオにおける廃棄物の分類に特化して設計された新しいデータセットを提案する。 このデータセットと合わせて,VLLMの頑健さと精度を厳密に評価するための奥行き評価手法を提案する。 導入されたデータセットと包括的な分析は、挑戦的な条件下でのVLLMのパフォーマンスに関する貴重な洞察を提供する。 以上の結果から,複雑な環境下でのVLLMのロバスト性向上への重要なニーズが浮き彫りになった。 実験用のデータセットとコードは公開されます。

関連論文リスト

• HeroBench: A Benchmark for Long-Horizon Planning and Structured Reasoning in Virtual Worlds [0.0]
  大規模言語モデル(LLM)は、数学やプログラミングのようなステップバイステップの推論タスクにおいて顕著な能力を示している。 しかし、ソリューションが拡張され、構造化された相互依存的なアクションのシーケンスを必要とする長期計画におけるそれらの習熟度は、まだ未解明のままである。 我々は,RPGにインスパイアされた複雑な仮想世界において,長期計画と構造化推論を評価するために設計された新しいベンチマークであるHeroBenchを紹介する。
  論文  参考訳（メタデータ） (2025-08-18T09:59:02Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Integrating Frequency-Domain Representations with Low-Rank Adaptation in Vision-Language Models [0.6715525121432597]
  本研究では,特徴抽出,拡張性,効率性を向上する新しい視覚言語モデル(VLM)フレームワークを提案する。 ガウス雑音のレベルが異なるベンチマークデータセットを用いて,キャプション生成モデルと視覚質問応答(VQA)タスクの評価を行った。 我々のモデルは、特に無人地上車両(UGV)に搭載されたRealSenseカメラで捉えた現実世界のイメージに対して、より詳細で文脈的に関係のある応答を提供する。
  論文  参考訳（メタデータ） (2025-03-08T01:22:10Z)
• LLM-Forest: Ensemble Learning of LLMs with Graph-Augmented Prompts for Data Imputation [50.375567142250446]
  巨大なコーパスで訓練された大規模言語モデル(LLM)は、データ生成に強い可能性を示している。 我々は,信頼度に基づく重み付け投票によって出力を集約した,数発のプロンプト学習 LLM ツリーの "フォレスト" を導入した新しいフレームワーク LLM-Forest を提案する。 このフレームワークは、2部情報グラフという新しい概念に基づいて構築され、特徴と値の粒度の両方で高品質な関連項目を識別する。
  論文  参考訳（メタデータ） (2024-10-28T20:42:46Z)
• PUB: Plot Understanding Benchmark and Dataset for Evaluating Large Language Models on Synthetic Visual Data Interpretation [2.1184929769291294]
  本稿では,データ視覚化における大規模言語モデルの習熟度を評価するために設計された,新しい合成データセットを提案する。 我々のデータセットは、制御されたパラメータを使って生成され、潜在的な現実世界シナリオの包括的カバレッジが保証されます。 我々は、画像中の視覚データに関連する質問を多モーダルテキストプロンプトを用いて、いくつかの最先端モデルをベンチマークする。
  論文  参考訳（メタデータ） (2024-09-04T11:19:17Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Object Retrieval for Visual Question Answering with Outside Knowledge [15.749543297423582]
  外部知識(OR-OK-VQA)を用いた視覚的質問応答のためのオブジェクト検索タスクを提案する。 このタスクにおける重要な課題は、質問への回答に寄与する多様なオブジェクト関連画像を取得することである。 本稿では,マルチスケールグループ共同埋め込み学習(MS-GCEL)と呼ばれる,教師なしの深層機能埋め込み技術を紹介する。
  論文  参考訳（メタデータ） (2024-03-16T04:01:50Z)
• Revisit Input Perturbation Problems for LLMs: A Unified Robustness Evaluation Framework for Noisy Slot Filling Task [18.623619585980688]
  本研究では,大言語モデルの対話理解能力を評価するために,スロット充足タスクに基づく統一ロバストネス評価フレームワークを提案する。 具体的には,5種類の単一摂動と4種類の混合摂動データを含む入力摂動評価データセットであるノイズLLMを構築した。 本研究の目的は,LLMの様々なロバスト性評価手法が実世界の雑音のシナリオでどの程度機能するかを評価することである。
  論文  参考訳（メタデータ） (2023-10-10T10:22:05Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。