Fugu-MT 論文翻訳(概要): LocateBench: Evaluating the Locating Ability of Vision Language Models

論文の概要: LocateBench: Evaluating the Locating Ability of Vision Language Models

arxiv url: http://arxiv.org/abs/2410.19808v1
Date: Thu, 17 Oct 2024 05:48:24 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-03 07:49:51.305995
Title: LocateBench: Evaluating the Locating Ability of Vision Language Models
Title（参考訳）: LocateBench: 視覚言語モデルのロケート能力の評価
Authors: Ting-Rui Chiang, Joshua Robinson, Xinyan Velocity Yu, Dani Yogatama,
Abstract要約: この能力を評価するためのベンチマークを提案する。いくつかの大きな視覚言語モデルの精度を計測する。最強モデルであるGPT-4oの精度でさえ、人間の精度を10%以上遅れている。
参考スコア（独自算出の注目度）: 25.133011378512066
License:
Abstract: The ability to locate an object in an image according to natural language instructions is crucial for many real-world applications. In this work we propose LocateBench, a high-quality benchmark dedicated to evaluating this ability. We experiment with multiple prompting approaches, and measure the accuracy of several large vision language models. We find that even the accuracy of the strongest model, GPT-4o, lags behind human accuracy by more than 10%.
Abstract（参考訳）: 自然言語の指示に従って画像中の物体を見つける能力は多くの現実世界のアプリケーションにとって不可欠である。本研究では,この能力を評価するための高品質なベンチマークであるLocateBenchを提案する。我々は複数のプロンプトアプローチを実験し、複数の大きな視覚言語モデルの精度を測定した。最強モデルであるGPT-4oの精度でさえ、人間の精度を10%以上遅れていることがわかった。

関連論文リスト

Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文参考訳（メタデータ） (2024-10-22T09:25:21Z)
Pushing the Limits of Vision-Language Models in Remote Sensing without Human Annotations [5.065947993017157]
本研究では、画像復号化機械学習モデルを用いて、視覚言語データセットをキュレートする手法を提案する。約960万の視覚言語対のデータセットをVHR画像で収集しました。結果として得られたモデルは、公開可能なビジョン言語データセットを活用できないものよりも優れていた。
論文参考訳（メタデータ） (2024-09-11T06:36:08Z)
Putting GPT-4o to the Sword: A Comprehensive Evaluation of Language, Vision, Speech, and Multimodal Proficiency [3.161954199291541]
本研究は, GPT-4oの言語, 視覚, 音声, マルチモーダル能力を包括的に評価する。 GPT-4oは、言語と推論能力において、複数のドメインにわたる高い精度と効率を示す。モデルは可変性を示し、複雑であいまいな入力を扱う際の制限に直面している。
論文参考訳（メタデータ） (2024-06-19T19:00:21Z)
GRASP: A novel benchmark for evaluating language GRounding And Situated Physics understanding in multimodal language models [4.354672867211922]
本稿では,ビデオベースマルチモーダル大言語モデル(LLM)の言語基盤と物理的理解能力を評価するための新しいベンチマークGRASPを提案する。我々は、最先端のマルチモーダルLCMの評価にそれを用いている。評価の結果,これらのモデルの言語基盤化や直感的な物理能力に重大な欠陥があることが判明した。
論文参考訳（メタデータ） (2023-11-15T15:38:28Z)
Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
論文参考訳（メタデータ） (2023-06-02T17:59:09Z)
Images in Language Space: Exploring the Suitability of Large Language Models for Vision & Language Tasks [17.97052348690598]
大規模言語モデルは、ゼロショットまたは少数ショット学習パラダイムを使用して、様々な言語タスクで堅牢なパフォーマンスを示す。入力としてイメージを付加的に処理できるマルチモーダルモデルは、言語のみのモデルでサイズと一般性に追いつかない。異なる言語モデルを用いて言語モデルに視覚情報をアクセスできるようにする。
論文参考訳（メタデータ） (2023-05-23T07:50:36Z)
Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。 Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文参考訳（メタデータ） (2022-07-15T11:39:37Z)
Multi Task Learning For Zero Shot Performance Prediction of Multilingual Models [12.759281077118567]
多言語トランスフォーマーに基づく言語モデルは、言語間のゼロショット転送において驚くほど効果的であることが観察されている。我々は,タスク上のゼロショット性能をマルチタスク学習問題としてモデル化することにより,タスク上のゼロショット性能を予測するための既存の手法を構築した。
論文参考訳（メタデータ） (2022-05-12T14:47:03Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。類型的に多様な訓練言語のサンプルからこの分布を推測する。我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文参考訳（メタデータ） (2021-08-06T23:49:18Z)
TuringAdvice: A Generative and Dynamic Evaluation of Language Use [90.3029315711237]
言語理解モデルのための新しい課題タスクとデータセットであるTuringAdviceを提案する。現実の人が現在直面している記述された状況を考えると、モデルは自然言語で有益なアドバイスを生成する必要がある。実証的な結果は、今日のモデルがTuringAdviceで苦労していることを示している。
論文参考訳（メタデータ） (2020-04-07T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。