論文の概要: KEBench: A Benchmark on Knowledge Editing for Large Vision-Language
Models
- arxiv url: http://arxiv.org/abs/2403.07350v1
- Date: Tue, 12 Mar 2024 06:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:43:05.604990
- Title: KEBench: A Benchmark on Knowledge Editing for Large Vision-Language
Models
- Title(参考訳): KEBench: 大規模視覚言語モデルのための知識編集ベンチマーク
- Authors: Han Huang, Haitian Zhong, Qiang Liu, Shu Wu, Liang Wang, Tieniu Tan
- Abstract要約: LVLM(Large Vision-Language Models)の編集は、さまざまなモダリティ(画像とテキスト)を統合すると同時に、一貫性とコンテキストに関連のある修正を保証する。
既存のベンチマークには、LVLMの知識編集を測定するための3つのメトリクス(信頼性、局所性、一般性)がある。
我々は、新しいベンチマークを構築するために異なるデータ収集メソッド、$textbfKEBench$を採用し、包括的な評価のために新しいメトリック(移植性)を拡張します。
- 参考スコア(独自算出の注目度): 52.11803779918731
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Currently, little research has been done on knowledge editing for Large
Vision-Language Models (LVLMs). Editing LVLMs faces the challenge of
effectively integrating diverse modalities (image and text) while ensuring
coherent and contextually relevant modifications. An existing benchmark has
three metrics (Reliability, Locality and Generality) to measure knowledge
editing for LVLMs. However, the benchmark falls short in the quality of
generated images used in evaluation and cannot assess whether models
effectively utilize edited knowledge in relation to the associated content. We
adopt different data collection methods to construct a new benchmark,
$\textbf{KEBench}$, and extend new metric (Portability) for a comprehensive
evaluation. Leveraging a multimodal knowledge graph, our image data exhibits
clear directionality towards entities. This directional aspect can be further
utilized to extract entity-related knowledge and form editing data. We
conducted experiments of different editing methods on five LVLMs, and
thoroughly analyze how these methods impact the models. The results reveal
strengths and deficiencies of these methods and, hopefully, provide insights
into potential avenues for future research.
- Abstract(参考訳): 現在、LVLM(Large Vision-Language Models)の知識編集についてはほとんど研究されていない。
LVLMの編集は、多種多様なモダリティ(画像とテキスト)を効果的に統合し、コヒーレントで文脈的に関連する修正を保証するという課題に直面している。
既存のベンチマークには、LVLMの知識編集を測定するための3つのメトリクス(信頼性、局所性、一般性)がある。
しかし、このベンチマークは、評価に使用される生成画像の品質に欠けており、関連するコンテンツに関して、モデルが効果的に編集された知識を利用するかどうかを評価できない。
我々は、新しいベンチマークを構築するために異なるデータ収集メソッド、$\textbf{KEBench}$を採用し、包括的な評価のために新しいメトリック(ポータビリティ)を拡張する。
マルチモーダルな知識グラフを利用すると、画像データはエンティティに対する明確な方向性を示す。
この方向的側面は、さらにエンティティ関連の知識やフォーム編集データを抽出するために利用することができる。
5つのlvlm上で異なる編集方法の実験を行い,これらの方法がモデルに与える影響を徹底的に解析した。
その結果、これらの手法の長所と短所が明らかとなり、将来の研究への潜在的道の洞察が得られればと願っている。
関連論文リスト
- Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - CODIS: Benchmarking Context-Dependent Visual Comprehension for
Multimodal Large Language Models [60.27894243926344]
我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。
以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。
このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-21T08:21:12Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [83.73538305784763]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Analyzing the Efficacy of an LLM-Only Approach for Image-based Document
Question Answering [12.064056743478865]
文書質問応答タスクにおける視覚エンコーダと言語モデルの相対的寄与について検討する。
我々の包括的分析は6つの多様なベンチマークデータセットを含み、様々なスケールのLCMを利用している。
以上の結果から, LLMにのみ依存する戦略が, 最先端の成果と同等か, 近づいた結果をもたらすことが明らかとなった。
論文 参考訳(メタデータ) (2023-09-25T07:01:16Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。