論文の概要: MC-MKE: A Fine-Grained Multimodal Knowledge Editing Benchmark Emphasizing Modality Consistency

• arxiv url: http://arxiv.org/abs/2406.13219v2
• Date: Wed, 30 Oct 2024 08:04:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:25:03.009804
• Title: MC-MKE: A Fine-Grained Multimodal Knowledge Editing Benchmark Emphasizing Modality Consistency
• Title（参考訳）: MC-MKE:Modality Consistencyを重視したベンチマークによる細粒度マルチモーダル知識の編集
• Authors: Junzhe Zhang, Huixuan Zhang, Xunjian Yin, Baizhou Huang, Xu Zhang, Xinyu Hu, Xiaojun Wan,
• Abstract要約: MLLM(Multimodal large language model)は、非現実的または時代遅れの知識問題を引き起こす。 マルチモーダルな知識を視覚的およびテキスト的構成要素に分解する。 本稿では,マルチモーダル知識編集ベンチマークMC-MKEを提案する。
• 参考スコア（独自算出の注目度）: 50.40318712497071
• License:
• Abstract: Multimodal large language models (MLLMs) are prone to non-factual or outdated knowledge issues, which can manifest as misreading and misrecognition errors due to the complexity of multimodal knowledge. Previous benchmarks have not systematically analyzed the performance of editing methods in correcting these two error types. To better represent and correct these errors, we decompose multimodal knowledge into its visual and textual components. Different error types correspond to different editing formats, which edit distinct parts of the multimodal knowledge. We present MC-MKE, a fine-grained Multimodal Knowledge Editing benchmark emphasizing Modality Consistency. Our benchmark facilitates independent correction of misreading and misrecognition errors by editing the corresponding knowledge component. We evaluate four multimodal knowledge editing methods on MC-MKE, revealing their limitations, particularly in terms of modality consistency. Our work highlights the challenges posed by multimodal knowledge editing and motivates further research in developing effective techniques for this task.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、非現実的または時代遅れの知識問題に傾向があり、多モーダル知識の複雑さによる誤読や誤認識の誤りとして現れる。 以前のベンチマークでは、これらの2つのエラータイプを修正する際に、編集方法のパフォーマンスを体系的に分析していなかった。 これらの誤りをよりよく表現し、修正するために、多モーダルな知識を視覚的およびテキスト的構成要素に分解する。 異なるエラータイプは異なる編集形式に対応し、マルチモーダルな知識の異なる部分を編集する。 MC-MKEは,モダリティの一貫性を重視した細粒度マルチモーダル知識編集ベンチマークである。 本ベンチマークは,対応する知識コンポーネントを編集することで,誤読誤りと誤認識誤りの独立修正を容易にする。 我々はMC-MKE上での4つのマルチモーダル知識編集手法を評価し,その限界,特にモダリティの整合性について明らかにした。 本研究は,マルチモーダルな知識編集がもたらす課題を強調し,この課題に対する効果的な技術開発に向けたさらなる研究を動機づけるものである。

関連論文リスト

• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• Locate-then-edit for Multi-hop Factual Recall under Knowledge Editing [7.9525115640025055]
  location-then-edit パラダイムは知識編集において大きな可能性を秘めている。 従来手法では,知識を新たに編集したマルチホップのファクトリコール作業に苦慮していた。 浅層層と深層層層の両方を編集する新しい位置編集手法 IFMET を提案する。
  論文  参考訳（メタデータ） (2024-10-08T20:12:11Z)
• LLM-Based Multi-Hop Question Answering with Knowledge Graph Integration in Evolving Environments [35.3938477255058]
  本稿では,大規模言語モデル(GMeLLo)のためのグラフメモリベースの編集について述べる。 GMeLLoは、知識グラフの明示的な知識表現と、大規模言語モデルの言語的柔軟性を融合する。 以上の結果から,GMeLLoはマルチホップ質問応答ベンチマークであるMQuAKEにおいて,最先端の知識編集手法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-08-28T16:15:45Z)
• Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
  言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。 具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。 次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
  論文  参考訳（メタデータ） (2024-07-14T17:18:16Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• PokeMQA: Programmable knowledge editing for Multi-hop Question Answering [46.80110170981976]
  マルチホップ質問応答(MQA)は、マシンの理解と推論能力を評価する上で難しいタスクの1つである。 マルチホップ質問回答(MQA)のためのフレームワーク、Programmable Knowledge Editorを提案する。 具体的には、LLMの動作を外部のコンフリクト信号に応じて変調する訓練可能なスコープ検出器と相互作用しながら、知識強化されたマルチホップ質問を分解するよう促す。
  論文  参考訳（メタデータ） (2023-12-23T08:32:13Z)
• Can We Edit Multimodal Large Language Models? [38.292574747632635]
  マルチモーダル LLM を編集するための新しいベンチマーク MMEdit を構築した。 様々なモデル編集ベースラインを含む総合的な実験を行い、異なるコンポーネントの編集の影響を分析する。
  論文  参考訳（メタデータ） (2023-10-12T16:32:44Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。