論文の概要: Enhancing Explainability in Multimodal Large Language Models Using Ontological Context

• arxiv url: http://arxiv.org/abs/2409.18753v1
• Date: Fri, 27 Sep 2024 13:44:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 15:09:41.711808
• Title: Enhancing Explainability in Multimodal Large Language Models Using Ontological Context
• Title（参考訳）: オントロジー文脈を用いた多モーダル大言語モデルの説明可能性向上
• Authors: Jihen Amara, Birgitta König-Ries, Sheeba Samuel,
• Abstract要約: 本稿では,植物病のイメージを分類するために,オントロジーとMLLMを組み合わせた新しいフレームワークを提案する。 モデルが病気を記述する概念を正確に使用することを保証することは、ドメイン固有のアプリケーションに不可欠である。 我々のフレームワークは、よく知られたMLLMを用いた実証研究によって支援された、MLLMの相乗化とMLLMの新しい方向性を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, there has been a growing interest in Multimodal Large Language Models (MLLMs) due to their remarkable potential in various tasks integrating different modalities, such as image and text, as well as applications such as image captioning and visual question answering. However, such models still face challenges in accurately captioning and interpreting specific visual concepts and classes, particularly in domain-specific applications. We argue that integrating domain knowledge in the form of an ontology can significantly address these issues. In this work, as a proof of concept, we propose a new framework that combines ontology with MLLMs to classify images of plant diseases. Our method uses concepts about plant diseases from an existing disease ontology to query MLLMs and extract relevant visual concepts from images. Then, we use the reasoning capabilities of the ontology to classify the disease according to the identified concepts. Ensuring that the model accurately uses the concepts describing the disease is crucial in domain-specific applications. By employing an ontology, we can assist in verifying this alignment. Additionally, using the ontology's inference capabilities increases transparency, explainability, and trust in the decision-making process while serving as a judge by checking if the annotations of the concepts by MLLMs are aligned with those in the ontology and displaying the rationales behind their errors. Our framework offers a new direction for synergizing ontologies and MLLMs, supported by an empirical study using different well-known MLLMs.
• Abstract（参考訳）: 近年,画像キャプションや視覚的質問応答など,さまざまなモダリティを統合するタスクにおいて,MLLM(Multimodal Large Language Models)に対する関心が高まっている。 しかし、そのようなモデルは、特にドメイン固有のアプリケーションにおいて、特定の視覚概念やクラスを正確にキャプションし解釈する上で、依然として課題に直面している。 ドメイン知識をオントロジーの形で統合することは、これらの問題に大きく対処できる、と私たちは主張する。 本研究では、概念実証として、オントロジーとMLLMを組み合わせて植物病のイメージを分類する新しい枠組みを提案する。 本手法では,既存の病気オントロジーから植物病に関する概念を用いてMLLMを検索し,画像から関連する視覚概念を抽出する。 次に、オントロジーの推論能力を用いて、特定された概念に従って疾患を分類する。 モデルが病気を記述する概念を正確に使用することを保証することは、ドメイン固有のアプリケーションに不可欠である。 オントロジーを利用することで、このアライメントの検証を支援します。 さらに、オントロジーの推論能力を利用することで、オントロジーの概念のアノテーションがオントロジーのアノテーションと一致しているかを確認しつつ、透明性、説明可能性、意思決定プロセスへの信頼を高める。 我々のフレームワークは、よく知られたMLLMを用いた実証研究によって支援された、オントロジーとMLLMの相乗化のための新しい方向を提供する。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Understanding the Limits of Vision Language Models Through the Lens of the Binding Problem [37.27516441519387]
  現状の視覚言語モデルは、人間がほぼ完璧な精度で実行する基本的多目的推論タスクにおいて、驚くほどの失敗を示します。 我々は、最先端のVLMのファジィ障害の多くは、結合問題に起因するものだと説明でき、これらの障害モードは、ヒト脳における迅速なフィードフォワード処理によって引き起こされる制限と著しく類似していることを発見した。
  論文  参考訳（メタデータ） (2024-10-31T22:24:47Z)
• Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
  医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
  論文  参考訳（メタデータ） (2024-10-21T07:19:19Z)
• A Methodology for Explainable Large Language Models with Integrated Gradients and Linguistic Analysis in Text Classification [2.556395214262035]
  アルツハイマー病(AD)のような発声に影響を及ぼす神経疾患は、患者と介護者の生活に大きな影響を及ぼす。 近年のLarge Language Model (LLM) アーキテクチャの進歩は、自然発声による神経疾患の代表的特徴を識別する多くのツールを開発した。 本稿では,ADに代表される語彙成分を識別できるSLIME法を提案する。
  論文  参考訳（メタデータ） (2024-09-30T21:45:02Z)
• EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models [80.00303150568696]
  本稿では,既存のアプローチよりもトレーニングの少ない任意の参照視覚的プロンプトの理解を促進するための,MLLM(Multimodal Large Language Models)を提案する。 本手法は,視覚的プロンプトを,MLLMに理解可能な特定の空間領域を伝達する空間概念として応用する。 我々はまた、MLLMの領域レベルの理解を視覚的プロンプトを参照する特定の形式にさらに引き離すための幾何非依存学習パラダイム(GAL)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T08:22:00Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Towards Ontology-Enhanced Representation Learning for Large Language Models [0.18416014644193066]
  本稿では,知識を参照オントロジーで注入することで,埋め込み言語モデル(埋め込み言語モデル)の関心を高める新しい手法を提案する。 言語情報(概念同義語と記述)と構造情報(is-a関係)は、包括的な概念定義の集合をコンパイルするために使用される。 これらの概念定義は、対照的な学習フレームワークを使用して、ターゲットの埋め込み-LLMを微調整するために使用される。
  論文  参考訳（メタデータ） (2024-05-30T23:01:10Z)
• Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
  病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。 その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-03-21T17:58:56Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• MICA: Towards Explainable Skin Lesion Diagnosis via Multi-Level Image-Concept Alignment [4.861768967055006]
  本稿では, 医療画像と臨床関連概念を多層的に意味的に整合させるマルチモーダル説明型疾患診断フレームワークを提案する。 提案手法は, モデル解釈可能性を維持しながら, 概念検出と疾患診断に高い性能とラベル効率を実現する。
  論文  参考訳（メタデータ） (2024-01-16T17:45:01Z)
• Towards Highly Expressive Machine Learning Models of Non-Melanoma Skin Cancer [0.0]
  非メラノーマ皮膚癌の問題領域に離散的モデリング技術を適用する実験を行った。 我々は、病理学用語を用いて自然言語記述を生成するシーケンス・ツー・シーケンス・トランスフォーマーを訓練した。 その結果は、高度に表現力のある機械学習システムに向けた、有望な手段となる。
  論文  参考訳（メタデータ） (2022-07-09T04:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。