Fugu-MT 論文翻訳(概要): Multimodal LLM Augmented Reasoning for Interpretable Visual Perception Analysis

論文の概要: Multimodal LLM Augmented Reasoning for Interpretable Visual Perception Analysis

arxiv url: http://arxiv.org/abs/2504.12511v1
Date: Wed, 16 Apr 2025 22:14:27 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-26 02:01:09.456315
Title: Multimodal LLM Augmented Reasoning for Interpretable Visual Perception Analysis
Title（参考訳）: 解釈可能な視覚知覚解析のためのマルチモーダルLLM拡張推論
Authors: Shravan Chaudhari, Trilokya Akula, Yoon Kim, Tom Blake,
Abstract要約: 我々は、人間の視覚知覚における複雑さに関連する心理学と認知科学の確立した原理と説明を用いる。本研究の目的は、視覚知覚に関連する様々な説明可能性原理をMLLMにベンチマークすることである。
参考スコア（独自算出の注目度）: 19.032828729570458
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we advance the study of AI-augmented reasoning in the context of Human-Computer Interaction (HCI), psychology and cognitive science, focusing on the critical task of visual perception. Specifically, we investigate the applicability of Multimodal Large Language Models (MLLMs) in this domain. To this end, we leverage established principles and explanations from psychology and cognitive science related to complexity in human visual perception. We use them as guiding principles for the MLLMs to compare and interprete visual content. Our study aims to benchmark MLLMs across various explainability principles relevant to visual perception. Unlike recent approaches that primarily employ advanced deep learning models to predict complexity metrics from visual content, our work does not seek to develop a mere new predictive model. Instead, we propose a novel annotation-free analytical framework to assess utility of MLLMs as cognitive assistants for HCI tasks, using visual perception as a case study. The primary goal is to pave the way for principled study in quantifying and evaluating the interpretability of MLLMs for applications in improving human reasoning capability and uncovering biases in existing perception datasets annotated by humans.
Abstract（参考訳）: 本稿では,ヒューマン・コンピュータ・インタラクション(HCI),心理学,認知科学の文脈におけるAI強化推論の研究を前進させ,視覚知覚の重要な課題に焦点をあてる。具体的には,この領域におけるマルチモーダル大言語モデル(MLLM)の適用性について検討する。この目的のために,人間の視覚知覚における複雑性に関連する心理学や認知科学の確立した原理と説明を活用する。 MLLMを視覚コンテンツの比較・解釈の指針として用いる。本研究の目的は、視覚知覚に関連する様々な説明可能性原理をMLLMにベンチマークすることである。ビジュアルコンテンツから複雑なメトリクスを予測するための高度なディープラーニングモデルを主に採用している最近のアプローチとは異なり、我々の研究は単なる新しい予測モデルの開発を試みていない。そこで本研究では,HCIタスクの認知アシスタントとしてのMLLMの有用性を評価するための,アノテーションのない新しい分析フレームワークを提案する。第一の目的は、人間の推論能力の向上や、人間によって注釈付けされた既存の知覚データセットのバイアスを明らかにするために、MLLMの解釈可能性の定量化と評価において、原則的な研究の道を開くことである。

関連論文リスト

How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
論文参考訳（メタデータ） (2025-04-10T16:14:55Z)
DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding [61.26026947423187]
人間の専門家は、ドメイン知識を活用して知覚的特徴を洗練することによって、きめ細かい視覚的識別に長けている。現在のMLLM(Multimodal Large Language Models)は、推論を視覚的知覚に統合するのに苦労している。本稿では,認知的視覚能力を強化したMLLMであるDeepPerceptionを提案する。
論文参考訳（メタデータ） (2025-03-17T04:06:34Z)
VisFactor: Benchmarking Fundamental Visual Cognition in Multimodal Large Language Models [62.667142971664575]
因子関連認知テスト(FRCT)から得られた新しいベンチマークであるVisFactorを紹介する。 VisFactorは視覚関連FRCTサブテストのデジタル化を行い、基本的な視覚認知タスク間でMLLMを体系的に評価する。 GPT-4o, Gemini-Pro, Qwen-VLなどの最先端MLLMの総合評価を行った。
論文参考訳（メタデータ） (2025-02-23T04:21:32Z)
Understanding the Human-LLM Dynamic: A Literature Survey of LLM Use in Programming Tasks [0.850206009406913]
大規模言語モデル(LLM)はプログラミングプラクティスを変革し、コード生成活動に重要な機能を提供する。本稿では,LLMがプログラミングタスクに与える影響を評価するユーザスタディから洞察を得た上で,プログラミングタスクにおけるそれらの使用に焦点を当てる。
論文参考訳（メタデータ） (2024-10-01T19:34:46Z)
Visualization Literacy of Multimodal Large Language Models: A Comparative Study [12.367399155606162]
MLLM(Multimodal large language model)は、MLLM(Multimodal large language model)とLLM(LLM)の固有の能力を組み合わせて、マルチモーダルコンテキストを推論する。ビジュアライゼーションにおける最近の多くの研究は、可視化結果を理解し、解釈し、自然言語のユーザに対して視覚化の内容を説明するMLLMの能力を実証している。本研究では,可視化リテラシーの概念を利用してMLLMを評価することにより,そのギャップを埋めることを目的とする。
論文参考訳（メタデータ） (2024-06-24T17:52:16Z)
Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-29T22:49:43Z)
From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
論文参考訳（メタデータ） (2024-01-23T16:09:53Z)
Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文参考訳（メタデータ） (2023-11-08T20:41:18Z)
Machine Psychology [54.287802134327485]
我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
論文参考訳（メタデータ） (2023-03-24T13:24:41Z)
Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。