論文の概要: From Plots to Words: Model-Aware Multimodal Explanations as a Foundation for Accessible, Non-Visual Interaction
- arxiv url: http://arxiv.org/abs/2608.24910v1
- Date: Wed, 22 Jul 2026 14:52:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.347641
- Title: From Plots to Words: Model-Aware Multimodal Explanations as a Foundation for Accessible, Non-Visual Interaction
- Title（参考訳）: PlotsからWords:アクセシブル・ノンビジュアルインタラクションの基礎としてのモデル対応マルチモーダル記述
- Abstract要約: 本稿では,テキストクエリ,数値データ,視覚表現,モデル由来の情報を統合して時系列予測を行うコンテキスト認識フレームワークを提案する。
われわれは、このアプローチが視覚的でない、視覚障害者と視覚障害者の特定の関連性の相互作用の自然な基盤となると論じている。
ヒューマンアセスメントの初期段階プロキシとしてLLMベースの判定器を用いた探索的評価において、説明可能な構成は、数値ベースラインに対して最大32%まで説明品質を向上させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models are increasingly used in interactive systems, yet ensuring consistent, trustworthy reasoning across heterogeneous modalities remains challenging. We present a context-aware, multi-agent framework that integrates textual queries, numerical data, visual representations, and model-derived signals for explainable time-series forecasting. A distinctive feature is that it turns predominantly visual forecasting outputs (e.g., trend plots) into structured, model-aware textual explanations. We argue that this makes the approach a natural foundation for non-visual, accessible interaction of particular relevance to blind and visually impaired users, for whom plot-centric interfaces are largely inaccessible. The framework supports three progressively richer pipelines (baseline, interpretable, explainable), enabling systematic comparison of unimodal, perception-driven, and model-aware responses. In an exploratory evaluation using an LLM-based judge as an early-stage proxy for human assessment, the explainable configuration improves overall explanation quality by up to 32% over a numerical baseline, with notable gains in trustworthiness and model awareness. We position user-centered validation with target users, including screen-reader and speech-interface users, as the essential next step rather than a claim established here.
- Abstract（参考訳）: 対話型システムでは多モーダルな言語モデルがますます使われてきているが、不均一なモダリティをまたいだ一貫性のある信頼性の高い推論は依然として困難である。
本稿では,テキストクエリ,数値データ,視覚表現,モデル由来の情報を統合して時系列予測を行う,コンテキスト認識型マルチエージェントフレームワークを提案する。
特徴的な特徴は、主に視覚的な予測出力(例えばトレンドプロット)を構造化されたモデル対応のテキスト説明に変換することである。
これは、プロット中心のインターフェースがほとんどアクセスできない視覚障害者に対する、視覚的でない、アクセシビリティなインタラクションの自然な基盤である、と我々は主張する。
このフレームワークは、徐々にリッチな3つのパイプライン(ベースライン、解釈可能、説明可能)をサポートし、不定形、知覚駆動、モデル認識応答の体系的な比較を可能にする。
ヒューマンアセスメントの早期プロキシとしてLCMベースの判断を用いた探索的評価において、説明可能な構成は、数値ベースラインに対して最大32%まで説明品質を向上し、信頼性とモデル意識が顕著に向上する。
ユーザ中心のバリデーションは、スクリーンリーダーや音声インタフェースのユーザなど、ユーザ中心のバリデーションを、ここで確立されたクレームではなく、重要な次のステップとして位置付ける。
関連論文リスト
- Personal Visual Context Learning in Large Multimodal Models [53.33351452841322]
パーソナライズされたクエリを解決するために,ユーザ固有の視覚的コンテキストを使用する即時学習機能であるPersonal Visual Context Learning(Personal)を提案する。
LMMを解析した結果,視覚的エビデンスを活用するメカニズムや,複数の視覚的観察を集約するメカニズムが重要視されていることが明らかとなった。
本稿では,ユーザの視覚的コンテキストを自己修復型メモリバンクに構造化し,クエリ適応型エビデンス選択を採用する強力なベースラインであるエージェントコンテキストバンクを提案する。
論文 参考訳（メタデータ） (2026-05-11T17:59:17Z) - DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories [52.57197752244638]
本稿では,画像検索を自律探索タスクとして再構成する新しいエージェントパラダイムであるDeepImageSearchを紹介する。
モデルは、暗黙の文脈的手がかりに基づいてターゲットを特定するために、生の視覚履歴に対して多段階の推論を計画し実行しなければならない。
DisBenchは、相互接続された視覚データ上に構築された、挑戦的なベンチマークである。
論文 参考訳（メタデータ） (2026-02-11T12:51:10Z) - Plug-and-Play Clarifier: A Zero-Shot Multimodal Framework for Egocentric Intent Disambiguation [60.63465682731118]
エゴセントリックなAIエージェントのパフォーマンスは、基本的にマルチモーダルな意図のあいまいさによって制限される。
ゼロショットでモジュラーなフレームワークであるPlug-and-Play Clarifierを導入し、問題を個別に解決可能なサブタスクに分解する。
我々のフレームワークは,小言語モデルの意図的明確化性能を約30%向上させ,より大きな言語モデルとの競争力を高める。
論文 参考訳（メタデータ） (2025-11-12T04:28:14Z) - KnowDR-REC: A Benchmark for Referring Expression Comprehension with Real-World Knowledge [1.5833270109954136]
本研究では,実世界の知識に基づいて構築されたKnowDR-RECを提案する。
我々は、KnowDR-REC上で16の最先端マルチモーダルモデルを評価し、既存のMLLMが知識駆動型視覚接地作業に苦戦していることを示す実験結果を得た。
論文 参考訳（メタデータ） (2025-08-12T19:43:44Z) - From Prediction to Explanation: Multimodal, Explainable, and Interactive Deepfake Detection Framework for Non-Expert Users [21.627851460651968]
DF-P2E(Deepfake: Prediction to Explanation)は、視覚的、意味的、物語的な説明層を統合して、ディープフェイク検出を解釈し、アクセス可能にする新しいフレームワークである。
現在最も多様なディープフェイクデータセットであるDF40ベンチマークで、フレームワークをインスタンス化し、評価しています。
実験により,Grad-CAMアクティベーションに適合した高品質な説明を提供しながら,競合検出性能を実証した。
論文 参考訳（メタデータ） (2025-08-11T03:55:47Z) - Understanding GUI Agent Localization Biases through Logit Sharpness [15.986679553468989]
MLLM(Multimodal large language model)は、GUIエージェントが言語を空間的アクションにグラウンドすることでオペレーティングシステムと対話することを可能にする。
有望な性能にもかかわらず、これらのモデルはしばしば、信頼性を損なう幻覚的局所化誤差を示す。
モデル予測を4つの異なるタイプに分類し,従来の精度測定値を超える不確実な障害モードを明らかにするための,きめ細かい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-18T12:55:35Z) - InterChat: Enhancing Generative Visual Analytics using Multimodal Interactions [22.007942964950217]
視覚要素の直接操作と自然言語入力を組み合わせた生成的視覚分析システムであるInterChatを開発した。
この統合により、正確なインテント通信が可能になり、プログレッシブで視覚的に駆動された探索データ分析をサポートする。
論文 参考訳（メタデータ） (2025-03-06T05:35:19Z) - Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。
既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。
本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
論文 参考訳（メタデータ） (2024-05-24T23:09:27Z) - Intrinsic User-Centric Interpretability through Global Mixture of Experts [31.738009841932374]
InterpretCCは、人間の理解の容易さと忠実さの説明を最適化する、本質的に解釈可能なニューラルネットワークのファミリーである。
本報告では,InterpretCCの説明は,他の本質的な解釈可能なアプローチよりも,行動性や有用性が高いことを示す。
論文 参考訳（メタデータ） (2024-02-05T11:55:50Z) - Understanding Before Recommendation: Semantic Aspect-Aware Review Exploitation via Large Language Models [53.337728969143086]
レコメンデーションシステムは、クリックやレビューのようなユーザとイテムのインタラクションを利用して表現を学習する。
従来の研究では、様々な側面や意図にまたがるユーザの嗜好をモデル化することで、推奨精度と解釈可能性を改善する。
そこで本研究では,意味的側面と認識的相互作用を明らかにするためのチェーンベースのプロンプト手法を提案する。
論文 参考訳（メタデータ） (2023-12-26T15:44:09Z) - Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。
近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。
知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
論文 参考訳（メタデータ） (2021-10-27T12:19:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。