論文の概要: Evaluating Multimodal LLMs across Text and Audio Modalities for Accessible Disaster Assistance
- arxiv url: http://arxiv.org/abs/2608.14651v1
- Date: Thu, 30 Jul 2026 20:09:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.943254
- Title: Evaluating Multimodal LLMs across Text and Audio Modalities for Accessible Disaster Assistance
- Title（参考訳）: アクセシブル災害支援のためのテキスト・音声モダリティ間のマルチモーダルLLMの評価
- Abstract要約: 災害リスクコミュニケーションは基本的人道的課題である。
現在の緊急インフラは、アクセスと機能的なニーズを持つ個人のニーズを満たすことができません。
人工知能(AI)の最近の進歩は、テキスト、オーディオ、画像、ビデオのモダリティにまたがる多様なユーザーに提供する強力な能力を示している。
- 参考スコア（独自算出の注目度）: 0.28037951156321367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective disaster risk communication is a foundational humanitarian challenge, yet current emergency infrastructure fails to meet the needs of individuals with access and functional needs, including hard-of-hearing individuals, pregnant women, mothers with toddlers, and elderly individuals with dementia. Recent advancements in Artificial Intelligence (AI), especially Multi-Modal Large Language Models (MM-LLMs), demonstrate powerful capabilities to serve diverse users across text, audio, image, and video modalities within a single unified system, such as a chatbot. However, their suitability for deployment rests on a property that receives limited scrutiny, i.e., whether these systems produce consistent, actionable outputs regardless of the modality through which a user communicates. In this paper, we conduct a comprehensive analysis to understand the status of open-weight MM-LLMs using real emergency alert scenarios across four different vulnerable personas. These state-of-the-art (SOTA) models are evaluated on consistency of responses across text and audio modalities when the same task scenario is given. Findings indicate that no model achieves reliable consistency across modalities, and that performance gaps are heightened for personas with access needs, introducing modality-dependent inequity that undermines the humanitarian value of these systems. These results inform concrete design recommendations for building equitable, trustworthy, and inclusive AI tools for disaster risk communication.
- Abstract（参考訳）: 効果的な災害リスクコミュニケーションは、基本的な人道的課題であるが、現在の緊急インフラは、難聴者、妊婦、幼児を持つ母親、認知症を持つ高齢者など、アクセスと機能的ニーズを持つ個人のニーズを満たすことができない。
人工知能(AI)の最近の進歩、特にMulti-Modal Large Language Models(MM-LLM)は、チャットボットのような単一の統一システム内で、テキスト、音声、画像、ビデオのモダリティにまたがる多様なユーザーに提供する強力な能力を示している。
しかしながら、それらのデプロイメントの適合性は、限られた精査を受ける特性、すなわち、ユーザが通信するモダリティに関係なく、これらのシステムが一貫性のある動作可能な出力を生成するかどうかにかかっている。
本稿では,4つの脆弱な人物に対して,実際の緊急警報シナリオを用いて,オープンウェイトMM-LLMの状況を理解するための包括的分析を行う。
これらの最新技術(SOTA)モデルは、同じタスクシナリオが与えられたとき、テキストとオーディオモダリティ間の応答の整合性に基づいて評価される。
結果から,モダリティ間の信頼性の高い整合性を実現するモデルはなく,アクセスニーズのあるペルソナに対して性能ギャップが高められ,これらのシステムの人道的価値を損なうモダリティ依存の不平等がもたらされることが示唆された。
これらの結果は、災害リスクコミュニケーションのための公平で信頼性があり包括的なAIツールを構築するための具体的な設計勧告を通知する。
関連論文リスト
- Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。
本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
論文 参考訳（メタデータ） (2026-04-07T08:43:36Z) - Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。
デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。
この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
論文 参考訳（メタデータ） (2026-03-28T13:21:44Z) - SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models [86.19617358080016]
Social Omniは、3つのコア次元にわたる対話性の評価を運用するベンチマークである。
Social Omniは2000の知覚サンプルと209の相互作用生成インスタンスの品質管理された診断セットを備えている。
本分析により,モデルの知覚的精度と,文脈的に適切な割り込みを生成する能力との間に顕著な疎結合が明らかとなった。
論文 参考訳（メタデータ） (2026-03-17T17:58:44Z) - Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。
これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。
この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
論文 参考訳（メタデータ） (2026-01-29T03:53:25Z) - ADMC: Attention-based Diffusion Model for Missing Modalities Feature Completion [25.1725138364452]
注意に基づく障害特徴補完(ADMC)のための拡散モデルを提案する。
本フレームワークは,各モダリティに対する特徴抽出ネットワークを独立に訓練し,その特性を保ち,オーバーカップリングを回避する。
提案手法は,IEMOCAPおよびMIntRecベンチマークの最先端結果を実現し,欠落シナリオと完全モダリティシナリオの両方において,その有効性を示す。
論文 参考訳（メタデータ） (2025-07-08T03:08:52Z) - Multi-Stakeholder Disaster Insights from Social Media Using Large Language Models [1.6777183511743472]
ソーシャルメディアは、災害や緊急時にユーザーがフィードバックや問題を迅速に共有するための主要なチャンネルとして現れてきた。
本稿では, LLMの能力を活用して災害対応と管理を強化する手法を提案する。
提案手法は,生のユーザフィードバックと利害関係者固有のレポートのギャップを埋めるために,分類手法と生成AIを組み合わせる。
論文 参考訳（メタデータ） (2025-03-30T22:53:52Z) - Challenges in Human-Agent Communication [55.53932430345333]
これらのシステムがもたらす12の重要なコミュニケーション課題を特定し分析する。
これには、エージェントからユーザへの情報伝達の課題、ユーザからエージェントへの情報伝達の課題、すべての人間とエージェントのコミュニケーションで考慮すべき課題の概略が含まれる。
私たちの発見は、これらのシステムの透明性と制御を支援するために、新しいデザインパターン、原則、ガイドラインを緊急に呼び出すのに役立ちます。
論文 参考訳（メタデータ） (2024-11-28T01:21:26Z) - Coherence-Driven Multimodal Safety Dialogue with Active Learning for Embodied Agents [23.960719833886984]
M-CoDAL(M-CoDAL)は、安全クリティカルな状況下でのコミュニケーションをよりよく理解するために、実施エージェント向けに設計されたマルチモーダル対話システムである。
提案手法は,2K Reddit画像から抽出した1Kの安全違反を含む,新たに作成されたマルチモーダルデータセットを用いて評価する。
このデータセットで得られた結果は、我々のアプローチが会話の安全性だけでなく、安全状況、ユーザーの感情、および会話の安全性の解決を改善することを実証している。
論文 参考訳（メタデータ） (2024-10-18T03:26:06Z) - Multidimensional Human Activity Recognition With Large Language Model: A Conceptual Framework [0.0]
緊急対応や高齢者ケアのような高リスク環境では、大きな言語モデル(LLM)の統合がリスクアセスメント、リソースアロケーション、緊急対応に革命をもたらします。
本稿では,HAR(Human Activity Recognition)システムにおける多次元学習を支援するために,様々なウェアラブルデバイスを1次元と見なす概念的枠組みを提案する。
論文 参考訳（メタデータ） (2024-09-16T21:36:23Z) - PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
データ構築とモデルチューニングを改善するためのフレームワークPersLLMを提案する。
データ利用が不十分な場合には、Chain-of-Thoughtプロンプトやアンチインダクションといった戦略を取り入れます。
厳密な振舞いパターンを設計し,モデルの性格の特異性とダイナミズムを高めるために自動DPOを導入する。
論文 参考訳（メタデータ） (2024-07-17T08:13:22Z) - Principle-Driven Self-Alignment of Language Models from Scratch with
Minimal Human Supervision [84.31474052176343]
ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。
この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。
本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-05-04T17:59:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。