論文の概要: A Systematic Survey on Image Description Techniques for STEM Domains
- arxiv url: http://arxiv.org/abs/2607.21611v1
- Date: Fri, 22 May 2026 10:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.940455
- Title: A Systematic Survey on Image Description Techniques for STEM Domains
- Title（参考訳）: STEM領域の画像記述技術に関する体系的研究
- Abstract要約: この体系的な調査は、STEM視覚を記述するためのAIベースのテクニックに関する20の査読された研究を調査する。
この分析は、静的でワンショットのアルトテキストから、対話インタフェース、キーボードナビゲーション、オーディオや触覚フィードバックを統合したインタラクティブでマルチモーダルシステムへの移行を明らかにしている。
- 参考スコア（独自算出の注目度）: 0.46603287532620746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The proliferation of visual data in Science, Technology, Engineering, and Mathematics (STEM) fields presents accessibility barrier for individuals with blindness or visual impairments. While recent advances in Artificial Intelligence (AI) offer new opportunities to generate textual descriptions of STEM images, the research landscape is fragmented and its impact on real users remains limited. This systematic survey examines 20 peer-reviewed studies on AI-based techniques for describing STEM visuals, with a specific focus on accessibility and human-computer interaction. Following the PRISMA methodology and a ROBIS-based risk-of-bias assessment, the review analyzes (i) the types of STEM visuals targeted, (ii) the AI and machine learning architectures employed, (iii) the datasets and evaluation metrics adopted, and (iv) the interaction modalities through which descriptions are delivered. The analysis reveals a shift from static, one-shot alt text toward interactive and multimodal systems that integrate conversational interfaces, keyboard navigation, and audio or haptic feedback. However, critical challenges persist, including factual inaccuracies and hallucinations, the scarcity of accessibility-first datasets co-designed with blind and low-vision users, and a heavy reliance on automatic text-overlap metrics that poorly capture perceived usefulness and trust. The survey concludes by outlining key research directions for HCI, emphasizing user-controlled verbosity, explainable and verifiable AI pipelines, and the integration of accessible description tools into mainstream STEM authoring and learning environments.
- Abstract（参考訳）: 科学、技術、工学、数学(STEM)分野における視覚データの拡散は、視覚障害または視覚障害を持つ個人に対するアクセシビリティ障壁を示す。
近年の人工知能(AI)の進歩は、STEM画像のテキスト記述を新たに生成する機会を提供しているが、研究の状況は断片化されており、実際のユーザへの影響は限られている。
この体系的な調査では、アクセシビリティと人間とコンピュータの相互作用に特に焦点をあて、STEM視覚を記述するためのAIベースのテクニックに関する20のピアレビュー研究を調査した。
PRISMA方法論とROBISに基づくリスク・オブ・バイアス評価の後、レビューは分析する。
(i)対象とするSTEM視覚の種類。
(II)AIと機械学習のアーキテクチャ
三 採用したデータセット及び評価指標
(四)記述を提出する相互作用のモダリティ
この分析は、静的でワンショットのアルトテキストから、対話インタフェース、キーボードナビゲーション、オーディオや触覚フィードバックを統合したインタラクティブでマルチモーダルシステムへの移行を明らかにしている。
しかし、現実的な不正確さや幻覚、アクセシビリティ優先データセットの不足、視覚障害者と低ビジョンユーザーの共同設計、認識された有用性や信頼を十分に捉えていない自動テキストオーバーラップメトリクスへの依存など、重要な課題が続いている。
調査は、HCIの主要な研究方向の概要、ユーザ制御された冗長性、説明可能で検証可能なAIパイプライン、アクセス可能な記述ツールをメインストリームのSTEMオーサリングと学習環境に統合することを強調することで締めくくられている。
関連論文リスト
- Designing Gaze Analytics for ELA Instruction: A User-Centered Dashboard with Conversational AI Support [3.741199946315248]
視線追跡は、学生の認知とエンゲージメントに関する豊富な洞察を提供する。
しかし、教室向け教育技術では使われていない。
本稿では、英語芸術のための視線に基づく学習分析ダッシュボードの反復設計と評価について述べる。
論文 参考訳（メタデータ） (2025-09-03T22:01:14Z) - Hyperspectral Imaging [49.45523645429475]
ハイパースペクトルイメージング(Hyperspectral Imaging、HSI)は、空間情報とスペクトル情報を同時にキャプチャする高度なセンシングモダリティである。
このプライマーは、基礎となる物理原理とセンサーアーキテクチャから、データ取得、キャリブレーション、修正における重要なステップまで、HSIの概要を包括的に示す。
論文 参考訳（メタデータ） (2025-08-11T15:47:24Z) - A Survey on (M)LLM-Based GUI Agents [62.57899977018417]
グラフィカルユーザインタフェース (GUI) エージェントは、人間とコンピュータのインタラクションにおいて、トランスフォーメーションパラダイムとして登場した。
大規模言語モデルとマルチモーダル学習の最近の進歩は、デスクトップ、モバイル、Webプラットフォーム全体でGUI自動化に革命をもたらした。
本調査では, 正確な要素位置決定, 効果的な知識検索, 長期計画, 安全に配慮した実行制御など, 重要な技術的課題を明らかにする。
論文 参考訳（メタデータ） (2025-03-27T17:58:31Z) - Vision Technologies with Applications in Traffic Surveillance Systems: A Holistic Survey [18.05238725149463]
交通監視システム(TSS)は、現代のインテリジェント交通システムにおいてますます重要になっている。
本稿では,TSSにおける視覚技術の体系的レビューを行う。
低レベルと高レベルの両方の知覚タスクについて検討する。
論文 参考訳（メタデータ） (2024-11-30T04:17:56Z) - Automated Assessment of Multimodal Answer Sheets in the STEM domain [0.3958317527488535]
この研究は、人工知能(AI)を用いた自動評価手法の実装を通じて、効率的で信頼性の高いグレーティング手法を開発するためのものである。
第一に、STEMにおけるテキスト回答の評価、正確な比較と評価のためのサンプル回答の活用、高度なアルゴリズムと自然言語処理技術によって実現された2つの重要な分野に貢献する。
視覚的表現と意味的意味のギャップを埋めることで,手作業による介入を最小限に抑えつつ,正確な評価を実現する。
論文 参考訳（メタデータ） (2024-09-24T05:10:13Z) - How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey [48.97104365617498]
Em Explainable Interfaces (EIs) の登場する領域は,XAI のユーザインターフェースとユーザエクスペリエンス設計に重点を置いている。
本稿では,人間とXAIの相互作用の現在の動向と,EI設計・開発に向けた将来的な方向性を明らかにするために,53の出版物を体系的に調査する。
論文 参考訳（メタデータ） (2024-03-21T15:44:56Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - Re-mine, Learn and Reason: Exploring the Cross-modal Semantic
Correlations for Language-guided HOI detection [57.13665112065285]
ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。
本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-25T14:20:52Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。
我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。
本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
論文 参考訳（メタデータ） (2022-10-05T13:14:57Z) - Beyond Visuals : Examining the Experiences of Geoscience Professionals
With Vision Disabilities in Accessing Data Visualizations [0.0]
この研究は、データ視覚化へのアクセスにおいて、STEMの規律(地質学)に盲目/視力障害のある専門家の経験を理解することを目的としている。
反射的セマンティック分析では、キャリアパスに影響を与える可視化の影響、研究のためのデータ探索ツールの欠如、同僚の作品へのアクセス障壁、そして可視化とアクセシビリティ研究のミスマッチしたペースが明らかにされた。
論文 参考訳（メタデータ） (2022-07-27T00:07:44Z) - Empathetic Conversational Systems: A Review of Current Advances, Gaps,
and Opportunities [2.741266294612776]
多くの研究が共感の利点を認識し、共感を会話システムに取り入れ始めた。
本稿では,5つのレビュー次元を用いて,急速に成長するこの分野について検討する。
論文 参考訳（メタデータ） (2022-05-09T05:19:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。