論文の概要: Describing image focused in cognitive and visual details for visually impaired people: An approach to generating inclusive paragraphs

• arxiv url: http://arxiv.org/abs/2202.05331v1
• Date: Thu, 10 Feb 2022 21:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-14 14:00:29.057539
• Title: Describing image focused in cognitive and visual details for visually impaired people: An approach to generating inclusive paragraphs
• Title（参考訳）: 視覚障害者の認知的・視覚的詳細に焦点を当てた画像記述:包括的段落生成へのアプローチ
• Authors: Daniel Louzada Fernandes, Marcos Henrique Fonseca Ribeiro, Fabio Ribeiro Cerqueira, Michel Melo Silva
• Abstract要約: ウェブナーなど、オンラインコンテンツに表示される画像コンテキストの理解など、特定のタスクをサポートするサービスが不足している。 本稿では,高密度キャプション手法とフィルタを併用したウェビナー画像のコンテキスト生成手法を提案し,ドメイン内のキャプションに適合する手法と抽象要約タスクのための言語モデルを提案する。
• 参考スコア（独自算出の注目度）: 2.362412515574206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several services for people with visual disabilities have emerged recently due to achievements in Assistive Technologies and Artificial Intelligence areas. Despite the growth in assistive systems availability, there is a lack of services that support specific tasks, such as understanding the image context presented in online content, e.g., webinars. Image captioning techniques and their variants are limited as Assistive Technologies as they do not match the needs of visually impaired people when generating specific descriptions. We propose an approach for generating context of webinar images combining a dense captioning technique with a set of filters, to fit the captions in our domain, and a language model for the abstractive summary task. The results demonstrated that we can produce descriptions with higher interpretability and focused on the relevant information for that group of people by combining image analysis methods and neural language models.
• Abstract（参考訳）: 視覚障害者のためのいくつかのサービスが最近、Assistive TechnologiesとAIの分野での成果により登場した。 補助システムの可用性が向上しているにもかかわらず、例えばウェビナーのようなオンラインコンテンツに表示される画像コンテキストを理解するなど、特定のタスクをサポートするサービスが不足している。 画像キャプション技術とその変種は、特定の記述を生成する際に視覚障害者のニーズに合致しないため、補助技術として制限される。 本稿では,webinar画像のコンテキストを生成する手法として,単語のキャプションとフィルタのセットを併用し,そのキャプションをドメイン内に適合させる手法と,抽象要約タスクのための言語モデルを提案する。 その結果,画像解析手法とニューラル言語モデルを組み合わせることで,高い解釈性を持つ記述を生成でき,その集団の関連情報に焦点を合わせることができた。

関連論文リスト

• Pixels to Prose: Understanding the art of Image Captioning [1.9635669040319872]
  画像キャプションにより、機械は視覚的コンテンツを解釈し、記述的なテキストを生成することができる。 レビューでは、画像キャプションモデルの進化を最新の最先端ソリューションに遡る。 医療領域における画像キャプションの適用についても検討した。
  論文  参考訳（メタデータ） (2024-08-28T11:21:23Z)
• Assistive Image Annotation Systems with Deep Learning and Natural Language Capabilities: A Review [0.0]
  本稿では、入力画像のテキスト提案、キャプション、記述をアノテータに提供するためのAI支援型ディープラーニング画像アノテーションシステムについて検討する。 各種データセットをレビューし,AI補助アノテーションシステムのトレーニングと評価にどのように貢献するかを検討する。 有望な可能性にもかかわらず、テキスト出力機能を備えたAIアシスト画像アノテーションに関する公開作業は限られている。
  論文  参考訳（メタデータ） (2024-06-28T22:56:17Z)
• Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
  病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。 その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-03-21T17:58:56Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Deep Learning Approaches on Image Captioning: A Review [0.5852077003870417]
  画像キャプションは、静止画像の形で視覚コンテンツのための自然言語記述を生成することを目的としている。 ディープラーニングとビジョン言語による事前学習技術がこの分野に革命をもたらし、より洗練された手法と性能の向上につながった。 この分野で直面している課題は、対象の幻覚、欠落した文脈、照明条件、文脈理解、参照表現といった課題を強調することで解決する。 画像とテキストのモダリティ間の情報不一致問題への対処、データセットバイアスの軽減、字幕生成を向上するための視覚言語事前学習手法の導入、精度向上のための評価ツールの開発など、この分野における研究の今後の方向性について検討する。
  論文  参考訳（メタデータ） (2022-01-31T00:39:37Z)
• Neural Twins Talk & Alternative Calculations [3.198144010381572]
  高度に焦点を絞った対象を説明する際に、人間の脳がより多くの神経経路をいかに採用しているかに着想を得て、より優れたパフォーマンスを達成するために深い注意モデルを拡張することができることを示した。 画像キャプションはコンピュータビジョンと自然言語処理のギャップを埋める。
  論文  参考訳（メタデータ） (2021-08-05T18:41:34Z)
• From Show to Tell: A Survey on Image Captioning [48.98681267347662]
  視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。 画像キャプションの研究はまだ結論に達していない。 本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
  論文  参考訳（メタデータ） (2021-07-14T18:00:54Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)
• TextCaps: a Dataset for Image Captioning with Reading Comprehension [56.89608505010651]
  テキストは人間環境において一様であり、環境を理解するためにしばしば重要である。 画像のコンテキストにおけるテキストの理解方法を研究するために,新しいデータセットであるTextCapsを,28k画像用の145kキャプションで収集した。 我々のデータセットは、テキストを認識し、それをその視覚的コンテキストに関連付け、テキストのどの部分をコピーするか、言い換えるかを決定するモデルに挑戦する。
  論文  参考訳（メタデータ） (2020-03-24T02:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。