論文の概要: An Integrated Vision-and-Language Pretraining (VLP) and Visual Question Answering (VQA) model to Automate Nondestructive Evaluation Image Analysis

• arxiv url: http://arxiv.org/abs/2608.29408v2
• Date: Fri, 04 Sep 2026 15:58:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 13:53:00.366354
• Title: An Integrated Vision-and-Language Pretraining (VLP) and Visual Question Answering (VQA) model to Automate Nondestructive Evaluation Image Analysis
• Title（参考訳）: 非破壊的評価画像解析を自動化する統合的視覚・言語事前学習(VLP)と視覚質問回答(VQA)モデル
• Abstract要約: ChatNDE Figure to Captionは、ディープラーニングと自然言語処理(NLP)を用いたNDE画像の解釈を自動化することを目的としている。 VisionandLanguage Pretraining戦略は、モデルが視覚的特徴と意味のある言語を接続する方法を学ぶのを助けるために開発された。 このシステムはResNet50モデルを組み合わせて、画像から重要な特徴を抽出し、GPT2言語モデルを使ってこれらの特徴を自然な音声テキストに変換する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An AI-based approach called ChatNDE Figure to Caption is introduced, which aims to automate the interpretation of NDE images using deep learning and natural language processing (NLP). A Vision-and-Language Pretraining (VLP) strategy is developed to help the model learn how to connect visual features with meaningful language. Basically, we built a large NDE image dataset, trained the model using annotated examples, and then evaluated how well it performed using BLEU scores to compare its output to expert written descriptions. So, the system combines a ResNet50 model to extract important features from the images and a GPT2 language model to turn those features into natural sounding text. Even though the accuracy of the model has been low the generated caption results have been solid so far, the captions were shorter but mentioned some important features of images what human experts would say, which shows the model is learning to pick up on key details. Also, a Visual Question Answering (VQA) model is used as part of the system. VQA models are designed to take an image and a question about that image (like Is there a crack? or Where is the defect located?) and generate a useful answer. By adding this layer, the platform will not just describe what it sees, it can also respond to specific questions, making it even more interactive and helpful for inspectors in the field. This whole approach is a big step toward speeding up NDE workflows, reducing human error, and making the technology more accessible.
• Abstract（参考訳）: ディープラーニングと自然言語処理(NLP)を使用してNDEイメージの解釈を自動化することを目的とした、ChatNDE Figure to Captionと呼ばれるAIベースのアプローチが導入された。 VLP(Vision-and-Language Pretraining)戦略は、視覚的特徴と意味のある言語を結びつける方法を学ぶためのモデルである。 基本的に、我々は大規模なNDE画像データセットを構築し、注釈付き例を用いてモデルを訓練し、BLEUスコアを用いてその出力と専門家による記述とを比較した。 そのため、このシステムはResNet50モデルを組み合わせて、画像から重要な特徴を抽出し、GPT2言語モデルを使ってこれらの特徴を自然な音声テキストに変換する。 モデルの精度は低いものの、生成したキャプションの結果は安定しているが、キャプションは短かったが、人間の専門家が言うような画像の重要な特徴に言及し、モデルが重要な詳細をつかむことを学んでいることを示している。 また、システムの一部としてVisual Question Answering(VQA)モデルが使用される。 VQAモデルは、画像とその画像に関する質問(亀裂があるのか、欠陥はどこにあるのか? このレイヤーを追加することで、プラットフォームは目に見えるものだけでなく、特定の質問に応答し、現場のインスペクタにとってさらにインタラクティブで役に立つ。 このアプローチ全体は、NDEワークフローをスピードアップし、ヒューマンエラーを低減し、テクノロジをよりアクセスしやすいものにするための大きなステップです。

関連論文リスト

• JFTA-Bench: Evaluate LLM's Ability of Tracking and Analyzing Malfunctions Using Fault Trees [64.57426735981902]
  複雑なシステムのメンテナンスにおいて、障害木は問題を特定し、ターゲットとするソリューションを提供するために使用される。 画像として格納されたフォールトツリーを,大規模言語モデルで直接処理可能にするために,新しいフォールトツリーのテキスト表現を提案する。 複雑な環境におけるロバストな相互作用を強調するマルチターン対話システムのためのベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-03-24T09:13:43Z)
• QIRL: Boosting Visual Question Answering via Optimized Question-Image Relation Learning [38.24779287568123]
  現在のデバイアス技術は、画像とテキストの間の優れた関係を捉えられない。 偏見研究における入力関係の程度について、事前の研究は行われていない。 本稿では,世代ベースの自己教師型学習戦略を取り入れた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-04T10:38:28Z)
• ABC: Achieving Better Control of Multimodal Embeddings using VLMs [61.396457715710774]
  ビジュアル埋め込みモデルは、ビジュアル検索や分類のようなゼロショットタスクで優れている。 これらのモデルは曖昧さやユーザ命令を必要とするタスクには使用できない。 本稿では,視覚言語モデルバックボーンを用いたオープンソースのマルチモーダル埋め込みモデルABCを紹介する。
  論文  参考訳（メタデータ） (2025-03-01T03:29:02Z)
• Uncertainty Quantification in Retrieval Augmented Question Answering [45.573346610161195]
  本稿では,QAモデルが備える通路の有効性を推定することで,QAモデルの不確実性を定量化する。 我々は、目標QAモデルの通過効率を予測するために軽量ニューラルネットワークを訓練し、単純な情報理論のメトリクスが解の正しさをある程度予測できる一方で、より高価なサンプリングベースの手法を効率的に近似または上回ることを示す。
  論文  参考訳（メタデータ） (2025-02-25T11:24:52Z)
• Performance Gap in Entity Knowledge Extraction Across Modalities in Vision Language Models [36.18155629835474]
  視覚言語モデル(VLM)は、画像から情報を取り出し、推論するのに優れている。 しかし、特定のエンティティに関する内部知識を活用する能力は、まだ探索されていない。 本研究は,テキストで記述されたエンティティと画像で表現されたエンティティについて,現実的な質問に答える際のモデル性能の相違について検討する。
  論文  参考訳（メタデータ） (2024-12-18T18:22:30Z)
• Are VLMs Really Blind [3.052971829873887]
  ビジョン言語モデルは、幅広い複雑なタスクを扱うのに優れている。 これらのモデルは、低レベルの基本的な視覚的タスクではうまく機能しない。 本研究は,特定の質問に応答して画像からキー情報を抽出する,新しい自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-29T13:20:50Z)
• Retrieval-Augmented Natural Language Reasoning for Explainable Visual Question Answering [2.98667511228225]
  ReReは、事前訓練されたクリップビジョンエンコーダと事前訓練されたGPT-2言語モデルをデコーダとして使用するエンコーダ/デコーダアーキテクチャモデルである。 ReReは、VQA精度と説明スコアにおいて従来の手法よりも優れており、より説得力があり信頼性の高いNLEの改善を示している。
  論文  参考訳（メタデータ） (2024-08-30T04:39:43Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Improving Visual Question Answering Models through Robustness Analysis and In-Context Learning with a Chain of Basic Questions [70.70725223310401]
  本研究は,VQAモデルのロバスト性を評価するために,基本質問と呼ばれる意味的関連質問を利用する新しい手法を提案する。 実験により,提案手法はVQAモデルのロバスト性を効果的に解析することを示した。
  論文  参考訳（メタデータ） (2023-04-06T15:32:35Z)
• Knowledge-Based Counterfactual Queries for Visual Question Answering [0.0]
  本稿では,VQAモデルの動作を説明するための系統的手法を提案する。 そこで我々は,言語的モダリティをターゲットとした決定論的,最適,制御可能な単語レベルの置換を行うために,構造化知識ベースを利用する。 次に、そのような反実的な入力に対するモデルの応答を評価する。
  論文  参考訳（メタデータ） (2023-03-05T08:00:30Z)
• Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment [81.73717488887938]
  Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。 LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。 これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
  論文  参考訳（メタデータ） (2023-02-02T06:38:44Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• COIN: Counterfactual Image Generation for VQA Interpretation [5.994412766684842]
  本稿では,VQAモデルに対する対実画像の生成による解釈可能性のアプローチを提案する。 単一画像上でのVQAモデルの結果の解釈に加えて、得られた結果と議論は、VQAモデルの振る舞いに関する広範な説明を提供する。
  論文  参考訳（メタデータ） (2022-01-10T13:51:35Z)
• Image Captioning for Effective Use of Language Models in Knowledge-Based Visual Question Answering [17.51860125438028]
  本稿では,画像と事前学習言語モデルの自動キャプションに基づく,単文のみの列車と推論手法を提案する。 外部知識 (OK-VQA) を必要とする視覚的質問応答タスクの結果, テキストのみのモデルは, パラメータ数に匹敵する事前学習されたマルチモーダル(画像-テキスト)モデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-09-15T14:11:29Z)
• A Picture May Be Worth a Hundred Words for Visual Question Answering [26.83504716672634]
  画像理解においては、簡潔だが詳細な画像表現を用いることが不可欠である。 より高速なR-CNNのような視覚モデルによって抽出された深い視覚的特徴は、複数のタスクで広く使われている。 本稿では、深い視覚的特徴の代わりに記述-探索ペアを入力とし、言語のみのトランスフォーマーモデルに入力する。
  論文  参考訳（メタデータ） (2021-06-25T06:13:14Z)
• VisQA: X-raying Vision and Language Reasoning in Transformers [10.439369423744708]
  最近の研究では、最先端のモデルがトレーニングデータのバイアスやショートカットを利用した回答を生み出す傾向があることが示されている。 VisQAは、この推論とバイアス搾取の問題を探求するビジュアル分析ツールです。
  論文  参考訳（メタデータ） (2021-04-02T08:08:25Z)
• Counterfactual Samples Synthesizing for Robust Visual Question Answering [104.72828511083519]
  モデルに依存しない対実サンプル合成(CSS)トレーニングスキームを提案する。 CSSは、画像や質問の言葉で重要なオブジェクトをマスキングすることで、多数の偽物トレーニングサンプルを生成する。 VQA-CP v2では58.95%,6.5%向上した。
  論文  参考訳（メタデータ） (2020-03-14T08:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。