論文の概要: Natural Language Generation from Visual Events: State-of-the-Art and Key Open Questions

• arxiv url: http://arxiv.org/abs/2502.13034v3
• Date: Tue, 19 Aug 2025 20:12:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 14:45:44.349737
• Title: Natural Language Generation from Visual Events: State-of-the-Art and Key Open Questions
• Title（参考訳）: ビジュアルイベントから自然言語を生成する - 現状と鍵となるオープンな質問
• Authors: Aditya K Surikuchi, Raquel Fernández, Sandro Pezzelle,
• Abstract要約: 画像やフレームのシーケンスから自然言語を生成するタスクは、時間とともに展開する視覚イベントと、それらを解釈、記述、ナレーションするために使用される言語の特徴との間の複雑な関係をモデル化する、より広範で一般的な問題の一例である、と我々は主張する。 我々は5つの一見異なるタスクを考えており、このより広いマルチモーダル問題の魅力的な事例であると主張している。
• 参考スコア（独自算出の注目度）: 8.058451580903123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, a substantial body of work in visually grounded natural language processing has focused on real-life multimodal scenarios such as describing content depicted in images or videos. However, comparatively less attention has been devoted to study the nature and degree of interaction between the different modalities in these scenarios. In this paper, we argue that any task dealing with natural language generation from sequences of images or frames is an instance of the broader, more general problem of modeling the intricate relationships between visual events unfolding over time and the features of the language used to interpret, describe, or narrate them. Therefore, solving these tasks requires models to be capable of identifying and managing such intricacies. We consider five seemingly different tasks, which we argue are compelling instances of this broader multimodal problem. Subsequently, we survey the modeling and evaluation approaches adopted for these tasks in recent years and examine the common set of challenges these tasks pose. Building on this perspective, we identify key open questions and propose several research directions for future investigation.
• Abstract（参考訳）: 近年,画像やビデオに表現された内容の記述など,実生活におけるマルチモーダルシナリオに焦点が当てられている。 しかしながら、これらのシナリオにおける異なるモダリティ間の相互作用の性質と程度を研究するために、比較的少ない注意が向けられている。 本稿では、画像やフレームのシーケンスから自然言語を生成するタスクは、時間とともに展開する視覚事象と、それらを解釈、記述、ナレーションするために使用される言語の特徴との間の複雑な関係をモデル化する、より広く、より一般的な問題の一例である、と論じる。 したがって、これらのタスクを解くには、そのような複雑さを識別し、管理できるモデルが必要である。 我々は5つの一見異なるタスクを考えており、このより広いマルチモーダル問題の魅力的な事例であると主張している。 その後、近年これらの課題に採用されているモデリングと評価のアプローチを調査し、これらの課題がもたらす共通の課題について検討する。 この観点から、重要なオープンな質問を識別し、今後の調査に向けたいくつかの研究指針を提案する。

関連論文リスト

• Coordinated Robustness Evaluation Framework for Vision-Language Models [4.0196072781228285]
  我々は、画像とテキストの両方を入力とし、共同表現を生成する一般的な代理モデルを訓練する。 この協調攻撃戦略は、視覚的質問と回答と視覚的推論データセットに基づいて評価される。
  論文  参考訳（メタデータ） (2025-06-05T08:09:05Z)
• TextInVision: Text and Prompt Complexity Driven Visual Text Generation Benchmark [61.412934963260724]
  既存の拡散ベースのテキスト・ツー・イメージモデルは、しばしば画像に正確にテキストを埋め込むのに苦労する。 本研究では,画像に視覚テキストを統合する拡散モデルの有効性を評価するために,大規模で,かつ,迅速な複雑性駆動型ベンチマークであるTextInVisionを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T21:36:31Z)
• VL-GLUE: A Suite of Fundamental yet Challenging Visuo-Linguistic Reasoning Tasks [48.67062958311173]
  VL-GLUEは、自然言語理解のためのマルチタスクベンチマークである。 既存の大規模視覚言語モデルでは,このベンチマークは非常に難しい。
  論文  参考訳（メタデータ） (2024-10-17T15:27:17Z)
• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  Leopardは、複数のテキストリッチイメージを含む視覚言語タスクを扱うビジョン言語モデルである。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを開発した。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models [37.44286562901589]
  本研究では,空間推論の多様な側面をカバーする新しいベンチマークであるSpatialEvalを提案する。 我々は、競合する言語と視覚言語モデルを総合的に評価する。 文献で見過ごされてきたいくつかの反直感的な洞察が明らかとなった。
  論文  参考訳（メタデータ） (2024-06-21T03:53:37Z)
• Are Human Conversations Special? A Large Language Model Perspective [8.623471682333964]
  本研究では、人間(人間)の自然な会話を理解するために、大規模言語モデル(LLM)の注意機構の変化を分析する。 その結果,言語モデルはドメイン固有の注意行動を示すが,人間の会話を専門化する能力には大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-08T04:44:25Z)
• Visual Text Meets Low-level Vision: A Comprehensive Survey on Visual Text Processing [4.057550183467041]
  視覚テキスト処理の分野は、基本的な生成モデルの出現によって、研究の急増を経験してきた。 この分野での最近の進歩を包括的かつ多面的に分析する。
  論文  参考訳（メタデータ） (2024-02-05T15:13:20Z)
• Visual Storytelling with Question-Answer Plans [70.89011289754863]
  本稿では、事前訓練された言語モデルと計画に視覚表現を統合する新しいフレームワークを提案する。 我々のモデルは、画像列を視覚的な接頭辞、つまり言語モデルで解釈できる連続的な埋め込みの列に変換する。 また、一連の質問と回答のペアを青写真プランとして利用して、健全な視覚概念を選択し、物語にどのように組み立てるべきかを決定する。
  論文  参考訳（メタデータ） (2023-10-08T21:45:34Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Vision-Language Models in Remote Sensing: Current Progress and Future Trends [25.017685538386548]
  視覚言語モデルは、画像とその関連するテキスト記述の推論を可能にし、基礎となるセマンティクスのより深い理解を可能にする。 視覚言語モデルは、RS画像の視覚的認識を超えて、意味的関係をモデル化し、画像の自然言語記述を生成することができる。 本稿では,リモートセンシングにおける視覚言語モデルの研究を包括的にレビューする。
  論文  参考訳（メタデータ） (2023-05-09T19:17:07Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• From Show to Tell: A Survey on Image Captioning [48.98681267347662]
  視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。 画像キャプションの研究はまだ結論に達していない。 本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
  論文  参考訳（メタデータ） (2021-07-14T18:00:54Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• Multi-Modal Reasoning Graph for Scene-Text Based Fine-Grained Image Classification and Retrieval [8.317191999275536]
  本稿では,視覚的・テキスト的手がかりの形でマルチモーダルコンテンツを活用することで,微細な画像分類と検索の課題に取り組むことに焦点を当てる。 画像中の有意なオブジェクトとテキスト間の共通意味空間を学習することにより、マルチモーダル推論を行い、関係強化された特徴を得るためにグラフ畳み込みネットワークを用いる。
  論文  参考訳（メタデータ） (2020-09-21T12:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。