論文の概要: GETReason: Enhancing Image Context Extraction through Hierarchical Multi-Agent Reasoning

• arxiv url: http://arxiv.org/abs/2505.21863v2
• Date: Thu, 29 May 2025 06:02:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 13:10:25.774803
• Title: GETReason: Enhancing Image Context Extraction through Hierarchical Multi-Agent Reasoning
• Title（参考訳）: GETReason:階層的マルチエージェント推論による画像コンテキスト抽出の強化
• Authors: Shikhhar Siingh, Abhinav Rawat, Chitta Baral, Vivek Gupta,
• Abstract要約: GETReasonは、表面レベルの画像記述を超えて、より深い文脈意味を推測するフレームワークである。 また、推論に基づく画像理解を評価するための新しい指標であるGREATを紹介する。
• 参考スコア（独自算出の注目度）: 40.95790862132066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Publicly significant images from events hold valuable contextual information, crucial for journalism and education. However, existing methods often struggle to extract this relevance accurately. To address this, we introduce GETReason (Geospatial Event Temporal Reasoning), a framework that moves beyond surface-level image descriptions to infer deeper contextual meaning. We propose that extracting global event, temporal, and geospatial information enhances understanding of an image's significance. Additionally, we introduce GREAT (Geospatial Reasoning and Event Accuracy with Temporal Alignment), a new metric for evaluating reasoning-based image understanding. Our layered multi-agent approach, assessed using a reasoning-weighted metric, demonstrates that meaningful insights can be inferred, effectively linking images to their broader event context.
• Abstract（参考訳）: イベントから得られる重要な画像は、ジャーナリズムや教育に不可欠な貴重な文脈情報を持っている。 しかし、既存の手法はこの関係を正確に抽出するのに苦労することが多い。 GETReason(Geospatial Event Temporal Reasoning)は、表面レベルの画像記述を超えて、より深いコンテキスト意味を推論するフレームワークである。 本研究では,グローバルな事象,時間的,地理空間的な情報を抽出することで,画像の意義の理解を深めることを提案する。 GREAT(Geospatial Reasoning and Event Accuracy with Temporal Alignment)は推論に基づく画像理解を評価するための新しい指標である。 我々の階層化マルチエージェントアプローチは、推論重み付きメトリクスを用いて評価され、意味のある洞察を推論できることを示し、より広いイベントコンテキストに効果的に画像をリンクする。

関連論文リスト

• Enhancing Conditional Image Generation with Explainable Latent Space Manipulation [0.0]
  本稿では,条件付きプロンプトに固執しながら,参照画像への忠実性を実現するための新しいアプローチを提案する。 そこで我々は,クロスアテンション・レイヤのクロスアテンション・マップと遅延ベクトルの勾配を解析した。 この情報を用いて,被写体を保存しつつ,参照画像の特徴をシームレスに統合し,特定のタイミングでマスクを作成する。
  論文  参考訳（メタデータ） (2024-08-29T03:12:04Z)
• Exploring Affordance and Situated Meaning in Image Captions: A Multimodal Analysis [1.124958340749622]
  Flickr30kデータセットのイメージに5つの知覚特性(Affordance, Perceptual Salience, Object Number, Cue Gazeing, Ecological Niche Association (ENA))を付加した注釈を付ける。 以上の結果より,ギブソニアの空白画像は,テコールの空白画像と比較して,「保持動詞」と「コンテナ名詞」を含む字幕の頻度が高いことが明らかとなった。
  論文  参考訳（メタデータ） (2023-05-24T01:30:50Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Visual Semantic Parsing: From Images to Abstract Meaning Representation [20.60579156219413]
  自然言語処理の分野で広く使われている意味表現である抽象的意味表現(AMR)を活用することを提案する。 我々の視覚的AMRグラフは、視覚入力から外挿された高レベルな意味概念に焦点をあてて、言語的により理解されている。 本研究は,シーン理解の改善に向けた今後の重要な研究方向を示唆するものである。
  論文  参考訳（メタデータ） (2022-10-26T17:06:42Z)
• There is a Time and Place for Reasoning Beyond the Image [63.96498435923328]
  画像は人間の目へのピクセルだけでなく、他のソースからのコンテキスト情報から推論、関連付け、推論して、推論することで、より完全な画像を確立することができる。 我々は、ニューヨーク・タイムズ(NYT)から自動的に抽出された16k画像と関連するニュース、時間、位置のデータセットTARAと、WITから離れた監視対象として追加で61k例を紹介した。 我々は、最先端のジョイントモデルと人間のパフォーマンスの間に70%のギャップがあることを示し、これは、セグメントワイズ推論を用いて高レベルな視覚言語ジョイントモデルを動機づける提案モデルによってわずかに満たされている。
  論文  参考訳（メタデータ） (2022-03-01T21:52:08Z)
• CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
  視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。 我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。 実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-13T17:03:57Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• ORD: Object Relationship Discovery for Visual Dialogue Generation [60.471670447176656]
  視覚対話生成のためのオブジェクトインタラクションを保存するためのオブジェクト関係探索(ORD)フレームワークを提案する。 階層的なグラフ畳み込みネットワーク (HierGCN) が提案され、オブジェクトノードと近傍の関係を局所的に保持し、オブジェクトとオブジェクトの接続をグローバルに洗練する。 実験により,視覚的関係の文脈情報を活用することにより,対話の質を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2020-06-15T12:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。