論文の概要: Retrieval-Augmented Perception: High-Resolution Image Perception Meets Visual RAG

• arxiv url: http://arxiv.org/abs/2503.01222v1
• Date: Mon, 03 Mar 2025 06:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:55.265342
• Title: Retrieval-Augmented Perception: High-Resolution Image Perception Meets Visual RAG
• Title（参考訳）: Retrieval-Augmented Perception: High-Resolution Image Perception with Visual RAG
• Authors: Wenbin Wang, Yongcheng Jing, Liang Ding, Yingjie Wang, Li Shen, Yong Luo, Bo Du, Dacheng Tao,
• Abstract要約: マルチモーダル大言語モデル(MLLM)における高分解能画像認識の課題 本稿では,従来の専門的アプローチから脱却し,MLLMの長文能力を高めることにより,最も基本的な考え方を人事知覚に再考する。 本研究では,空間的コンテキストを保ちながら関連する画像作物を抽出・融合する学習自由フレームワークであるRetrieval-Augmented Perception (RAP)を提案する。
• 参考スコア（独自算出の注目度）: 79.61269381878547
• License:
• Abstract: High-resolution (HR) image perception remains a key challenge in multimodal large language models (MLLMs). To overcome the limitations of existing methods, this paper shifts away from prior dedicated heuristic approaches and revisits the most fundamental idea to HR perception by enhancing the long-context capability of MLLMs, driven by recent advances in long-context techniques like retrieval-augmented generation (RAG) for general LLMs. Towards this end, this paper presents the first study exploring the use of RAG to address HR perception challenges. Specifically, we propose Retrieval-Augmented Perception (RAP), a training-free framework that retrieves and fuses relevant image crops while preserving spatial context using the proposed Spatial-Awareness Layout. To accommodate different tasks, the proposed Retrieved-Exploration Search (RE-Search) dynamically selects the optimal number of crops based on model confidence and retrieval scores. Experimental results on HR benchmarks demonstrate the significant effectiveness of RAP, with LLaVA-v1.5-13B achieving a 43% improvement on $V^*$ Bench and 19% on HR-Bench.
• Abstract（参考訳）: 高解像度(HR)画像認識は、マルチモーダル大言語モデル(MLLM)において依然として重要な課題である。 従来の手法の限界を克服するため,本論文では,検索拡張生成(RAG)などの長期的手法の進歩により,MLLMの長文能力を高めることにより,従来の専門的ヒューリスティックアプローチからHR知覚への最も基本的な考え方を再考する。 本研究は,人事認知の課題に対処するためのRAGの利用を探求する最初の研究である。 具体的には、空間認識レイアウトを用いて空間的コンテキストを保存しながら、関連する画像作物を検索・融合する訓練不要のフレームワークであるRetrieval-Augmented Perception (RAP)を提案する。 そこで提案したRetrieved-Exploration Search (RE-Search) では,モデル信頼度と検索スコアに基づいて最適な作物数を選択する。 LLaVA-v1.5-13Bは$V^*$ Benchで43%,HR-Benchで19%向上した。

関連論文リスト

• On the Influence of Context Size and Model Choice in Retrieval-Augmented Generation Systems [5.69361786082969]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の拡張手法として登場した。 我々は,様々なコンテキストサイズ,BM25,セマンティック検索を検索として評価し,8つの基本LLMについて検討した。 以上の結果から, 最終QA成績は最大15スニペットで着実に改善するが, 停滞あるいは低下がみられた。
  論文  参考訳（メタデータ） (2025-02-20T17:34:34Z)
• RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
  大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。 Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。 我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T04:56:53Z)
• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• RPO: Retrieval Preference Optimization for Robust Retrieval-Augmented Generation [33.85528514353727]
  本稿では,検索関連性に基づいた多元的知識を適応的に活用するRetrieval Preference Optimization (RPO)を提案する。 RPOは、トレーニングにおける検索関連性の認識を定量化する唯一のRAG指定アライメントアプローチである。 4つのデータセットの実験では、RPOは追加のコンポーネントを使わずに、RAGを4～10%精度で上回っている。
  論文  参考訳（メタデータ） (2025-01-23T14:58:56Z)
• Towards Multi-Source Retrieval-Augmented Generation via Synergizing Reasoning and Preference-Driven Retrieval [4.862780562808097]
  既存のadaptive RAG (ARAG) システムは、適切なタイミングで適切なソースを選択することができないため、複数の検索ソースを効果的に探索するのに苦労している。 我々は,MSPRと呼ばれるマルチソースARAGフレームワークを提案し,推論と嗜好駆動型検索を相乗化して「いつ,何を検索すべきか」と「どの検索ソースを使うのか」を適応的に決定する。
  論文  参考訳（メタデータ） (2024-11-01T15:50:58Z)
• RAVEN: Multitask Retrieval Augmented Vision-Language Learning [5.1583788731239455]
  世界中の知識をエンコードする大規模言語モデルのスケーリングは持続不可能であり、リソースバリアが悪化している。 Retrieval-Augmented Generation (RAG) は潜在的な解決策を示すが、その視覚言語モデル(VLM)への応用は検討中である。 本稿では,効率的なタスク特化微調整により,ベースVLMを強化した検索拡張VLMフレームワークであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2024-06-27T13:08:35Z)
• A Survey on Retrieval-Augmented Text Generation for Large Language Models [1.4579344926652844]
  Retrieval-Augmented Generation (RAG)は、検索手法とディープラーニングの進歩を融合する。 本稿では,RAGパラダイムを検索前,検索後,検索後,生成の4つのカテゴリに分類する。 RAGの進化を概説し、重要な研究の分析を通して分野の進歩について論じている。
  論文  参考訳（メタデータ） (2024-04-17T01:27:42Z)
• Memory-augmented Deep Unfolding Network for Guided Image Super-resolution [67.83489239124557]
  誘導画像超解像(GISR)は、HR画像の誘導の下で低解像度(LR)目標画像の空間分解能を高めて高解像度(HR)目標画像を得る。 従来のモデルベース手法は主に画像全体を取り、HR目標画像とHRガイダンス画像との事前分布を仮定する。 HR目標画像上で2種類の事前性を持つGISRの最大後部(MAP)推定モデルを提案する。
  論文  参考訳（メタデータ） (2022-02-12T15:37:13Z)
• Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
  我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。 このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。 リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。 イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
  論文  参考訳（メタデータ） (2021-03-29T02:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。