論文の概要: From Query to Explanation: Uni-RAG for Multi-Modal Retrieval-Augmented Learning in STEM

• arxiv url: http://arxiv.org/abs/2507.03868v1
• Date: Sat, 05 Jul 2025 02:44:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.913387
• Title: From Query to Explanation: Uni-RAG for Multi-Modal Retrieval-Augmented Learning in STEM
• Title（参考訳）: クエリから説明へ:STEMにおけるマルチモーダル検索強化学習のためのUni-RAG
• Authors: Xinyi Wu, Yanhao Jia, Luwei Xiao, Shuai Zhao, Fengkuang Chiang, Erik Cambria,
• Abstract要約: We developed a lightweight, efficient multi-modal search module called Uni-Retrieval。 クエリスタイルのプロトタイプを抽出し、継続的に更新されたPrompt Bankのトークンと動的にマッチする。 このPrompt Bankは、Mixture-of-Expert Low-Rank Adaptation (MoE-LoRA)モジュールを利用して、ドメイン固有の知識を符号化し、保存する。 元のUni-Retrievalをコンパクトな命令調整言語モデルと統合し、Uni-RAGという完全検索拡張生成パイプラインを形成する。
• 参考スコア（独自算出の注目度）: 35.20687923222239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In AI-facilitated teaching, leveraging various query styles to interpret abstract educational content is crucial for delivering effective and accessible learning experiences. However, existing retrieval systems predominantly focus on natural text-image matching and lack the capacity to address the diversity and ambiguity inherent in real-world educational scenarios. To address this limitation, we develop a lightweight and efficient multi-modal retrieval module, named Uni-Retrieval, which extracts query-style prototypes and dynamically matches them with tokens from a continually updated Prompt Bank. This Prompt Bank encodes and stores domain-specific knowledge by leveraging a Mixture-of-Expert Low-Rank Adaptation (MoE-LoRA) module and can be adapted to enhance Uni-Retrieval's capability to accommodate unseen query types at test time. To enable natural language educational content generation, we integrate the original Uni-Retrieval with a compact instruction-tuned language model, forming a complete retrieval-augmented generation pipeline named Uni-RAG. Given a style-conditioned query, Uni-RAG first retrieves relevant educational materials and then generates human-readable explanations, feedback, or instructional content aligned with the learning objective. Experimental results on SER and other multi-modal benchmarks show that Uni-RAG outperforms baseline retrieval and RAG systems in both retrieval accuracy and generation quality, while maintaining low computational cost. Our framework provides a scalable, pedagogically grounded solution for intelligent educational systems, bridging retrieval and generation to support personalized, explainable, and efficient learning assistance across diverse STEM scenarios.
• Abstract（参考訳）: AIに精通した教育では、さまざまなクエリスタイルを活用して抽象的な教育コンテンツを解釈することが、効果的でアクセスしやすい学習体験を提供する上で不可欠である。 しかし、既存の検索システムは、主に自然のテキスト画像マッチングに焦点を当てており、現実世界の教育シナリオに固有の多様性とあいまいさに対処する能力が欠如している。 この制限に対処するため、Uni-Retrievalという軽量で効率的なマルチモーダル検索モジュールを開発し、クエリスタイルのプロトタイプを抽出し、継続的に更新されたPrompt Bankのトークンと動的にマッチングする。 このPrompt Bankは、Mixture-of-Expert Low-Rank Adaptation (MoE-LoRA)モジュールを利用してドメイン固有の知識をエンコードし、格納し、テスト時に未確認のクエリタイプに対応するUni-Retrievalの機能を強化するように適応できる。 自然言語による学習コンテンツ生成を実現するため,Uni-RAGと呼ばれる完全検索拡張生成パイプラインを作成した。 スタイル条件付きクエリが与えられた後、Uni-RAGはまず関連する教育資料を検索し、学習目的に沿った人間可読な説明、フィードバック、教育内容を生成する。 SERや他のマルチモーダルベンチマークの実験結果から、Uni-RAGは低計算コストを維持しつつ、検索精度と生成品質の両方でベースライン検索とRAGシステムより優れていた。 我々のフレームワークは、インテリジェントな教育システム、ブリッジング検索と生成のためのスケーラブルで実践的なソリューションを提供し、多様なSTEMシナリオに対してパーソナライズされた、説明可能な、効率的な学習支援をサポートする。

関連論文リスト

• Beyond Retrieval: Joint Supervision and Multimodal Document Ranking for Textbook Question Answering [3.6799953119508735]
  本稿では,意味表現を拡張化するためのメカニズムを導入することで,マルチモーダルな教科書質問応答手法を提案する。 我々のモデルであるJETRTQA(Joint Embedding Training With Ranking Supervision for Textbook Question Answering)は、検索ジェネレータアーキテクチャ上に構築されたマルチモーダル学習フレームワークである。 本手法をCK12-QAデータセット上で評価し,情報化文書と無関係文書の識別を著しく改善することを示す。
  論文  参考訳（メタデータ） (2025-05-17T13:23:54Z)
• UniversalRAG: Retrieval-Augmented Generation over Corpora of Diverse Modalities and Granularities [53.76854299076118]
  UniversalRAGは異種情報源からの知識を多様さと粒度で検索・統合するための新しいRAGフレームワークである。 本稿では,最も適切なモダリティ固有コーパスを動的に識別し,その内部でターゲット検索を行うモダリティ対応ルーティング機構を提案する。 マルチモーダル性にまたがる8つのベンチマークでUniversalRAGを検証する。
  論文  参考訳（メタデータ） (2025-04-29T13:18:58Z)
• Uni-Retrieval: A Multi-Style Retrieval Framework for STEM's Education [30.071212702797016]
  AIに精通した授業では、さまざまなクエリスタイルを活用して、抽象的なテキスト記述を解釈することが、高品質な教育の確保に不可欠である。 本稿では,複数のクエリスタイルと表現に基づく検索を支援する,教育シナリオに適した多様な表現検索タスクを提案する。 本稿では,異なるスタイルの24,000以上のクエリペアを含むSTEM Education Retrievalデータセットと,プロンプトチューニングに基づく効率的かつ多様な検索ビジョン言語モデルであるUni-Retrievalを紹介する。
  論文  参考訳（メタデータ） (2025-02-09T11:46:05Z)
• Enhancing Retrieval-Augmented Generation: A Study of Best Practices [16.246719783032436]
  我々は,クエリ拡張,新しい検索戦略,新しいコントラシティブ・インコンテクスト学習RAGを取り入れた高度なRAGシステム設計を開発する。 本研究は,言語モデルのサイズ,プロンプトデザイン,文書チャンクサイズ,知識ベースサイズ,検索ストライド,クエリ拡張手法,文レベルでのコンテキスト検索など,重要な要素を体系的に検討する。 本研究は,RAGシステムの開発に有効な知見を提供し,文脈的豊かさと検索・生成効率のバランスを図った。
  論文  参考訳（メタデータ） (2025-01-13T15:07:55Z)
• A Proposed Large Language Model-Based Smart Search for Archive System [0.0]
  本研究では,デジタルアーカイブシステムにおけるスマート検索のための新しいフレームワークを提案する。 Retrieval-Augmented Generation (RAG) アプローチを用いることで、自然言語クエリの処理を可能にする。 本稿では,システムのアーキテクチャと実装について述べるとともに,その性能を4つの実験で評価する。
  論文  参考訳（メタデータ） (2025-01-13T02:53:07Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Retrieval Meets Reasoning: Even High-school Textbook Knowledge Benefits Multimodal Reasoning [49.3242278912771]
  RMR(Retrieval Meets Reasoning)と呼ばれる新しいマルチモーダルRAGフレームワークについて紹介する。 RMRフレームワークは、最も関連性の高い問合せ対を特定するために、バイモーダル検索モジュールを使用する。 これは、ベンチマークデータセットのスペクトルにわたって様々なビジョン言語モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-31T14:23:49Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。