論文の概要: CollEX -- A Multimodal Agentic RAG System Enabling Interactive Exploration of Scientific Collections

• arxiv url: http://arxiv.org/abs/2504.07643v1
• Date: Thu, 10 Apr 2025 10:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:23:28.878125
• Title: CollEX -- A Multimodal Agentic RAG System Enabling Interactive Exploration of Scientific Collections
• Title（参考訳）: CollEX - 科学コレクションのインタラクティブな探索を実現するマルチモーダルエージェントRAGシステム
• Authors: Florian Schneider, Narges Baba Ahmadi, Niloufar Baba Ahmadi, Iris Vogel, Martin Semmann, Chris Biemann,
• Abstract要約: CollEx(コレックス)は、科学コレクションのインタラクティブな探索を強化するために設計されたマルチモーダルエージェント検索生成(RAG)システムである。 本システムは,教師,生徒,学生,研究者に有用な教育シナリオを支援する。 公立大学から収集した32のコレクションに64,000以上のユニークな記録を含む概念実証アプリケーションを用いて,本システムの有効性を解説する。
• 参考スコア（独自算出の注目度）: 14.597005104970386
• License:
• Abstract: In this paper, we introduce CollEx, an innovative multimodal agentic Retrieval-Augmented Generation (RAG) system designed to enhance interactive exploration of extensive scientific collections. Given the overwhelming volume and inherent complexity of scientific collections, conventional search systems often lack necessary intuitiveness and interactivity, presenting substantial barriers for learners, educators, and researchers. CollEx addresses these limitations by employing state-of-the-art Large Vision-Language Models (LVLMs) as multimodal agents accessible through an intuitive chat interface. By abstracting complex interactions via specialized agents equipped with advanced tools, CollEx facilitates curiosity-driven exploration, significantly simplifying access to diverse scientific collections and records therein. Our system integrates textual and visual modalities, supporting educational scenarios that are helpful for teachers, pupils, students, and researchers by fostering independent exploration as well as scientific excitement and curiosity. Furthermore, CollEx serves the research community by discovering interdisciplinary connections and complementing visual data. We illustrate the effectiveness of our system through a proof-of-concept application containing over 64,000 unique records across 32 collections from a local scientific collection from a public university.
• Abstract（参考訳）: 本稿では,大規模科学コレクションのインタラクティブな探索を促進するために,革新的なマルチモーダルエージェント検索・拡張生成システムであるColllExを紹介する。 科学コレクションの圧倒的な量と本質的な複雑さを考えると、従来の検索システムは直感性や対話性が欠如しており、学習者、教育者、研究者にとって大きな障壁となっている。 CollExは、最先端のLVLM(Large Vision-Language Models)を直感的なチャットインターフェースを通じてアクセス可能なマルチモーダルエージェントとして使用することで、これらの制限に対処する。 高度なツールを備えた特殊エージェントを通じて複雑な相互作用を抽象化することにより、ColllExは好奇心を駆使した探索を促進し、多様な科学的収集や記録へのアクセスを大幅に単純化する。 本システムでは, 教師, 生徒, 学生, 研究者にとって有用な教育シナリオを, 科学的な興奮や好奇心だけでなく, 独立した探索を育むことによって支援する。 さらにColllExは、学際的なつながりを発見し、視覚データを補完することで、研究コミュニティに役立っている。 公立大学から収集した32のコレクションに64,000以上のユニークな記録を含む概念実証アプリケーションを用いて,本システムの有効性を解説する。

関連論文リスト

• Explainable Search and Discovery of Visual Cultural Heritage Collections with Multimodal Large Language Models [0.0]
  本稿では,最先端のマルチモーダル言語モデル (LLM) を用いて,ビジュアルコレクションのためのオープンで説明可能な検索・発見インターフェースを実現する手法を提案する。 我々は,視覚的な埋め込みをベースとした手法の共通の落とし穴を避けるために,新しいクラスタリングとレコメンデーションシステムを構築する方法を示す。
  論文  参考訳（メタデータ） (2024-11-07T12:48:39Z)
• Many Heads Are Better Than One: Improved Scientific Idea Generation by A LLM-Based Multi-Agent System [62.832818186789545]
  Virtual Scientists (VirSci) は、科学研究に固有のチームワークを模倣するために設計されたマルチエージェントシステムである。 VirSciは研究のアイデアを共同で生成し、評価し、洗練するエージェントのチームを組織している。 このマルチエージェントアプローチは、新しい科学的アイデアを生み出す上で、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:16:22Z)
• DiscipLink: Unfolding Interdisciplinary Information Seeking Process via Human-AI Co-Exploration [34.23942131024738]
  本稿では,研究者と大規模言語モデル(LLM)の協調を支援する対話型システムであるDiscipLinkを紹介する。 ユーザの関心事に基づいて、DiscipLinkは、関連する研究分野の観点から探索的な質問を開始する。 本評価は, 対象内比較実験とオープンエンド探索研究からなり, ディシプリンクは, 学際境界を断ち切る上で, 研究者を効果的に支援できることを示した。
  論文  参考訳（メタデータ） (2024-08-01T10:36:00Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
  本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。 SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。 本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
  論文  参考訳（メタデータ） (2024-04-09T15:01:51Z)
• UniRQR: A Unified Model for Retrieval Decision, Query, and Response Generation in Internet-Based Knowledge Dialogue Systems [8.724141214921314]
  インターネット検索による知識ベースの対話システムは、通常、検索決定、クエリ生成、レスポンス生成の3つのタスクに分けられる。 我々の研究は、プロンプトおよびマルチタスク学習アプローチによって促進される単一の統一モデルを用いることで、この監視に対処する。 これらの機能を統合することで、事前訓練されたモデルの潜在能力をフル活用し、複数のモデルのデプロイに伴う複雑さとコストを削減する。
  論文  参考訳（メタデータ） (2024-01-11T06:09:15Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• UniDoc: A Universal Large Multimodal Model for Simultaneous Text Detection, Recognition, Spotting and Understanding [93.92313947913831]
  テキスト検出と認識機能を備えた新しいマルチモーダルモデルUniDocを紹介する。 我々の知る限りでは、これはテキストの検出、認識、スポッティング、理解を同時に行うことができる最初の大規模マルチモーダルモデルである。
  論文  参考訳（メタデータ） (2023-08-19T17:32:34Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。