論文の概要: Designing Interfaces for Multimodal Vector Search Applications

• arxiv url: http://arxiv.org/abs/2409.11629v1
• Date: Wed, 18 Sep 2024 01:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 15:26:58.660675
• Title: Designing Interfaces for Multimodal Vector Search Applications
• Title（参考訳）: マルチモーダルベクトル探索用インタフェースの設計
• Authors: Owen Pendrigh Elliott, Tom Hamer, Jesse Clark,
• Abstract要約: マルチモーダルベクトル探索は,従来の語彙検索エンジンでは不可能な多数の機能を公開することで,情報検索の新しいパラダイムを提供する。 本稿では,ユーザによる情報ニーズの表現と,これらのシステムとの効果的なインタラクションを可能にする実装と設計パターンを提案する。
• 参考スコア（独自算出の注目度）: 0.08192907805418582
• License:
• Abstract: Multimodal vector search offers a new paradigm for information retrieval by exposing numerous pieces of functionality which are not possible in traditional lexical search engines. While multimodal vector search can be treated as a drop in replacement for these traditional systems, the experience can be significantly enhanced by leveraging the unique capabilities of multimodal search. Central to any information retrieval system is a user who expresses an information need, traditional user interfaces with a single search bar allow users to interact with lexical search systems effectively however are not necessarily optimal for multimodal vector search. In this paper we explore novel capabilities of multimodal vector search applications utilising CLIP models and present implementations and design patterns which better allow users to express their information needs and effectively interact with these systems in an information retrieval context.
• Abstract（参考訳）: マルチモーダルベクトル探索は,従来の語彙検索エンジンでは不可能な多数の機能を公開することで,情報検索の新しいパラダイムを提供する。 マルチモーダルベクトル探索は従来のシステムに取って代わるものとして扱うことができるが、マルチモーダル探索のユニークな機能を活用することで、その体験を著しく向上させることができる。 情報検索システムの中心となるのは、情報要求を表現するユーザであり、単一の検索バーを持つ従来のユーザインターフェースにより、語彙検索システムと効率的に対話できるが、必ずしもマルチモーダルベクトル検索には最適ではない。 本稿では,CLIPモデルを利用したマルチモーダルベクトル探索アプリケーションの新機能について検討し,その実装と設計パターンについて述べる。

関連論文リスト

• MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
  本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。 まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。 我々は,MLLMレトリバーが提示するモダリティバイアスを軽減するために,モダリティを考慮したハードネガティブマイニングを提案する。
  論文  参考訳（メタデータ） (2024-11-04T20:06:34Z)
• A Survey of Multimodal Composite Editing and Retrieval [7.966265020507201]
  この調査は、マルチモーダル複合検索に関する文献の総合的なレビューとしては初めてである。 画像テキスト合成編集、画像テキスト合成検索、その他のマルチモーダル合成検索をカバーしている。 アプリケーションシナリオ、メソッド、ベンチマーク、実験、将来の方向性を体系的に整理します。
  論文  参考訳（メタデータ） (2024-09-09T08:06:50Z)
• Smart Multi-Modal Search: Contextual Sparse and Dense Embedding Integration in Adobe Express [3.8973445113342433]
  スケーラブルなマルチモーダル検索システムを構築するには、いくつかのコンポーネントを微調整する必要がある。 埋め込みモデル選択、マッチングとランク付けにおける埋め込みの役割、密着と疎着のバランス等について考察する。
  論文  参考訳（メタデータ） (2024-08-26T23:52:27Z)
• Leveraging Large Language Models for Multimodal Search [0.6249768559720121]
  本稿では,Fashion200Kデータセット上での新たなパフォーマンスマイルストーンを実現する,新しいマルチモーダル検索モデルを提案する。 また,Large Language Models (LLM) を統合した新たな検索インタフェースを提案する。
  論文  参考訳（メタデータ） (2024-04-24T10:30:42Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• UniIR: Training and Benchmarking Universal Multimodal Information Retrievers [76.06249845401975]
  命令誘導型マルチモーダルレトリバーであるUniIRを導入する。 UniIRは、10の多様なマルチモーダル-IRデータセットで共同で訓練された単一の検索システムであり、様々な検索タスクを実行するためにユーザー命令を解釈する。 我々は,汎用マルチモーダル情報検索の評価を標準化するために,総合的な結果を持つマルチモーダル検索ベンチマークであるM-BEIRを構築した。
  論文  参考訳（メタデータ） (2023-11-28T18:55:52Z)
• Large Search Model: Redefining Search Stack in the Era of LLMs [63.503320030117145]
  我々は,1つの大言語モデル(LLM)で検索タスクを統一することにより,従来の検索スタックを再定義する,大規模検索モデルと呼ばれる新しい概念的フレームワークを導入する。 全てのタスクは自動回帰テキスト生成問題として定式化され、自然言語のプロンプトを使ってタスクをカスタマイズできる。 提案フレームワークは,LLMの強力な言語理解と推論能力を活用し,既存の検索スタックを簡素化しつつ,検索結果の質を向上させる能力を提供する。
  論文  参考訳（メタデータ） (2023-10-23T05:52:09Z)
• Exploring Multi-Modal Contextual Knowledge for Open-Vocabulary Object Detection [72.36017150922504]
  教師の融合変換器から学生検出器へ学習した文脈知識を伝達するためのマルチモーダルな文脈知識蒸留フレームワーク MMC-Det を提案する。 多様なマルチモーダルマスキング言語モデリングは、従来のマルチモーダルマスキング言語モデリング(MLM)に基づくオブジェクト分散制約により実現される。
  論文  参考訳（メタデータ） (2023-08-30T08:33:13Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。