論文の概要: CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling

• arxiv url: http://arxiv.org/abs/2406.17507v2
• Date: Tue, 15 Jul 2025 03:20:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 21:53:39.168806
• Title: CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling
• Title（参考訳）: CART: 粗大な要素間セマンティックモデリングを備えた生成型クロスモーダル検索フレームワーク
• Authors: Minghui Fang, Shengpeng Ji, Jialong Zuo, Hai Huang, Yan Xia, Jieming Zhu, Xize Cheng, Xiaoda Yang, Wenrui Liu, Gang Wang, Zhenhua Dong, Zhou Zhao,
• Abstract要約: クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
• 参考スコア（独自算出の注目度）: 53.97609687516371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-modal retrieval aims to search for instances, which are semantically related to the query through the interaction of different modal data. Traditional solutions utilize a single-tower or dual-tower framework to explicitly compute the score between queries and candidates, which is challenged by training cost and inference latency with large-scale data. Inspired by the remarkable performance and efficiency of generative models, we propose a generative cross-modal retrieval framework (CART) based on coarse-to-fine semantic modeling, which assigns identifiers to each candidate and treats the generating identifier as the retrieval target. Specifically, we explore an effective coarse-to-fine scheme, combining K-Means and RQ-VAE to discretize multimodal data into token sequences that support autoregressive generation. Further, considering the lack of explicit interaction between queries and candidates, we propose a feature fusion strategy to align their semantics. Extensive experiments demonstrate the effectiveness of the strategies in the CART, achieving excellent results in both retrieval performance and efficiency.
• Abstract（参考訳）: クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは,クエリと候補間のスコアを明示的に計算するために,シングルトウワーあるいはデュアルトウワーのフレームワークを使用していた。 生成モデルの顕著な性能と効率に着想を得て,各候補に識別子を割り当て,生成した識別子を検索対象として扱う,粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。 具体的には、K-Means と RQ-VAE を組み合わせて、マルチモーダルデータを自己回帰生成をサポートするトークンシーケンスに識別する、効果的な粗大きめのスキームについて検討する。 さらに,クエリと候補間の明示的な相互作用の欠如を考慮し,それらのセマンティクスを整合させる機能融合戦略を提案する。 大規模な実験により,CARTにおける戦略の有効性が実証され,検索性能と効率の両面で優れた結果が得られた。

関連論文リスト

• SemCORE: A Semantic-Enhanced Generative Cross-Modal Retrieval Framework with MLLMs [70.79124435220695]
  セマンティック強化型Cross-mOdal Retrievalフレームワーク(SemCORE)を提案する。 まず,自然言語の理解と生成に最適化された生成モデルとターゲット識別子を効果的に整合させる構造化自然言語識別器(SID)を構築した。 次に、粒度の細かいターゲット識別を可能にするジェネレーティブ・セマンティック・検証(GSV)戦略を導入する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:27Z)
• Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts [67.67746334493302]
  大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。 提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-15T17:35:56Z)
• GENIUS: A Generative Framework for Universal Multimodal Search [26.494338650656594]
  本稿では,複数のモダリティやドメインにまたがる多様なタスクを支援する汎用的な生成検索フレームワークGENIUSを提案する。 GENIUSは、モダリティを分離したセマンティック量子化を導入し、マルチモーダルデータをモダリティとセマンティクスの両方をコードする離散IDに変換する。 汎用性を高めるために,クエリとターゲットを補間するクエリ拡張を提案し,genIUSが様々なクエリ形式に適応できるようにする。
  論文  参考訳（メタデータ） (2025-03-25T17:32:31Z)
• MultiConIR: Towards multi-condition Information Retrieval [57.6405602406446]
  我々は,マルチコンディションシナリオにおける検索モデルの評価を目的とした,最初のベンチマークであるMultiConIRを紹介する。 本稿では,マルチコンディションのロバスト性,モノトニック関連性ランキング,クエリフォーマットの感度に基づいて,検索とリランクモデルの評価を行う3つのタスクを提案する。
  論文  参考訳（メタデータ） (2025-03-11T05:02:03Z)
• HEISIR: Hierarchical Expansion of Inverted Semantic Indexing for Training-free Retrieval of Conversational Data using LLMs [0.3277163122167434]
  本稿では,会話データ検索における意味理解を強化する新しいフレームワークであるHEISIRを紹介する。 Heisir は,(1)階層型トリプレットの定式化と(2)アジュネート・アジュメンテーション(Adjunct Augmentation)という2段階のプロセスを実装し,SVOA(Subject-Verb-Object-Adjunct)四重項からなるセマンティック指標を生成する。 実験の結果,HEISIRは様々な埋め込み型や言語モデルにまたがる微調整モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-06T06:39:25Z)
• Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations [22.48125906976824]
  カスケード型組織的ビ表現型ジェネリック検索フレームワークを導入し,カスケード処理を通じてスパース意味IDと高密度ベクトルを統合する。 本手法は,これらの表現をまずスパースIDを生成して交互に生成し,高密度ベクトルの生成を支援する条件として機能する。 推論の間、COBRAは粗大な戦略を採用し、スパースID生成から始まり、生成モデルを介してそれらを密度の高いベクトルに精製する。
  論文  参考訳（メタデータ） (2025-03-04T10:00:05Z)
• Re-ranking the Context for Multimodal Retrieval Augmented Generation [28.63893944806149]
  Retrieval-augmented Generation (RAG)は、文脈内で応答を生成するために外部知識を組み込むことで、大きな言語モデル(LLM)を強化する。 RAGシステムは固有の課題に直面している: (i) 検索プロセスはユーザクエリ(画像、文書など)への無関係なエントリを選択することができ、 (ii) 視覚言語モデルや GPT-4o のようなマルチモーダル言語モデルは、RAG出力を生成するためにこれらのエントリを処理する際に幻覚を与える。 より高度な関連性尺度を用いることで、知識ベースからより関連性の高い項目を選択して排除することにより、検索プロセスを強化することができることを示す。
  論文  参考訳（メタデータ） (2025-01-08T18:58:22Z)
• A Distributed Collaborative Retrieval Framework Excelling in All Queries and Corpora based on Zero-shot Rank-Oriented Automatic Evaluation [46.33857318525812]
  分散協調検索フレームワーク(DCRF)を提案する。 様々な検索モデルを統合システムに統合し、ユーザのクエリに対して最適な結果を動的に選択する。 RankGPTやListT5のような効果的なリストワイドメソッドに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2024-12-16T14:55:57Z)
• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
  GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。 GR$2$は2つの重要なコンポーネントに焦点を当てている。 マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
  論文  参考訳（メタデータ） (2024-09-27T02:55:53Z)
• Generative Retrieval with Preference Optimization for E-commerce Search [16.78829577915103]
  我々は、好みを最適化した生成検索という、Eコマース検索のための革新的なフレームワークを開発する。 生の項目のタイトルを表すためにマルチスパン識別子を使用し、クエリからタイトルを生成するタスクを、クエリからマルチスパン識別子を生成するタスクに変換する。 実験の結果,本フレームワークは実世界のデータセット上での競合性能を実現し,オンラインA/Bテストはコンバージョンゲインの改善における優位性と有効性を示した。
  論文  参考訳（メタデータ） (2024-07-29T09:31:19Z)
• Multi-Modal Retrieval For Large Language Model Based Speech Recognition [15.494654232953678]
  我々は,kNN-LMとクロスアテンション手法の2つのアプローチによるマルチモーダル検索を提案する。 音声に基づくマルチモーダル検索はテキストベースの検索よりも優れていることを示す。 我々は,Spoken-Squad質問応答データセットを用いて,最先端の認識結果を得る。
  論文  参考訳（メタデータ） (2024-06-13T22:55:22Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)
• Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product Retrieval [152.3504607706575]
  本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。 まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。 我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
  論文  参考訳（メタデータ） (2022-06-17T15:40:45Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing [1.6758573326215689]
  クロスモーダルテキスト画像検索はリモートセンシングにおいて大きな注目を集めている。 RSにおけるテキスト画像検索のための新しい教師なしクロスモーダルコントラストハッシュ法(DUCH)を提案する。 実験結果から,提案するDUCHは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-19T07:25:25Z)
• Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
  協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。 本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。 ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
  論文  参考訳（メタデータ） (2021-06-14T14:30:32Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。