論文の概要: DMRetriever: A Family of Models for Improved Text Retrieval in Disaster Management
- arxiv url: http://arxiv.org/abs/2510.15087v1
- Date: Thu, 16 Oct 2025 19:08:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-20 20:17:34.36479
- Title: DMRetriever: A Family of Models for Improved Text Retrieval in Disaster Management
- Title(参考訳): DMRetriever:災害管理におけるテキスト検索モデルの一家系
- Authors: Kai Yin, Xiangjue Dong, Chengkai Liu, Allen Lin, Lingfeng Shi, Ali Mostafavi, James Caverlee,
- Abstract要約: DMRetrieverは、災害管理シナリオに適した、一級の高密度検索モデルである。
それは、すべてのモデルスケールで6つの検索インテントすべてにわたって、最先端(SOTA)パフォーマンスを達成する。
DMRetrieverは非常にパラメータ効率が高く、596Mモデルは13.3倍のベースラインを上回り、33Mモデルは7.6%に過ぎなかった。
- 参考スコア(独自算出の注目度): 21.721973352020935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective and efficient access to relevant information is essential for disaster management. However, no retrieval model is specialized for disaster management, and existing general-domain models fail to handle the varied search intents inherent to disaster management scenarios, resulting in inconsistent and unreliable performance. To this end, we introduce DMRetriever, the first series of dense retrieval models (33M to 7.6B) tailored for this domain. It is trained through a novel three-stage framework of bidirectional attention adaptation, unsupervised contrastive pre-training, and difficulty-aware progressive instruction fine-tuning, using high-quality data generated through an advanced data refinement pipeline. Comprehensive experiments demonstrate that DMRetriever achieves state-of-the-art (SOTA) performance across all six search intents at every model scale. Moreover, DMRetriever is highly parameter-efficient, with 596M model outperforming baselines over 13.3 X larger and 33M model exceeding baselines with only 7.6% of their parameters. All codes, data, and checkpoints are available at https://github.com/KaiYin97/DMRETRIEVER
- Abstract(参考訳): 災害管理には, 関連情報への効果的かつ効率的なアクセスが不可欠である。
しかし,災害管理に特化する検索モデルは存在せず,既存の汎用ドメインモデルは災害管理のシナリオに固有のさまざまな検索意図を処理できないため,一貫性がなく信頼性の低い性能が得られる。
DMRetrieverは、このドメイン用に調整された最初の高密度検索モデル(33Mから7.6B)である。
高度なデータ精錬パイプラインによって生成された高品質なデータを用いて、双方向の注意適応、教師なしのコントラスト事前訓練、難易度対応のプログレッシブインストラクション微調整という新しい3段階のフレームワークを通じて訓練される。
総合的な実験により、DMRetrieverは、すべてのモデルスケールで6つの検索意図すべてに対して、最先端(SOTA)性能を達成することが示されている。
さらにDMRetrieverはパラメータ効率が高く、596Mモデルは13.3X以上のベースラインを上回り、33Mモデルはパラメータの7.6%に過ぎなかった。
すべてのコード、データ、チェックポイントはhttps://github.com/KaiYin97/DMRETRIEVERで入手できる。
関連論文リスト
- DisastIR: A Comprehensive Information Retrieval Benchmark for Disaster Management [24.48064724587068]
本稿では,災害管理に適した総合的情報検索評価ベンチマークであるDisastIRを紹介する。
DisastIRは、9600の多様なユーザクエリと、130万以上のラベル付きクエリパスペアで構成され、48の異なる検索タスクをカバーしている。
30の最先端検索モデルの評価結果から,タスク間の性能の相違が顕著であり,一つのモデルが普遍的に優れているわけではない。
論文 参考訳(メタデータ) (2025-05-20T20:11:00Z) - DONOD: Efficient and Generalizable Instruction Fine-Tuning for LLMs via Model-Intrinsic Dataset Pruning [22.704995231753397]
大規模言語モデル(LLM)のアドホック命令の微調整は、ドメイン固有の適応に広く採用されている。
本研究では,軽量なモデル固有データ解析手法であるDONODを提案する。
データセット全体の70%をフィルタリングすることで、ターゲットドメインの精度を14.90%、クロスドメインの精度を5.67%向上させる。
論文 参考訳(メタデータ) (2025-04-21T02:25:03Z) - SeisMoLLM: Advancing Seismic Monitoring via Cross-modal Transfer with Pre-trained Large Language Model [63.723408707172894]
本研究は,地震モニタリングにクロスモーダル転送を利用する最初の基礎モデルであるSeesMoLLMを提示する。
5つの重要なタスクでDiTingとSTEADデータセットの最先端のパフォーマンスを実現する。
優れたパフォーマンスに加えて、SeesMoLLMはトレーニングと推論の両方において軽量モデルに匹敵する効率を維持している。
論文 参考訳(メタデータ) (2025-02-27T10:35:53Z) - Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。
本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
論文 参考訳(メタデータ) (2025-01-08T20:11:09Z) - REFINE on Scarce Data: Retrieval Enhancement through Fine-Tuning via Model Fusion of Embedding Models [14.023953508288628]
検索拡張生成(RAG)パイプラインは、質問応答(QA)などのタスクで一般的に使用される。
本稿では,利用可能な文書から合成データを生成する新しい手法であるREFINEを提案する。
論文 参考訳(メタデータ) (2024-10-16T08:43:39Z) - Scaling Data Generation in Vision-and-Language Navigation [116.95534559103788]
本稿では,学習のための大規模データ生成に有効なパラダイムを提案する。
我々は、HM3DとGibsonのデータセットから1200以上のフォトリアリスティック環境を適用し、490万の命令軌道対を合成する。
我々の大規模データセットのおかげで、既存のエージェントの性能は(以前のSoTAでは+11%絶対)、単純な模倣学習によってR2Rテストの分割で80%の単ラン成功率で大幅に向上できる。
論文 参考訳(メタデータ) (2023-07-28T16:03:28Z) - ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization [65.58562481279023]
PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。
我々は,多様なアウト・オブ・ディストリビューション(OoD)タスクのための35のモデルからなる多様なモデル動物園において,我々のパラダイムを評価する。
論文 参考訳(メタデータ) (2022-10-17T16:31:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。