論文の概要: On Synthetic Data Strategies for Domain-Specific Generative Retrieval

• arxiv url: http://arxiv.org/abs/2502.17957v1
• Date: Tue, 25 Feb 2025 08:27:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:19:10.797197
• Title: On Synthetic Data Strategies for Domain-Specific Generative Retrieval
• Title（参考訳）: ドメイン特化生成検索のための合成データストラテジーについて
• Authors: Haoyang Wen, Jiang Guo, Yi Zhang, Jiarong Jiang, Zhiguo Wang,
• Abstract要約: 2段階のトレーニングフレームワークのためのデータストラテジーについて検討する。 最初の段階では、ドキュメントの識別子をクエリからデコードすることを学びます。 第2段階では、好み学習により文書ランキングを洗練させる。
• 参考スコア（独自算出の注目度）: 23.906425329806456
• License:
• Abstract: This paper investigates synthetic data generation strategies in developing generative retrieval models for domain-specific corpora, thereby addressing the scalability challenges inherent in manually annotating in-domain queries. We study the data strategies for a two-stage training framework: in the first stage, which focuses on learning to decode document identifiers from queries, we investigate LLM-generated queries across multiple granularity (e.g. chunks, sentences) and domain-relevant search constraints that can better capture nuanced relevancy signals. In the second stage, which aims to refine document ranking through preference learning, we explore the strategies for mining hard negatives based on the initial model's predictions. Experiments on public datasets over diverse domains demonstrate the effectiveness of our synthetic data generation and hard negative sampling approach.
• Abstract（参考訳）: 本稿では,ドメイン固有コーパスの生成モデル構築における合成データ生成戦略について検討し,ドメイン内クエリを手動でアノテートする際のスケーラビリティの問題に対処する。 まず,複数の粒度(例:チャンク,文)にまたがるLCM生成クエリと,関連性信号をよりよく捉えることのできるドメイン関連検索制約について検討する。 第2段階では、優先学習を通じて文書のランク付けを洗練させることを目的として、初期モデルの予測に基づいて、ハードネガティブをマイニングする戦略について検討する。 様々な領域にわたる公開データセットの実験は、我々の合成データ生成とハード・ネガティブ・サンプリング・アプローチの有効性を実証している。

関連論文リスト

• Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
  本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。 我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。 推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-02-14T16:16:02Z)
• Generate to Discriminate: Expert Routing for Continual Learning [59.71853576559306]
  Generate to Discriminate (G2D) は、合成データを利用してドメイン識別器を訓練する連続学習手法である。 我々は、G2Dが視覚と言語の両方におけるタスクにおいて、競争力のあるドメイン・インクリメンタル・ラーニング手法より優れていることを観察する。
  論文  参考訳（メタデータ） (2024-12-22T13:16:28Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Perturbation-Based Two-Stage Multi-Domain Active Learning [31.073745612552926]
  本稿では、よく認識されたASP-MTLモデルに組み込んだ摂動型2段階多段階アクティブラーニング(P2S-MDAL)手法を提案する。 P2S-MDALは、ドメインの予算を割り当て、多様性の選択のための領域を確立する。 モデルの共有特徴抽出器のロバスト性を評価するために摂動距離が導入された。
  論文  参考訳（メタデータ） (2023-06-19T04:58:32Z)
• FairGen: Fair Synthetic Data Generation [0.3149883354098941]
  本稿では,GANアーキテクチャに依存しないより公平な合成データを生成するパイプラインを提案する。 合成データを生成する場合、ほとんどのGANはトレーニングデータに存在するバイアスを増幅するが、これらのバイアスを誘発するサンプルを除去することで、GANは本質的に真の情報的サンプルに重点を置いている、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-24T08:13:47Z)
• Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
  人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。 残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。 本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
  論文  参考訳（メタデータ） (2021-09-12T15:51:41Z)
• Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
  SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。 そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。 提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
  論文  参考訳（メタデータ） (2021-06-07T08:38:41Z)
• Semi-Supervised Domain Generalization with Stochastic StyleMatch [90.98288822165482]
  実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかです。 本研究では,より現実的で実践的な半教師付き領域一般化について検討する。 提案手法であるStyleMatchは,擬似ラベルに基づく最先端の半教師付き学習手法であるFixMatchに着想を得たものである。
  論文  参考訳（メタデータ） (2021-06-01T16:00:08Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。