論文の概要: CustomIR: Unsupervised Fine-Tuning of Dense Embeddings for Known Document Corpora

• arxiv url: http://arxiv.org/abs/2510.21729v2
• Date: Tue, 28 Oct 2025 16:15:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 17:50:20.163116
• Title: CustomIR: Unsupervised Fine-Tuning of Dense Embeddings for Known Document Corpora
• Title（参考訳）: CustomIR: 既知の文書コーパスのためのデンス埋め込みの教師なし微調整
• Authors: Nathan Paull,
• Abstract要約: CustomIRは、ドメイン固有のコーパスへの言語埋め込みモデルの教師なし適応のためのフレームワークである。 実験の結果、CustomIRはRecall@10の2.3ポイントまでの小さなモデルで検索効率を継続的に改善することがわかった。 これらの結果は、ターゲットとなる合成微調整が、ドメイン固有のパフォーマンスを高めるためのスケーラブルでコスト効率の高い戦略を提供することを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense embedding models have become critical for modern information retrieval, particularly in RAG pipelines, but their performance often degrades when applied to specialized corpora outside their pre-training distribution. To address thi we introduce CustomIR, a framework for unsupervised adaptation of pre-trained language embedding models to domain-specific corpora using synthetically generated query-document pairs. CustomIR leverages large language models (LLMs) to create diverse queries grounded in a known target corpus, paired with LLM-verified hard negatives, eliminating the need for costly human annotation. Experiments on enterprise email and messaging datasets show that CustomIR consistently improves retrieval effectiveness with small models gaining up to 2.3 points in Recall@10. This performance increase allows these small models to rival the performance of much larger alternatives, allowing for cheaper RAG deployments. These results highlight that targeted synthetic fine-tuning offers a scalable and cost-efficient strategy for increasing domain-specific performance.
• Abstract（参考訳）: デンス埋め込みモデルは、特にRAGパイプラインにおいて、現代の情報検索において重要になっているが、その性能は、トレーニング前のディストリビューション以外の特別なコーパスに適用した場合に劣化することが多い。 合成されたクエリードキュメントペアを用いて、事前学習した言語埋め込みモデルのドメイン固有コーパスへの非教師なし適応を行うフレームワークであるCustomIRを紹介する。 CustomIRは大規模言語モデル(LLM)を活用して、LLMで検証されたハードネガティブと組み合わせた既知のターゲットコーパスに基盤を置く多様なクエリを生成し、コストのかかる人的アノテーションを不要にする。 エンタープライズメールとメッセージングデータセットの実験によると、CustomIRはRecall@10で2.3ポイントまでの小さなモデルで検索効率を継続的に改善している。 このパフォーマンス向上により、これらの小さなモデルはより大きな代替品のパフォーマンスに匹敵するようになり、より安価なRAGデプロイメントが可能になる。 これらの結果は、ターゲットとなる合成微調整が、ドメイン固有のパフォーマンスを高めるためのスケーラブルでコスト効率の高い戦略を提供することを示している。

関連論文リスト

• OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning [41.49024599460379]
  大規模言語モデル(LLM)の整合には,リワードモデル(RM)が不可欠である。 ツール拡張型ロングフォーム報酬モデルであるOpenRMを導入し、外部ツールを呼び出して適切な証拠を収集することで、オープンエンドの応答を判断する。 新たにコンパイルされた3つのデータセットと2つの広く使用されているベンチマークの実験は、OpenRMが既存の報酬モデリングアプローチを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2025-10-28T17:02:46Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• Retrieval-augmented reasoning with lean language models [5.615564811138556]
  複雑なドメイン固有のクエリを解釈できる検索拡張会話エージェントを開発した。 本システムでは,細調整されたQwen2.5-Instructモデルと高密度レトリバーを統合した。 すべての実装の詳細とコードは、ドメイン間のサポートと適応のために公開されています。
  論文  参考訳（メタデータ） (2025-08-15T10:38:15Z)
• SCoRE: Streamlined Corpus-based Relation Extraction using Multi-Label Contrastive Learning and Bayesian kNN [0.2812395851874055]
  本稿では,モジュール型かつ費用対効果の高い文レベルの関係抽出システムであるSCoREを紹介する。 SCoREは簡単なPLMスイッチングを可能にし、微調整を必要とせず、多様なコーパスやKGにスムーズに適応する。 SCoREは, エネルギー消費を大幅に削減しつつ, 最先端の手法に適合するか, 超越しているかを示す。
  論文  参考訳（メタデータ） (2025-07-09T14:33:07Z)
• Fake it till You Make it: Reward Modeling as Discriminative Prediction [49.31309674007382]
  GAN-RMは、手動の嗜好アノテーションと明示的な品質次元工学を排除した効率的な報酬モデリングフレームワークである。 提案手法は,少数の対象サンプルを識別し,報酬モデルを訓練する。 実験では、GAN-RMが複数の主要なアプリケーションにまたがって有効であることを実証した。
  論文  参考訳（メタデータ） (2025-06-16T17:59:40Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
  大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。 本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。 データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-06-17T04:35:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。