論文の概要: Adapting Large Language Models for Multi-Domain Retrieval-Augmented-Generation

• arxiv url: http://arxiv.org/abs/2504.02411v1
• Date: Thu, 03 Apr 2025 09:03:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:57:03.198624
• Title: Adapting Large Language Models for Multi-Domain Retrieval-Augmented-Generation
• Title（参考訳）: 多ドメイン検索拡張生成のための大規模言語モデルの適用
• Authors: Alexandre Misrahi, Nadezhda Chirkova, Maxime Louis, Vassilina Nikoulina,
• Abstract要約: マルチドメインアプリケーションは、多様なベンチマークの欠如やドメイン外一般化の貧弱といった課題に直面している。 我々は8つのソースから様々な質問応答タスクを抽出し、13のドメインをカバーした多種多様なベンチマークを導入する。 以上の結果から,マルチドメインRAGロバスト性を改善するための重要な戦略が浮かび上がっている。
• 参考スコア（独自算出の注目度）: 59.58987161199141
• License:
• Abstract: Retrieval-Augmented Generation (RAG) enhances LLM factuality, but multi-domain applications face challenges like lack of diverse benchmarks and poor out-of-domain generalization. The first contribution of this work is to introduce a diverse benchmark comprising a variety of question-answering tasks from 8 sources and covering 13 domains. Our second contribution consists in systematically testing out-of-domain generalization for typical RAG tuning strategies. While our findings reveal that standard fine-tuning fails to generalize effectively, we show that sequence-level distillation with teacher-generated labels improves out-of-domain performance by providing more coherent supervision. Our findings highlight key strategies for improving multi-domain RAG robustness.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)はLLMの事実性を向上するが、マルチドメインアプリケーションは多様なベンチマークの欠如やドメイン外一般化の貧弱といった問題に直面している。 この研究の最初の貢献は、8つのソースから、13のドメインをカバーする様々な質問応答タスクを含む多様なベンチマークを導入することである。 第2の貢献は、典型的なRAGチューニング戦略のためのドメイン外の一般化を体系的にテストすることである。 その結果, 標準微調整は効果的に一般化できないことがわかったが, 教師生成ラベルによるシーケンスレベルの蒸留は, よりコヒーレントな監督を提供することで, ドメイン外での性能を向上させることがわかった。 以上の結果から,マルチドメインRAGロバスト性を改善するための重要な戦略が浮かび上がっている。

関連論文リスト

• Reward-RAG: Enhancing RAG with Reward Driven Supervision [43.66966457772646]
  本稿では、Reward-Driven Supervisionを通じて、Retrieval-Augmented Generation(RAG)モデルを強化するために設計された新しいアプローチであるReward-RAGを紹介する。 従来のRAG手法とは異なり,本手法ではCriticGPTを用いて検索情報を特定の領域に適応させ,専用報酬モデルを訓練する。 この報酬モデルは、RAGを微調整するための合成データセットを生成し、その出力を人間の好みとより密に一致させる。
  論文  参考訳（メタデータ） (2024-10-03T15:26:50Z)
• PracticalDG: Perturbation Distillation on Vision-Language Models for Hybrid Domain Generalization [24.413415998529754]
  本稿では,Hybrid Domain Generalization (HDG) と,アルゴリズムのロバスト性を評価するために,様々な分割を構成する新しい指標である$H2$-CVを提案する。 提案手法は,複数のデータセット上での最先端アルゴリズムよりも優れており,特にデータ不足に直面する場合のロバスト性の向上に寄与する。
  論文  参考訳（メタデータ） (2024-04-13T13:41:13Z)
• Role Prompting Guided Domain Adaptation with General Capability Preserve for Large Language Models [55.51408151807268]
  特定のドメインに合わせると、LLM(Large Language Models)は破滅的な忘れを経験する傾向がある。 同時に複数のドメインのための汎用モデルを構築することで、全体的なパフォーマンスが低下することが多い。 RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-05T08:22:41Z)
• TeG-DG: Textually Guided Domain Generalization for Face Anti-Spoofing [8.830873674673828]
  既存の方法は、様々な訓練領域からドメイン不変の特徴を抽出することを目的としている。 抽出された特徴は、必然的に残差スタイルの特徴バイアスを含んでおり、その結果、一般化性能が劣る。 本稿では,テキスト情報をドメイン間アライメントに有効活用するテキストガイド型ドメイン一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-30T10:13:46Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
  Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。 既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。 各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-05-23T18:01:49Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• HCDG: A Hierarchical Consistency Framework for Domain Generalization on Medical Image Segmentation [33.623948922908184]
  ドメイン一般化のための新しい階層的一貫性フレームワーク(HCDG)を提案する。 Extrinsic Consistencyでは、複数のソースドメインにまたがる知識を活用して、データレベルの一貫性を強制します。 Intrinsic Consistencyでは、デュアルタスクシナリオの下で同じインスタンスに対してタスクレベルの一貫性を実行します。
  論文  参考訳（メタデータ） (2021-09-13T07:07:23Z)
• Feature Alignment and Restoration for Domain Generalization and Adaptation [93.39253443415392]
  クロスドメイン機能アライメントは、ドメイン不変表現を学ぶために、異なるドメインの特徴分布を抽出するために広く研究されてきた。 本稿では,FAR(Feature Alignment and Restoration)と呼ばれる統合フレームワークを提案する。 複数の分類ベンチマークの実験は、ドメインの一般化と教師なしドメインの適応の両方のためのFARフレームワークの性能と強力な一般化を実証している。
  論文  参考訳（メタデータ） (2020-06-22T05:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。