Fugu-MT 論文翻訳(概要): Auto-GDA: Automatic Domain Adaptation for Efficient Grounding Verification in Retrieval Augmented Generation

論文の概要: Auto-GDA: Automatic Domain Adaptation for Efficient Grounding Verification in Retrieval Augmented Generation

arxiv url: http://arxiv.org/abs/2410.03461v1
Date: Fri, 4 Oct 2024 14:21:27 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 22:09:37.820013
Title: Auto-GDA: Automatic Domain Adaptation for Efficient Grounding Verification in Retrieval Augmented Generation
Title（参考訳）: 自動GDA: 検索拡張生成における効率的な接地検証のための自動ドメイン適応
Authors: Tobias Leemann, Periklis Petridis, Giuseppe Vietri, Dionysis Manousakas, Aaron Roth, Sergul Aydore,
Abstract要約: 検索拡張生成(RAG)は,大規模言語モデル(LLM)出力の現実性を高めることが示されている。 RAG入力は、NLIモデルのトレーニングに使用されるほとんどのデータセットよりも複雑である。教師なしドメイン適応を実現するために自動生成ドメイン適応(Auto-GDA)を導入する。
参考スコア（独自算出の注目度）: 13.120801609024147
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While retrieval augmented generation (RAG) has been shown to enhance factuality of large language model (LLM) outputs, LLMs still suffer from hallucination, generating incorrect or irrelevant information. One common detection strategy involves prompting the LLM again to assess whether its response is grounded in the retrieved evidence, but this approach is costly. Alternatively, lightweight natural language inference (NLI) models for efficient grounding verification can be used at inference time. While existing pre-trained NLI models offer potential solutions, their performance remains subpar compared to larger models on realistic RAG inputs. RAG inputs are more complex than most datasets used for training NLI models and have characteristics specific to the underlying knowledge base, requiring adaptation of the NLI models to a specific target domain. Additionally, the lack of labeled instances in the target domain makes supervised domain adaptation, e.g., through fine-tuning, infeasible. To address these challenges, we introduce Automatic Generative Domain Adaptation (Auto-GDA). Our framework enables unsupervised domain adaptation through synthetic data generation. Unlike previous methods that rely on handcrafted filtering and augmentation strategies, Auto-GDA employs an iterative process to continuously improve the quality of generated samples using weak labels from less efficient teacher models and discrete optimization to select the most promising augmented samples. Experimental results demonstrate the effectiveness of our approach, with models fine-tuned on synthetic data using Auto-GDA often surpassing the performance of the teacher model and reaching the performance level of LLMs at 10 % of their computational cost.
Abstract（参考訳）: 検索拡張生成(RAG)は、大規模言語モデル(LLM)出力の事実性を高めることが示されているが、LLMはまだ幻覚に悩まされており、誤った情報や無関係な情報を生成する。 1つの一般的な検出戦略は、LLMにその応答が得られた証拠に根拠があるかどうかを再度評価させることであるが、このアプローチはコストがかかる。あるいは、効率的な基底検証のための軽量自然言語推論(NLI)モデルも推論時に利用できる。既存の事前学習されたNLIモデルは潜在的な解決策を提供するが、実際のRAG入力のより大きなモデルに比べて性能は低い。 RAG入力は、NLIモデルをトレーニングするために使われるほとんどのデータセットよりも複雑で、基礎となる知識ベースに特有の特徴を持ち、特定のターゲットドメインにNLIモデルを適応する必要がある。さらに、ターゲットドメインにラベル付きインスタンスがないため、例えば、微調整によって、教師付きドメイン適応が不可能になる。これらの課題に対処するために、自動生成ドメイン適応(Auto Generative Domain Adaptation, Auto-GDA)を導入する。我々のフレームワークは、合成データ生成による教師なしドメイン適応を可能にする。従来の手作りフィルタリングや拡張戦略に依存した手法とは異なり、Auto-GDAは、低効率の教師モデルからの弱いラベルと離散最適化を用いて生成したサンプルの品質を継続的に改善し、最も有望な追加サンプルを選択するために反復的なプロセスを採用している。提案手法の有効性を実験的に検証し,Auto-GDAを用いた合成データに微調整したモデルが,教師モデルの性能を上回り,LLMの性能レベルを計算コストの10%にまで達することを示した。

関連論文リスト

Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
論文参考訳（メタデータ） (2024-10-17T04:00:29Z)
Retrieval Instead of Fine-tuning: A Retrieval-based Parameter Ensemble for Zero-shot Learning [22.748835458594744]
Retrievalをベースとする。 Ensemble (RPE) - ベクトル化されたデータベースを作成する新しい方法。 Low-Rank Adaptations (LoRA) RPEは、広範囲なトレーニングの必要性を最小限に抑え、ラベル付きデータの要求を排除し、特にゼロショット学習に有効である。 RPEは、生のデータにアクセスせずにモデルパラメータを変更するため、ヘルスケアのようなプライバシに敏感なドメインに適している。
論文参考訳（メタデータ） (2024-10-13T16:28:38Z)
Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
論文参考訳（メタデータ） (2024-07-26T17:51:58Z)
DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文参考訳（メタデータ） (2024-06-25T04:27:53Z)
Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
論文参考訳（メタデータ） (2024-06-17T04:35:17Z)
Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-05-29T17:59:07Z)
Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
論文参考訳（メタデータ） (2024-03-15T16:30:14Z)
Low-Rank Representations Meets Deep Unfolding: A Generalized and Interpretable Network for Hyperspectral Anomaly Detection [41.50904949744355]
現在のハイパースペクトル異常検出(HAD)ベンチマークデータセットは、低解像度、単純なバックグラウンド、検出データの小さなサイズに悩まされている。これらの要因は、ロバスト性の観点からよく知られた低ランク表現(LRR)モデルの性能も制限する。我々は、複雑なシナリオにおけるHADアルゴリズムの堅牢性を改善するために、新しいHADベンチマークデータセットであるAIR-HADを構築した。
論文参考訳（メタデータ） (2024-02-23T14:15:58Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
Single-Shot Domain Adaptation via Target-Aware Generative Augmentation [21.17396588958938]
既存手法による拡張は,大規模な分散シフトを扱うには不十分である,と我々は主張する。本稿では、まず、単一ショットターゲットを用いて、ソースドメインから生成モデルを微調整するSiSTA(Single-Shot Target Augmentations)を提案する。顔検出において,SiSTAは既存のベースラインよりも最大20%改善できることがわかった。
論文参考訳（メタデータ） (2022-10-29T20:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。