Fugu-MT 論文翻訳(概要): AutoRAG-LoRA: Hallucination-Triggered Knowledge Retuning via Lightweight Adapters

論文の概要: AutoRAG-LoRA: Hallucination-Triggered Knowledge Retuning via Lightweight Adapters

arxiv url: http://arxiv.org/abs/2507.10586v1
Date: Fri, 11 Jul 2025 14:02:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-16 19:46:02.752544
Title: AutoRAG-LoRA: Hallucination-Triggered Knowledge Retuning via Lightweight Adapters
Title（参考訳）: AutoRAG-LoRA:軽量アダプタによる幻覚訓練知識の再構築
Authors: Kaushik Dwivedi, Padmanabh Patanjali Mishra,
Abstract要約: AutoRAG-LoRAはRetrieval-Augmented Generation用のモジュラーフレームワークである。軽量なLoRAベースのアダプタとKL正規化トレーニングを通じて、大規模な言語モデルの幻覚に対処する。我々は,AutoRAG-LoRAがモデルの効率性とモジュラリティを保ちながら,現実のドリフトを著しく低減することを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have demonstrated remarkable fluency across a range of natural language tasks, yet remain vulnerable to hallucinations - factual inaccuracies that undermine trust in real world deployment. We present AutoRAG-LoRA, a modular framework for Retrieval-Augmented Generation (RAG) that tackles hallucination in large language models through lightweight LoRA-based adapters and KL-regularized training. Our pipeline integrates automated prompt rewriting, hybrid retrieval, and low-rank adapter tuning to ground responses in retrieved evidence. A hallucination detection module, using both classifier-based and self-evaluation techniques, assigns confidence scores to generated outputs, triggering an optional feedback correction loop. This loop enforces factual alignment via contrastive KL loss and adapter fine tuning. We demonstrate that AutoRAG-LoRA significantly reduces the factual drift while preserving the efficiency and modularity of the model.
Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまな自然言語タスクに顕著な流布を示し、幻覚(幻覚)に弱いままであり、現実のデプロイメントに対する信頼を損なう事実的不正確さである。本稿では,軽量なLoRAベースのアダプタとKL正規化学習を通じて,大規模言語モデルにおける幻覚に対処する,Retrieval-Augmented Generation (RAG) のためのモジュラーフレームワークであるAutoRAG-LoRAを提案する。我々のパイプラインは, 自動プロンプト書き換え, ハイブリッド検索, 低ランク適応チューニングを, 検索された証拠のグラウンド応答に組み込む。幻覚検出モジュールは、分類器ベースと自己評価技術の両方を用いて、信頼度スコアを生成された出力に割り当て、任意のフィードバック補正ループをトリガーする。このループは、対照的なKL損失とアダプタの微調整によって、現実的なアライメントを強制する。我々は,AutoRAG-LoRAがモデルの効率性とモジュラリティを保ちながら,現実のドリフトを著しく低減することを示した。

関連論文リスト

Finetune-RAG: Fine-Tuning Language Models to Resist Hallucination in Retrieval-Augmented Generation [0.0]
Finetune-RAGは、現実世界の欠陥を模倣するために構築されたトレーニングデータセットである。ファインチューンRAGは、ベースモデルよりも21.2%精度が向上する。 Bench-RAGは、現実的な不完全な検索シナリオ下でテストモデルを強調する評価パイプラインである。
論文参考訳（メタデータ） (2025-05-16T02:06:06Z)
Osiris: A Lightweight Open-Source Hallucination Detection System [30.63248848082757]
幻覚は、RAGシステムが本番環境に配備されるのを防ぐ。幻覚を誘発したマルチホップQAデータセットを提案する。 RAGTruth 幻覚検出ベンチマークにおいて, GPT-4o よりも 7B モデルの方が良好なリコールを実現している。
論文参考訳（メタデータ） (2025-05-07T22:45:59Z)
HSplitLoRA: A Heterogeneous Split Parameter-Efficient Fine-Tuning Framework for Large Language Models [30.345920952847752]
大規模言語モデル(LLM)は、自然言語処理領域などに革命をもたらし、目覚ましいブレークスルーを達成した。膨大なパラメータサイズのため、様々な下流タスクのためのプライベートデータでこれらのモデルを微調整することが主流になっている。本研究では,分割学習(SL)と低ランク適応(LoRA)に基づくフレームワークであるHSplitLoRAを提案する。
論文参考訳（メタデータ） (2025-05-05T17:09:19Z)
LoRA-MGPO: Mitigating Double Descent in Low-Rank Adaptation via Momentum-Guided Perturbation Optimization [12.504723188498]
Low-Rank Adaptation (LoRA) 法は、トレーニング損失の増加に伴い「二重降下」を示す。 LoRA-MGPO は Momentum-Guided Perturbation Optimization (MGPO) を取り入れた新しい LoRA ベースのフレームワークである自然言語理解と生成ベンチマークの実験は、LoRA-MGPOがLoRAと最先端PEFT法より優れていることを示した。
論文参考訳（メタデータ） (2025-02-20T13:14:41Z)
Federated Sketching LoRA: On-Device Collaborative Fine-Tuning of Large Language Models [18.782733798668122]
デバイス上での微調整大型言語モデル(LLM)は依然として難しい問題である。近年のローランク適応 (LoRA) 技術は, デバイスモデルのサイズやデータ不足に伴う課題を軽減するために, ファインチューニングを併用している。サーバが保持するグローバルなLoRAモジュールのサブマトリクスを選択的に更新するために,スケッチ機構を活用したフェデレートスケッチLoRAを提案する。
論文参考訳（メタデータ） (2025-01-31T18:44:35Z)
SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文参考訳（メタデータ） (2024-12-03T07:25:30Z)
LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文参考訳（メタデータ） (2024-10-28T17:14:01Z)
LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration [62.3751291442432]
高速なオールインワン画像復元を実現するために,コンパクトな低ランクの専門家を動的に活用する,フレキシブルなフレームワークであるLoRA-IRを提案する。 LoRA-IRは、劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。
論文参考訳（メタデータ） (2024-10-20T13:00:24Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。