論文の概要: Optimizing Retrieval-Augmented Generation (RAG) for Colloquial Cantonese: A LoRA-Based Systematic Review

• arxiv url: http://arxiv.org/abs/2508.08610v1
• Date: Tue, 12 Aug 2025 03:46:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.292294
• Title: Optimizing Retrieval-Augmented Generation (RAG) for Colloquial Cantonese: A LoRA-Based Systematic Review
• Title（参考訳）: 口語カントンに対する検索拡張生成(RAG)の最適化 : LoRAに基づくシステムレビュー
• Authors: David Santandreu Calonge, Linda Smail,
• Abstract要約: レビューは進歩を調べます。 PEFT(Efficient Fine-Tuning)は、Qwen3、DeepSeek、KimiといったRAG(Retrieval-Augmented Generation)システムを最適化する。 RAGシステムは、限られた注釈付きデータと言語的可変性のために、真正のカントン言葉表現の理解と生成に困難に直面している。 動的およびアンサンブルなLoRA適応は、方言文脈における検索精度と生成品質を犠牲にすることなく、トレーニング可能なパラメータを著しく削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This review examines recent advances in Parameter-Efficient Fine-Tuning (PEFT), with a focus on Low-Rank Adaptation (LoRA), to optimize Retrieval-Augmented Generation (RAG) systems like Qwen3, DeepSeek, and Kimi. These systems face challenges in understanding and generating authentic Cantonese colloquial expressions due to limited annotated data and linguistic variability. The review evaluates the integration of LoRA within RAG frameworks, benchmarks PEFT methods for retrieval and generation accuracy, identify domain adaptation strategies under limited data, and compares fine-tuning techniques aimed at improving semantic fidelity under data-scarce conditions. A systematic analysis of recent studies employing diverse LoRA variants, synthetic data generation, user feedback integration, and adaptive parameter allocation was conducted to assess their impact on computational efficiency, retrieval precision, linguistic authenticity, and scalability. Findings reveal that dynamic and ensemble LoRA adaptations significantly reduce trainable parameters without sacrificing retrieval accuracy and generation quality in dialectal contexts. However, limitations remain in fully preserving fine-grained linguistic nuances, especially for low-resource settings like Cantonese. The integration of real-time user feedback and domain-specific data remains underdeveloped, limiting model adaptability and personalization. While selective parameter freezing and nonlinear adaptation methods offer better trade-offs between efficiency and accuracy, their robustness at scale remains an open challenge. This review highlights the promise of PEFT-enhanced RAG systems for domain-specific language tasks and calls for future work targeting dialectal authenticity, dynamic adaptation, and scalable fine-tuning pipelines.
• Abstract（参考訳）: 本稿では,Qwen3,DeepSeek,KiなどのRAGシステムを最適化するために,低ランク適応(LoRA)に着目したパラメータ効率ファインチューニング(PEFT)の最近の進歩について検討する。 これらのシステムは、限られた注釈付きデータと言語的可変性のために、真正のカントン言葉表現の理解と生成に困難に直面している。 本稿では、RAGフレームワークにおけるLoRAの統合を評価し、PEFT法による検索と生成の精度のベンチマークを行い、限られたデータの下でのドメイン適応戦略を特定し、データスカース条件下での意味的忠実性を改善するための微調整技術と比較する。 多様なLoRA変種、合成データ生成、ユーザフィードバックの統合、適応パラメータ割り当てを用いた最近の研究の体系的分析を行い、それらの計算効率、検索精度、言語的真性、スケーラビリティへの影響を評価した。 動的およびアンサンブルなLoRA適応は、方言文脈における検索精度と生成品質を犠牲にすることなく、トレーニング可能なパラメータを著しく削減する。 しかし、特にカントン語のような低リソース設定では、粒度の細かい言語ニュアンスを完全に保存している。 リアルタイムユーザフィードバックとドメイン固有データの統合はまだ未開発であり、モデルの適応性とパーソナライゼーションが制限されている。 選択パラメータ凍結法と非線形適応法は効率と精度のトレードオフを良くするが、スケールでのロバスト性は未解決の課題である。 本稿では,PEFTにより強化された言語タスクのためのRAGシステムの実現と,方言の真正性,動的適応,スケーラブルな微調整パイプラインを対象とする今後の課題について述べる。

関連論文リスト

• Continual Adaptation: Environment-Conditional Parameter Generation for Object Detection in Dynamic Scenarios [54.58186816693791]
  環境は時間と空間によって常に変化し、クローズドセットの仮定に基づいて訓練された物体検出器にとって重要な課題となる。 そこで本研究では,微調整過程をパラメータ生成に変換する機構を提案する。 特に,2経路LoRAベースのドメイン認識アダプタを最初に設計し,特徴をドメイン不変およびドメイン固有コンポーネントに分解する。
  論文  参考訳（メタデータ） (2025-06-30T17:14:12Z)
• AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
  フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。 大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T16:35:32Z)
• Hallucinations and Truth: A Comprehensive Accuracy Evaluation of RAG, LoRA and DoRA [0.0]
  生成AIの最近の進歩により、自然言語処理(NLP)システムの効率性と適応性が大幅に向上した。 本稿では,RAG,LoRA,DoRAを大規模に評価し,2万のFAQクエリに基づいてモデル微調整と生成性能を評価する。 DoRAは高い精度(90.1%)、関連スコア(0.88)、最低レイテンシ(クエリ毎110ms)を達成し、現実のドメイン固有の生成AIアプリケーションにおいてLoRAとRAGの両方を上回っている。
  論文  参考訳（メタデータ） (2025-02-14T17:38:25Z)
• ParetoRAG: Leveraging Sentence-Context Attention for Robust and Efficient Retrieval-Augmented Generation [8.223134723149753]
  本稿では、RAG(Retrieval-Augmented Generation)システムを最適化する教師なしフレームワークを提案する。 段落を文に分解することにより,文脈コヒーレンスを保ちながら,コアコンテンツを動的に再重み付けする。 このフレームワークは、さまざまなデータセット、LLM(Large Language Models)、レトリバーで検証されている。
  論文  参考訳（メタデータ） (2025-02-12T07:32:48Z)
• GEC-RAG: Improving Generative Error Correction via Retrieval-Augmented Generation for Automatic Speech Recognition Systems [8.669397145785942]
  ペルシャ語のような低リソース領域のASR精度を向上させるために,検索型RAG(Retrieval-Augmented Generation)による生成誤差補正を提案する。 GEC-RAGは、TF-IDF(Term Frequency-Inverse Document Frequency)尺度を用いて、ASRの転写と語彙的に類似した例を検索する。
  論文  参考訳（メタデータ） (2025-01-18T11:53:22Z)
• Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients [6.570712059945705]
  低ランク適応(LoRA)は解法として提案されているが、連合学習におけるその応用は集約の不一致によって複雑である。 この不一致に対処する既存の手法は、不均一なデータ設定で低いランクでの性能劣化に悩まされることが多い。 LoRA-A$2$を導入し、低いランクと高いデータ不均一性を持つ挑戦的な設定において堅牢性を示す。
  論文  参考訳（メタデータ） (2024-10-30T08:48:21Z)
• RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。 RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Hyper-parameter Adaptation of Conformer ASR Systems for Elderly and Dysarthric Speech Recognition [64.9816313630768]
  ファインチューニングは、多くの非高齢および健康な音声事前訓練モデルを利用するためにしばしば用いられる。 本稿では,Librispeech corpus 上で事前学習した Conformer ASR システムのハイパーパラメータ適応について検討する。
  論文  参考訳（メタデータ） (2023-06-27T07:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。