論文の概要: DeepRAG: Building a Custom Hindi Embedding Model for Retrieval Augmented Generation from Scratch

• arxiv url: http://arxiv.org/abs/2503.08213v1
• Date: Tue, 11 Mar 2025 09:27:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:46:00.313893
• Title: DeepRAG: Building a Custom Hindi Embedding Model for Retrieval Augmented Generation from Scratch
• Title（参考訳）: DeepRAG:スクラッチからの検索拡張ジェネレーションのためのカスタムHindi埋め込みモデルの構築
• Authors: Nandakishor M,
• Abstract要約: DeepRAGは、RAGシステムにおけるヒンディー語専用に構築した特殊な埋め込みモデルです。 検索精度は、みんなが使っている多言語モデルと比べて23%向上しました。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, I present our work on DeepRAG, a specialized embedding model we built specifically for Hindi language in RAG systems. While LLMs have gotten really good at generating text, their performance in retrieval tasks still depends heavily on having quality embeddings - something that's been lacking for Hindi despite being one of the world's most spoken languages. We tackled this by creating embeddings from the ground up rather than just fine-tuning existing models. Our process involved collecting diverse Hindi texts (over 2.7M samples), training a custom SentencePiece tokenizer that actually understands Hindi morphology, designing transformer architecture with Hindi-specific attention mechanisms, and optimizing with contrastive learning. Results were honestly better than I expected - we saw a 23% improvement in retrieval precision compared to the multilingual models everyone's been using. The paper details our methodology, which I think could help others working with low-resource languages where the one-size-fits-all multilingual models fall short. We've also integrated our embeddings with LangChain to build complete Hindi RAG systems, which might be useful for practitioners. While there's still tons more to explore, I believe this work addresses a critical gap for Hindi NLP and demonstrates why language-specific approaches matter.
• Abstract（参考訳）: 本稿では,Hindi言語をRAGシステムに特化して構築したDeepRAGについて述べる。 LLMはテキスト生成に長けていますが、検索タスクのパフォーマンスは依然として、品質の埋め込みに大きく依存しています。 既存のモデルを微調整するのではなく、ゼロから埋め込みを作成することで、この問題に対処しました。 我々のプロセスは、多様なヒンディー語のテキスト(2.7M以上のサンプル)の収集、ヒンディー語の形態を実際に理解するカスタムSentencePieceトークンーの訓練、ヒンディー語固有の注意機構によるトランスフォーマーアーキテクチャの設計、コントラスト学習による最適化を含む。 検索精度は、みんなが使っている多言語モデルと比べて23%改善しました。 論文は我々の方法論を詳述しており、一大のマルチ言語モデルが不足している低リソース言語で作業する人たちに役立つと思います。 また、埋め込みをLangChainと統合して完全なHindi RAGシステムを構築しました。 まだ検討すべきことはたくさんありますが、この作業はHindi NLPにとって重要なギャップに対処し、言語固有のアプローチが重要である理由を示しています。

関連論文リスト

• mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval [61.17793165194077]
  本稿では,検索モデルにおける命令追従能力のベンチマークであるmFollowIRを紹介する。 本稿では,多言語 (XX-XX) と多言語 (En-XX) のパフォーマンスについて述べる。 英語をベースとした学習者による多言語間性能は高いが,多言語設定では顕著な性能低下がみられた。
  論文  参考訳（メタデータ） (2025-01-31T16:24:46Z)
• HindiLLM: Large Language Model for Hindi [0.09363323206192666]
  我々はヒンディー語のための2つの自己回帰型大規模言語モデル(LLM)を事前訓練した。 教師なし事前学習と教師付き微調整を含む2段階のプロセスを用いる。 評価の結果,HindiLLMをベースとした微調整モデルでは,言語関連タスクの大部分において,いくつかのモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-12-29T05:28:15Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• Paramanu: A Family of Novel Efficient Generative Foundation Language Models for Indian Languages [3.9018931027384056]
  インド語のための新しい言語モデル(LM)のファミリーである「Paramanu」を提示する。 10の言語(アッサム語、バングラ語、ヒンディー語、コンカニ語、マイティシ語、マラティ語、オディア語、サンスクリット語、タミル語、テルグ語)を5文字でカバーしている。 モデルは、コンテキストサイズが1024の1つのGPUで事前トレーニングされており、サイズは13.29万(M)から367.5Mまで様々である。
  論文  参考訳（メタデータ） (2024-01-31T17:58:10Z)
• Investigating Lexical Sharing in Multilingual Machine Translation for Indian Languages [8.858671209228536]
  ネパールのヒンディー語から英語への多言語機械翻訳における語彙共有について検討した。 文字の書き起こしが顕著な改善を与えていないことが分かりました。 分析の結果,オリジナルスクリプトでトレーニングした多言語MTモデルは,すでに多言語間の違いに対して堅牢であることがわかった。
  論文  参考訳（メタデータ） (2023-05-04T23:35:15Z)
• H-AES: Towards Automated Essay Scoring for Hindi [33.755800922763946]
  ヒンディー語領域におけるAES(Automated Essay Scoring)の最先端手法を再現・比較する。 LSTM Networks や Fine-Tuned Transformer Architecture など,古典的な機能ベースの機械学習(ML)と高度なエンドツーエンドモデルを採用しています。 我々は、英訳エッセイを用いて、我々のモデルを訓練し、評価し、自分たちの小規模で実世界のヒンディー語コーパスでそのパフォーマンスを実証的に測定する。
  論文  参考訳（メタデータ） (2023-02-28T15:14:15Z)
• Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
  マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
  論文  参考訳（メタデータ） (2022-11-03T13:19:32Z)
• XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing [70.40401197026925]
  大規模言語モデルを用いたインコンテキスト学習は、最近セマンティック解析タスクの驚くべき結果を示している。 この研究は、あるクエリに対して関連する英語の例を検索する学習を行うXRICLフレームワークを導入している。 また、大規模言語モデルの翻訳プロセスを容易にするために、対象言語に対するグローバルな翻訳例も含んでいる。
  論文  参考訳（メタデータ） (2022-10-25T01:33:49Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Indic-Transformers: An Analysis of Transformer Language Models for Indian Languages [0.8155575318208631]
  Transformerアーキテクチャに基づく言語モデルは、幅広いNLPタスクにおいて最先端のパフォーマンスを達成した。 しかしながら、このパフォーマンスは通常、英語、フランス語、スペイン語、ドイツ語などの高リソース言語でテストされ、報告される。 一方、インドの言語はそのようなベンチマークでは表現されていない。
  論文  参考訳（メタデータ） (2020-11-04T14:43:43Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。