論文の概要: Efficient LLM Distillation for Bangladesh Legal Context: A Smartphone-Compatible Retrieval-Augmented Generation Model
- arxiv url: http://arxiv.org/abs/2609.24177v1
- Date: Mon, 21 Sep 2026 06:48:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.109614
- Title: Efficient LLM Distillation for Bangladesh Legal Context: A Smartphone-Compatible Retrieval-Augmented Generation Model
- Title（参考訳）: バングラデシュ法コンテキストに対する効率的なLLM蒸留:スマートフォン対応検索拡張生成モデル
- Abstract要約: 法定テキストは英語のみであり、訓練された弁護士は都会に集中しており、クラウドに依存したAIはモバイル接続が信頼できない場所で失敗する。
このシステムは法解釈のみに対処し、判例やケースロー推論を必要とするクエリはその範囲外にある。
フェーズ1では、9,429の高品質な法的問合せ対を微調整する。
第2段階は、教師のトップ50対トーケン対Kulback-Leiblerの相違を軽視する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Legal information in Bangladesh is inaccessible to most citizens. Statutory text is English-only, trained lawyers are concentrated in urban centres, and cloud-dependent AI fails where mobile connectivity is unreliable, a setting in which hallucinated legal text causes direct harm. The system addresses statutory interpretation only; queries that require judicial precedent or case-law reasoning fall outside its scope. We target the statutory access gap by compressing a 9-billion-parameter Gemma-2 teacher into a 2-billion-parameter student through two-phase progressive knowledge distillation. Phase 1 performs supervised fine-tuning on 9,429 quality-gated legal question-answer pairs (65% acceptance from 14,514 generated queries); Phase 2 minimises sparse Kullback-Leibler divergence against the teacher's top-50 per-token logits at temperature tau = 4.0, implemented via QLoRA (4-bit NF4, rank-32 LoRA adapters). Prior legal language models target general legal English; this system specialises in Bangladeshi statutory law. Every response is grounded through hybrid retrieval combining dense semantic search (60%) and BM25 (40%) across 36,029 statutory passages from the Bangladesh Constitution and national legislation. On a 50-query English benchmark, the distilled model reaches ROUGE-L 0.4715 and BERTScore F1 0.5679, a 103% ROUGE-L and 143% BERTScore gain over the retrieval-augmented undistilled baseline (ROUGE-L 0.2323, BERTScore 0.2340). The adapter quantises to 1.6 GB (GGUF Q4_K_M) and runs at 4-8 tokens per second on a Pixel 6 with no network access. Cross-lingual evaluation on 50 Bangla queries yields ROUGE-L 0.4083 and BERTScore 0.8133, showing effective retrieval from Bangla input against an English-only corpus. In a single-evaluator pilot, a practising lawyer rated 50 responses at a weighted mean of 4.16/5 (90% rated 4 or 5), supporting utility beyond text-overlap metrics.
- Abstract（参考訳）: バングラデシュの法的な情報は、ほとんどの市民にはアクセスできない。
法定テキストは英語のみであり、訓練された弁護士は都会に集中しており、クラウドに依存したAIはモバイル接続が信頼できない場合に失敗する。
このシステムは法解釈のみに対処し、判例やケースロー推論を必要とするクエリはその範囲外にある。
我々は,9-ビリオンパラメーターのGemma-2教師を2相進行的知識蒸留により2-ビリオンパラメーターの学生に圧縮することにより,法定アクセスギャップを目標とする。
フェーズ1では、QLoRA (4-bit NF4, rank-32 LoRA アダプタ)を介して実装された、教師のタウ=4.0で、教師のトップ50のロージットに対して、9,429のクオリティゲートの法的質問応答ペア(14,514生成クエリから65%の受理)を監督的に微調整する。
この制度はバングラデシュの法則に特化している。
全ての反応は、バングラデシュ憲法と国定法から36,029の法域をまたいだ密接なセマンティックサーチ(60%)とBM25(40%)を組み合わせたハイブリッド検索によって基礎付けられている。
50クエリの英語ベンチマークでは、蒸留されたモデルはROUGE-L 0.4715とBERTScore F1 0.5679, 103%のROUGE-Lと143%のBERTScoreに到達した(ROUGE-L 0.2323, BERTScore 0.2340)。
アダプタは1.6GB(GGUF Q4_K_M)まで量子化し、ネットワークアクセスなしでPixel 6上で毎秒4-8トークンで動作する。
50のBanglaクエリに対する言語間評価ではROUGE-L 0.4083とBERTScore 0.8133が得られ、英語のみのコーパスに対してBangla入力から有効に検索される。
単評価パイロットでは、実践弁護士が50の回答を重み付き平均4.16/5(90%は4または5)で評価し、テキストオーバーラップの指標を超えたユーティリティをサポートした。
関連論文リスト
- Do Small Models Use the Law You Give Them? Measuring Context Use on a Bilingual Bangladesh Legal Benchmark [2.062723244880136]
微調整は、文脈で供給される法律の使用方法を改善することなく、法的質問応答精度を向上させることができる。
我々は,階層保存法定コーパス,2,165個のバイリンガル微調整例,150項目の供給法則制御を構築した。
論文 参考訳（メタデータ） (2026-08-31T06:45:16Z) - Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh [2.062723244880136]
小さな言語モデルは、規制法の規定を受け取り、いまだに誤った回答をすることができる。
関連する法則を含む事例の微調整が、後続の法則の使用を改善するかどうかを検証した。
評価はバングラデシュの2022年と2023年のバーカウンシル試験と機械翻訳英語を用いている。
論文 参考訳（メタデータ） (2026-07-26T04:06:13Z) - A Sovereign, Open-Source Foundation Model for German and English [50.08096276509294]
Soofi S 30B-A3B(ソフィー S 30B-A3B)は、ドイツのマムバ・トランスフォーマー・ファウンデーション・モデルである。
そのハイブリッド設計はトークン毎に30Bパラメータの3Bのみを起動し、コンテキストが大きくなるにつれて推論キャッシュをほぼ一定に保ちます。
論文 参考訳（メタデータ） (2026-07-10T13:51:41Z) - K-BrowseComp: A Web Browsing Agent Benchmark Grounded in Korean Contexts [43.3460021951349]
我々は,K-BrowseCompを紹介した。K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseC omp,K-BrowseComp。
300プロブレムのK-BrowseComp-Verifiedサブセットは、韓国のネイティブスピーカーによって手作業で構築され、検証される。
このサブセットでは、GPT-5.5、DeepSeek-V4-Pro、GLM-5.1を含むフロンティアのLLMが30.00--45.67%にしか達せず、BrowseCompから大幅に落ち込んだ。
論文 参考訳（メタデータ） (2026-06-01T15:50:03Z) - ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law [0.0]
本稿では、17,058対の質問応答データセットであるImmigrationQAの構築について述べる。
コーパスは11の一次および二次のソースから組み立てられた。
微調整モデルを993対の保留分割に対して評価した。
論文 参考訳（メタデータ） (2026-05-28T21:36:18Z) - Can LLMs Time Travel? Enhancing Temporal Consistency in Legal Agentic Search through Reinforcement Learning [45.13302016493955]
法律は、法律の遡及的適用が中核的な法的原則に違反し、誤った結論に至るため、各事件の時間的文脈と一致しなければならない。
我々の観察では、現在の法的LLMはトレーニングの遮断に固定された時間的バイアスに悩まされているのに対し、検索エージェントはクエリに時間的制約を組み込むことは滅多にない。
我々は,複数の修正期間にまたがる時間的インデクシングデータに基づいて学習し,時間的整合性を確保するために,オンラインWeb検索に適合する厳密な記事に局所法規RAGを併用する,エンドツーエンドの強化学習フレームワークであるLegalSearch-R1を提案する。
論文 参考訳（メタデータ） (2026-05-25T14:57:13Z) - LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification [0.0]
ブラジルの法律テキスト分類における言語モデル評価のための最初の公開ベンチマークであるLegalBench-BRを紹介する。
データセットは、サンタカタリーナ州裁判所(TJSC)による3,105の手続きからなる。
クラスバランステストセットでは、BERTimbau-LoRAは87.6%の精度と0.87のマクロF1を達成する(Claude 3.5 Haikuより+22pp、GPT-4o miniより+28pp)。
論文 参考訳（メタデータ） (2026-04-20T22:00:02Z) - Retrieval Augmented Generation Framework for the Nepali Legal Domain Question Answering [1.5214205485907346]
本研究では,ネパールの法的な質問応答に対する検索型拡張生成モデルの最初の適用例を示す。
このアプローチは91%の精度で最高精度を達成し、多言語E5大モデルで最大75%の精度を実現した。
論文 参考訳（メタデータ） (2026-04-20T04:51:59Z) - Relative Scaling Laws for LLMs [91.73497548097775]
スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。
相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。
これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
論文 参考訳（メタデータ） (2025-10-28T16:55:22Z) - LawInstruct: A Resource for Studying Language Model Adaptation to the Legal Domain [47.001169623840354]
58の注釈付き法律データセットを集約し、それぞれに命令を書き、LawInstructを作成します。
ローインストラクチャーは17の国際司法管轄区域、24の言語、および法的QA、訴訟の要約、法的議論のマイニングなど様々なタスクにまたがる1200万の事例をカバーしている。
Flan-T5(FLawN-T5)の法的な命令チューニングは、すべてのモデルサイズでLegalBenchのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2024-04-02T17:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。