論文の概要: Cloud and On-Premises Deployment of Uzbek Legal RAG via Targeted Retriever Fine-Tuning
- arxiv url: http://arxiv.org/abs/2608.29284v1
- Date: Sat, 29 Aug 2026 14:07:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.913572
- Title: Cloud and On-Premises Deployment of Uzbek Legal RAG via Targeted Retriever Fine-Tuning
- Title(参考訳): ターゲットレトリバーファインチューニングによるウズベク法定RAGのクラウドおよびオンプレミス展開
- Abstract要約: 本稿では,ウズベクにおける2つの体制で行う必要がある検索強化型法務助手(RAG)の構築と運用について報告する。
マネージドクラウドサービスは、トーケン当たりのコスト天井内での回答品質を最大化し、法的データがインフラストラクチャを離れない可能性のあるクライアントのオンプレミスデプロイメントを最大化する。
この設定には評価がなかったため、専門家による178の法定クエリと、専門家による504の問合せ対のエンドツーエンドベンチマークの2つのドメインベンチマークを構築した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying large language models for legal question answering raises challenges that general-purpose leaderboards do not capture, particularly for low-resource languages and under hard operational constraints. We report on building and operating a retrieval-augmented (RAG) legal assistant for Uzbek that must run in two regimes: a managed cloud service that maximizes answer quality within a per-token cost ceiling, and an on-premises deployment for clients whose legal data may not leave their infrastructure, restricting us to open-weight models on limited local hardware under latency constraints. Because no evaluation existed for this setting, we build two domain benchmarks: a retrieval benchmark of 178 expert-annotated legal queries with gold provision spans, and an end-to-end benchmark of 504 expert-curated question--answer pairs scored by an LLM judge whose ratings we validate against human judgments and against an independent-family judge. Applying these benchmarks under each regime, we find the open-versus-proprietary gap is small and cheaply closed by fine-tuning. Therefore, we train UTE-1, which is a state-of-the-art text embedder among open models for Uzbek. We also demonstrate that closing the performance gap via fine-tuning is both impractical due to the intensive hardware demands of long-context legal Q\&A and unnecessary, given that legal acts change frequently. We support this by reporting a negative result from a QLoRA experiment. We distill practical guidance for similar deployments, drawn from a system serving real users in production. We release our benchmarks, evaluation code and the fine-tuned embedder (UTE-1) \href{https://metric-ai-lab.github.io/Uzbek-Legal-RAG/}{at this https URL} to support future work on low-resource legal NLP.
- Abstract(参考訳): 法的質問に答えるために大きな言語モデルをデプロイすることは、特に低リソース言語や厳しい運用上の制約の下で、汎用のリーダーボードが捉えない課題を提起する。
我々は,ユズベク州における検索強化(RAG)法的なアシスタントの構築と運用について報告する: トーケンコストの天井内で応答品質を最大化するマネージドクラウドサービスと,法的データがインフラストラクチャを離れない可能性のあるクライアントのためのオンプレミスデプロイメント,レイテンシ制約下での限定されたローカルハードウェア上のオープンウェイトモデルに制限される。
この設定には評価がなかったため、専門家が指定した178の法定クエリの検索ベンチマークと、LLM審査員が評価した504の専門家による問合せ対のエンドツーエンドベンチマークの2つのドメインベンチマークを構築した。
これらのベンチマークを各体制で適用すると、オープン・ヴァーサス・プロプライエタリギャップは小さく、微調整によって安価にクローズされていることが分かる。
したがって、我々はウズベクのオープンモデルの中で最先端のテキスト埋め込みであるUTE-1を訓練する。
また、法的な行為が頻繁に変わることを考えると、長いコンテキストの法的なQ\&Aのハードウェア要求が強まるため、微調整によるパフォーマンスギャップの解消は非現実的であることも示している。
我々はQLoRA実験の否定的な結果を報告することでこれを裏付ける。
実運用における実際のユーザを支援するシステムから引き出された,同様のデプロイメントのための実践的ガイダンスを精査する。
われわれはベンチマーク、評価コード、微調整埋め込み (UTE-1) \href{https://metric-ai-lab.github.io/Uzbek-Legal-RAG/}{at this https URL} をリリースした。
関連論文リスト
- Fast Test-Time Refinement for Robust Learned Image Compression [76.1340081619183]
学習された画像圧縮(lic)は、良質な設定で顕著なレート歪み(RD)性能を示した。
ディープニューラルネットワーク(DNN)によって与えられる高い表現能力は、敵の脆弱性の増加を犠牲にしている。
実用的でロバストなlicシステムのためのFTTR(Fast Test-Time Refinement Tube)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-15T08:30:56Z) - Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。
RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
論文 参考訳(メタデータ) (2026-05-28T10:38:38Z) - IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。
IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
論文 参考訳(メタデータ) (2026-02-26T07:21:02Z) - CREDIT: Certified Ownership Verification of Deep Neural Networks Against Model Extraction Attacks [54.04030169323115]
我々は、モデル抽出攻撃(MEA)に対する認証された所有権検証であるCREDITを紹介する。
DNNモデル間の類似性を定量化し、実用的な検証しきい値を提案し、このしきい値に基づいてオーナシップ検証を行うための厳密な理論的保証を提供する。
我々は、さまざまなドメインやタスクにまたがるいくつかの主流データセットに対するアプローチを広範囲に評価し、最先端のパフォーマンスを実現した。
論文 参考訳(メタデータ) (2026-02-23T23:36:25Z) - LegalRikai: Open Benchmark - A Benchmark for Complex Japanese Corporate Legal Tasks [2.399077824457897]
本稿では,日本の企業法慣行を模倣する4つの複雑なタスクからなる新しいベンチマークであるLegalRikai: Open Benchmarkを紹介する。
本ベンチマークでは,100個のサンプルを抽出し,複数の実測値と比較した。
論文 参考訳(メタデータ) (2025-12-12T05:47:06Z) - PL-CA: A Parametric Legal Case Augmentation Framework [10.998168534326709]
従来のRAGは、取得した文書を直接モデルのコンテキストに注入するのみである。
多くの既存のベンチマークには専門家のアノテーションがなく、個別の下流タスクのみに焦点を当てている。
本稿では,PL-CAを提案する。PL-CAは,コーパス知識に基づくデータ拡張を行うためのパラメトリックRAGフレームワークである。
論文 参考訳(メタデータ) (2025-09-08T06:08:06Z) - KoBLEX: Open Legal Question Answering with Multi-hop Reasoning [12.122913185860634]
韓国法定説明可能QA(KoBLEX)ベンチマークについて紹介する。
KoBLEXは、プロビジョニングされたマルチホップの法的推論を評価するように設計されている。
ParSeR (Parametric provision-guided Selection Retrieval) という手法も提案する。
論文 参考訳(メタデータ) (2025-09-01T10:07:00Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳(メタデータ) (2025-04-07T03:57:41Z) - SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。
SFR-RAG(SFR-RAG)について述べる。
また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文 参考訳(メタデータ) (2024-09-16T01:08:18Z) - LegalBench-RAG: A Benchmark for Retrieval-Augmented Generation in the Legal Domain [0.0]
Retrieval-Augmented Generation (RAG)システムは有望な可能性を示しており、AIによる法的な応用にますます関係している。
LegalBenchのような既存のベンチマークは、法域におけるLarge Language Models(LLM)の生成能力を評価する。
我々は、法空間内のRAGパイプラインの検索ステップを評価するために特別に設計された最初のベンチマークであるLegalBench-RAGを紹介する。
論文 参考訳(メタデータ) (2024-08-19T18:30:18Z) - Interpretable Long-Form Legal Question Answering with
Retrieval-Augmented Large Language Models [10.834755282333589]
長文の法的問合せデータセットは、専門家によるフランス語の法的質問1,868件からなる。
実験結果から,自動評価指標について有望な性能を示した。
LLeQAは、専門家によって注釈付けされた唯一の包括的なロングフォームLQAデータセットの1つであり、重要な現実世界の問題を解決するために研究を加速するだけでなく、特殊な領域におけるNLPモデルを評価するための厳密なベンチマークとしても機能する可能性がある。
論文 参考訳(メタデータ) (2023-09-29T08:23:19Z) - SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore [159.21914121143885]
推論中にこのリスクパフォーマンストレードオフを管理する新しい言語モデルであるSILOを提案する。
SILOは(1)オープンライセンスコーパス(OLC)上でパラメトリックLMをトレーニングすることで構築されます。
データストアへのアクセスはドメインのパフォーマンスを大幅に改善し、PileでトレーニングされたLMでパフォーマンスギャップの90%を閉じる。
論文 参考訳(メタデータ) (2023-08-08T17:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。