論文の概要: Do Small Models Use the Law You Give Them? Measuring Context Use on a Bilingual Bangladesh Legal Benchmark
- arxiv url: http://arxiv.org/abs/2608.30327v1
- Date: Mon, 31 Aug 2026 06:45:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.262869
- Title: Do Small Models Use the Law You Give Them? Measuring Context Use on a Bilingual Bangladesh Legal Benchmark
- Title（参考訳）: バングラデシュの法律ベンチマークで使用する文脈を計測する小さなモデル
- Abstract要約: 微調整は、文脈で供給される法律の使用方法を改善することなく、法的質問応答精度を向上させることができる。
我々は,階層保存法定コーパス,2,165個のバイリンガル微調整例,150項目の供給法則制御を構築した。
- 参考スコア（独自算出の注目度）: 2.062723244880136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning can improve legal question-answering accuracy without improving how models use law supplied in context. We study this distinction in bilingual Bangladeshi legal QA, where observed errors can arise from answer scoring, retrieval, or failure to use relevant law. We construct a hierarchy-preserving statutory corpus, 2,165 reviewed bilingual fine-tuning examples, and a 150-item supplied-law control. We evaluate six instruction-tuned models: Llama-3.2-1B, Llama-3.2-3B, Qwen3.5-0.8B, Qwen3.5-2B, Qwen3.5-4B, and Gemma-4-E2B, with three LoRA seeds per model. To separate effects, we combine constrained option-letter scoring, cyclic option rotation, and controlled removal of the governing provision. On 398 Bar Council outputs, an exact-line parser attributes an accuracy gain of 50.0\% to the Qwen3.5-2B seed-42 adapter, whereas option scoring yields only $3.0\%$. For Gemma-4-E2B, the two scoring methods favor different systems. When the governing provision is guaranteed to be present, five of six reference models improve by $14.7\%-19.3\%$ under the four-order criterion. Removing that provision reduces accuracy by $8.0\%-15.3\%$ for models and by $13.8\%-14.9\%$ points for their adapters. However, difference-in differences estimates show no increase in reliance on the governing provision after fine-tuning. Results show that legal adaptation claims require separating scorer, retriever, and model effects. Our Code and data are available at https://anonymous.4open.science/r/bangladesh-legal-qa-11E3
- Abstract（参考訳）: 微調整は、文脈で供給される法律の使用方法を改善することなく、法的質問応答精度を向上させることができる。
バングラデシュのバイリンガル法QAにおいて, 回答スコア, 検索, 関連する法則の誤用から, 観察誤差が生じる可能性がある。
我々は,階層保存法定コーパス,2,165個のバイリンガル微調整例,150項目の供給法則制御を構築した。
Llama-3.2-1B, Llama-3.2-3B, Qwen3.5-0.8B, Qwen3.5-2B, Qwen3.5-4B, Gemma-4-E2Bの6種類の命令調整モデルについて検討した。
効果を分離するために、制約付きオプションレタースコアリング、循環型オプションローテーション、および統治規定の削除制御を組み合わせた。
398 Bar Councilの出力では、正確なラインパーザは、Qwen3.5-2Bのシード-42アダプタに50.0\%の精度を付けている。
Gemma-4-E2Bでは、2つのスコアリング方法が異なるシステムを好む。
6つの基準モデルのうち5つは、4次基準の下で14.7\%-19.3\%$に改善されている。
この規定を取り除いた場合、モデルの精度は8.0\%-15.3\%、アダプタの価格は13.8\%-14.9\%である。
しかし、差分差分推定は微調整後の統治規定に依存しないことを示している。
結果は、法的適応のクレームはスコアラー、レトリバー、モデル効果を分離する必要があることを示している。
私たちのコードとデータはhttps://anonymous.4open.science/r/bangladesh-legal-qa-11E3で公開されています。
関連論文リスト
- Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh [2.062723244880136]
小さな言語モデルは、規制法の規定を受け取り、いまだに誤った回答をすることができる。
関連する法則を含む事例の微調整が、後続の法則の使用を改善するかどうかを検証した。
評価はバングラデシュの2022年と2023年のバーカウンシル試験と機械翻訳英語を用いている。
論文 参考訳（メタデータ） (2026-07-26T04:06:13Z) - Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation [0.0]
フェデレーションクラスをフロンティアの大規模言語モデルで文書化する。
故障は最初の観測で再現されるが、経験的表面は不安定である。
規制されたフロンティアモデルの正確性は、注意を払わずにシフトする移動したコンプライアンス境界である。
論文 参考訳（メタデータ） (2026-07-25T22:40:02Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law [0.0]
本稿では、17,058対の質問応答データセットであるImmigrationQAの構築について述べる。
コーパスは11の一次および二次のソースから組み立てられた。
微調整モデルを993対の保留分割に対して評価した。
論文 参考訳（メタデータ） (2026-05-28T21:36:18Z) - Democratizing AI with Small Language Models: Structured Benchmarking and Parameter-Efficient Fine-Tuning for Local Deployment [0.0]
135M と 3B パラメータ間の9つのオープンウェイト言語モデルを,局所的な配置を構造化したベンチマークで評価した。
共有パラメータ効率の微調整パイプラインは、4ビットのNF4量子化とDoRA/LoRAスタイルのアダプタを用いたモデルのサブセットをNVIDIA L4クラス予算で適応する。
ベース評価では、Qwen Coder 3Bが75.67%、Qwen2.5 1.5Bが67.10%、Qwen3.5 2Bが64.98%、Granite 3.3 2Bが64.61%である。
論文 参考訳（メタデータ） (2026-05-05T02:36:09Z) - LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification [0.0]
ブラジルの法律テキスト分類における言語モデル評価のための最初の公開ベンチマークであるLegalBench-BRを紹介する。
データセットは、サンタカタリーナ州裁判所(TJSC)による3,105の手続きからなる。
クラスバランステストセットでは、BERTimbau-LoRAは87.6%の精度と0.87のマクロF1を達成する(Claude 3.5 Haikuより+22pp、GPT-4o miniより+28pp)。
論文 参考訳（メタデータ） (2026-04-20T22:00:02Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Variational Low-Rank Adaptation Using IVON [50.0349688602232]
変動学習はローランド適応(LoRA)の精度と校正を著しく向上させることができることを示す。
我々はAdamWを改良変分オンラインニュートン(IVON)アルゴリズムで置き換え、大きな言語モデルを微調整する。
論文 参考訳（メタデータ） (2024-11-07T04:17:30Z) - Unearthing Skill-Level Insights for Understanding Trade-Offs of Foundation Models [61.467781476005435]
集約精度を検査する際には、スキルワイドのパフォーマンスが不明確になる。
モデル生成論理を検査することで,任意の評価事例に関連する基礎的スキルを復元する自動手法を提案する。
私たちのスキルスライスとフレームワークは、モデル評価の新しい道を開き、スキル固有の分析を活用して、よりきめ細やかで実用的なモデル機能の理解を解き放ちます。
論文 参考訳（メタデータ） (2024-10-17T17:51:40Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳（メタデータ） (2024-04-04T02:31:05Z) - Model Editing with Canonical Examples [75.33218320106585]
標準例を用いたモデル編集について紹介する。
例えば、モーリシャスの首都はポートルイである。
本稿では,各標準例に対して数個の感覚ベクトルを選択し,微調整するセンスファインタニングを提案する。
論文 参考訳（メタデータ） (2024-02-09T03:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。