論文の概要: Compression Through a Context Lens: Evaluating Adaptation, Quantization, and Distillation in Arabic Legal LLMs
- arxiv url: http://arxiv.org/abs/2611.07988v1
- Date: Thu, 05 Nov 2026 13:15:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.697144
- Title: Compression Through a Context Lens: Evaluating Adaptation, Quantization, and Distillation in Arabic Legal LLMs
- Title（参考訳）: 文脈レンズによる圧縮:アラビア法LLMにおける適応・量子化・蒸留の評価
- Abstract要約: モデル圧縮は、リソース制約のある法的な設定において、大きな言語モデルのデプロイを容易にするが、ドメイン固有のパフォーマンスへの影響は評価プロトコルに依存するかもしれない。
サウジアラビアの法定ベンチマークである ArabLegalEval を用いて、非文脈評価と非文脈評価の両面からこの問題を調査した。
本研究は,非文脈評価がアラビア法定言語モデルに対する適応と圧縮の効果を評価する上で,文脈支援テストの有効な補完となることを示唆している。
- 参考スコア（独自算出の注目度）: 0.8373901454976195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model compression can facilitate the deployment of large language models in resource-constrained legal settings, but its effects on domain-specific performance may depend on the evaluation protocol. We investigate this issue using ArabLegalEval, a Saudi Arabic legal benchmark, under both with-context and no-context evaluation. The former provides supporting legal passages, while the latter assesses performance without external context. Removing the context produces accuracy gaps of up to 27 percentage points for the base model. We examine three stages: domain adaptation, quantization, and knowledge distillation across FANAR-9B, JAIS-8B, and Qwen2.5-7B. Four-bit quantization reduces model memory by 64-71%, with changes in no-context MCQ accuracy ranging from -3.2 to +1.6 percentage points. Distillation produces more variable results, with accuracy generally declining as student size decreases. A Qwen2.5-7B student distilled from FANAR achieves 76.6% no-context accuracy, compared with 77.2% for its teacher. Our findings suggest that no-context evaluation provides a useful complement to context-supported testing when assessing the effects of adaptation and compression on Arabic legal language models.
- Abstract（参考訳）: モデル圧縮は、リソース制約のある法的な設定において、大きな言語モデルのデプロイを容易にするが、ドメイン固有のパフォーマンスへの影響は評価プロトコルに依存するかもしれない。
サウジアラビアの法定ベンチマークである ArabLegalEval を用いて、非文脈評価と非文脈評価の両面からこの問題を調査した。
前者は法的パスをサポートし、後者は外部コンテキストなしでパフォーマンスを評価する。
コンテキストを除去すると、ベースモデルに対して最大27ポイントの精度のギャップが生じる。
ドメイン適応,量子化,FANAR-9B,JAIS-8B,Qwen2.5-7Bの3段階について検討した。
4ビット量子化はモデルメモリを64-71%削減し、ノンコンテキストMCQの精度は-3.2から1.6ポイントまで変化した。
蒸留はより多様な結果をもたらすが、学生のサイズが小さくなるにつれて、一般的には精度が低下する。
FANARから蒸留されたQwen2.5-7Bの学生は、教師が77.2%であるのに対し、76.6%のノンテキストの正確さを達成している。
本研究は,非文脈評価がアラビア法定言語モデルに対する適応と圧縮の効果を評価する上で,文脈支援テストの有効な補完となることを示唆している。
関連論文リスト
- Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models [23.269235615604245]
自己蒸留は、適切な外部教師が利用できない場合に推論モデルを改善する手段を提供する。
一般的なアプローチは、より強力な自己教育者を構築するために特権情報に依存しており、ラベルなしのプロンプトが利用可能である場合にのみ使用を制限する。
Weakening-induced On-Policy Self-Distillation (WISD)を導入する。
論文 参考訳（メタデータ） (2026-10-28T18:55:38Z) - When Context Misleads: In-context Learning with Jurisdiction in Large Language Models [4.902430232014152]
Jurisdiction In-Context Learning (J-ICL) は、文脈検証をトレーニング目的に組み込んだポストトレーニングフレームワークである。
ICLEvalを平均5.84ポイント改善し、現実の精度を対応するベースモデルよりも9.20ポイント向上する。
また、MetaICLやSymbol Tuningと比較して平均18.09ポイントのARレートも引き上げている。
論文 参考訳（メタデータ） (2026-09-23T09:21:14Z) - State of Thought Enables Endogenous Reasoning [48.902117018115256]
大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。
LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。
SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
論文 参考訳（メタデータ） (2026-09-13T05:55:03Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir [0.0]
本稿では,大規模な言語モデルをBashkir言語に適応させるタスクに適用する,パラメータ効率のよい微調整手法の比較検討を行う。
各種アーキテクチャのモデルを用いた71k文書(46.9Mトークン)のBashkirテキストコーパスで実験評価を行った。
論文 参考訳（メタデータ） (2026-05-06T14:14:35Z) - Language as a Latent Variable for Reasoning Optimization [45.35129925776798]
LLMは英語中心のバイアスを減らすので、驚くべき傾向が現れます。
モデルの内部推論経路を構造的に修飾する潜在変数として機能する言語を仮定する。
言語変化を暗黙的な探索信号として扱うRLフレームワークであるpolyGRPOを提案する。
論文 参考訳（メタデータ） (2026-04-23T12:19:14Z) - Knowledge Distillation for Large Language Models [42.628421392139]
我々は、英語のDolly-15k、スペイン語のDolly-15k、コードBugNetおよびPyTorrentデータセットに知識蒸留を適用する。
教師の能力は70%から91%、スペイン語では95%、コードでは93.5%である。
これらの結果から, 知識蒸留と連鎖指導型強化学習を組み合わせることで, 資源制約条件下での展開に適した, コンパクトで効率的なモデルが作成できることが示唆された。
論文 参考訳（メタデータ） (2026-03-14T05:28:26Z) - Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws [0.5708902722746041]
本研究はヨルダン法をケーススタディとして用い,アラビア語質問応答のためのLlama-3.1大言語モデルの微調整について検討する。
モデルの2つのバージョンは、パラメータ効率の細かい調整(PEFT)とLoRAアダプタと4ビット量子化モデルを用いて微調整された。
その結果, 資源効率を向上しつつ, 法的推論と精度を向上させた。
論文 参考訳（メタデータ） (2026-01-24T08:17:26Z) - The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact [0.0]
大規模言語モデル(LLM)の急速な拡張により、計算コストや環境コストに対する懸念が高まっている。
本研究では, フルスケール, 蒸留, 定量化モデルを比較し, 翻訳品質と効率のトレードオフについて検討した。
論文 参考訳（メタデータ） (2025-09-28T17:32:52Z) - The impact of fine tuning in LLaMA on hallucinations for named entity extraction in legal documentation [41.04830252637936]
法律文書から交通事故に関する情報を抽出することは、保険会社のコストの定量化に不可欠である。
まず、最も関連するセグメントを識別した文書をセグメント化し、それからエンティティを抽出する2段階の手順が提案されている。
テキストセグメンテーションでは、正規表現に基づく古典的な方法と、文書をn-トークンのブロックに分割する第二のアプローチの2つの手法が比較される。
大規模言語モデル(LLaMA-2 7b, 70b, LLaMA-3 8b, GPT-4 Turbo)を適用し、選択したセグメントに対してエンティティ抽出を行う。
論文 参考訳（メタデータ） (2025-06-10T14:17:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。