論文の概要: Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws

• arxiv url: http://arxiv.org/abs/2601.17364v1
• Date: Sat, 24 Jan 2026 08:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.633931
• Title: Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
• Title（参考訳）: アラビア語の法的問題への回答のためのパラメータ効率の良い微調整ラマ3.1:ヨルダンの法則を事例として
• Authors: Mohammed Fasha, Bassam Hammo, Bilal Sowan, Husam Barham, Esam Nsour,
• Abstract要約: 本研究はヨルダン法をケーススタディとして用い,アラビア語質問応答のためのLlama-3.1大言語モデルの微調整について検討する。 モデルの2つのバージョンは、パラメータ効率の細かい調整(PEFT)とLoRAアダプタと4ビット量子化モデルを用いて微調整された。 その結果, 資源効率を向上しつつ, 法的推論と精度を向上させた。
• 参考スコア（独自算出の注目度）: 0.5708902722746041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study uses Jordanian law as a case study to explore the fine-tuning of the Llama-3.1 large language model for Arabic question-answering. Two versions of the model - Llama-3.1-8B-bnb-4bit and Llama-3.1-8B-Instruct-bnb-4bit - were fine-tuned using parameter-efficient fine-tuning (PEFT) with LoRA adapters and 4-bit quantized models, leveraging the Unsloth framework for accelerated and resource-efficient training. A custom dataset of 6000 legal question-answer pairs was curated from Jordanian laws and formatted into structured prompts. Performance was evaluated using the BLEU and the ROUGE metrics to compare the fine-tuned models to their respective base versions. Results demonstrated improved legal reasoning and accuracy while achieving resource efficiency through quantization and optimized fine-tuning strategies. This work underscores the potential of adapting large language models for Arabic legal domains and highlights effective techniques for fine-tuning domain-specific tasks.
• Abstract（参考訳）: 本研究は、ヨルダンの法則を事例研究として、アラビア語質問応答のためのLlama-3.1大言語モデルの微調整を探求する。 Llama-3.1-8B-bnb-4bitとLlama-3.1-8B-Instruct-bnb-4bitの2つのバージョンは、パラメータ効率のよい微調整(PEFT)とLoRAアダプタと4ビット量子化モデルを用いて微調整され、Unslothフレームワークを用いて加速と資源効率のトレーニングを行った。 6000の法的な問合せ対のカスタムデータセットは、ヨルダンの法則からキュレーションされ、構造化されたプロンプトにフォーマットされた。 BLEUとROUGEのメトリクスを用いて評価を行い、微調整されたモデルとそれぞれのベースバージョンを比較した。 その結果、量子化と最適化された微調整戦略により、資源効率を向上しつつ、法的な推論と精度を改善した。 この研究は、アラビア語の法律ドメインに対して大きな言語モデルを適用する可能性を強調し、ドメイン固有のタスクを微調整するための効果的なテクニックを強調している。

関連論文リスト

• Text to Trust: Evaluating Fine-Tuning and LoRA Trade-offs in Language Models for Unfair Terms of Service Detection [0.0]
  大規模言語モデル (LLM) はテキスト理解に変化をもたらしたが、専門の法域への適応は、完全な微調整のコストによって制限されている。 本研究は、サービス規約(ToS)文書において、微調整、パラメータ効率適応(LoRA、QLoRA)、不公平な節検出のためのゼロショットプロンプト戦略を体系的に評価する。 CLAUDETTE-ToSベンチマークとMultilingual Scraper Corpusの実験では、完全な微調整が最大の精度のリコールバランスを達成する一方、LoRAベースのモデルは最大3倍のメモリコストで競合リコールを提供する。
  論文  参考訳（メタデータ） (2025-10-26T04:46:06Z)
• Shadow-FT: Tuning Instruct Model via Training on Paired Base Model [67.20706292627106]
  大規模言語モデル(LLM)は、様々なタスクのさらなる微調整の恩恵を一貫して受けている。 本稿では,対応するベースモデルを活用してインストラクタモデルをチューニングするための新しいシャドウ-FTフレームワークを提案する。 提案するShadow-FTは,追加パラメータを導入せず,実装が容易で,性能が大幅に向上する。
  論文  参考訳（メタデータ） (2025-05-19T05:16:21Z)
• Can Large Language Models Predict the Outcome of Judicial Decisions? [0.0]
  大規模言語モデル(LLM)は自然言語処理(NLP)において例外的な機能を示す。 LLaMA-3.2-3B や LLaMA-3.1-8B を含む最先端のオープンソース LLM を様々な構成でベンチマークする。 本結果は,タスク固有のコンテキストにおいて,細調整された小型モデルが大規模モデルに匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-01-15T11:32:35Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Prediction of Arabic Legal Rulings using Large Language Models [1.3499500088995464]
  本稿では,10,813件の商業裁判所実例を対象としたアラビア裁判所判決の包括的予測分析の先駆者となる。 我々は,3つの基本モデル(LLaMA-7b,JAIS-13b,GPT3.5-turbo)と,ゼロショット,ワンショット,微調整の3つの訓練パラダイムを評価した。 GPT-3.5ベースのモデルは、アラビア語中心のJAISモデルの平均スコアを50%上回り、他のモデルよりも広いマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-16T10:37:35Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。