論文の概要: NitiBench+: A Temporal Thai Legal Question Answering Benchmark Across 17 Domains

• arxiv url: http://arxiv.org/abs/2611.03576v1
• Date: Mon, 02 Nov 2026 18:28:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.632453
• Title: NitiBench+: A Temporal Thai Legal Question Answering Benchmark Across 17 Domains
• Title（参考訳）: NitiBench+:17のドメインでベンチマークを回答するタイの一時的な法的質問
• Abstract要約: NitiBench+はタイの法定QAベンチマークで、17のドメインに1,670の項目がある。 引用されたセクションごとに、決定日と現在のテキストの両方を強制的に保持する。 質問は、タイ・バー・カウンシルのルーブリック、バー・スタンダードのスコア、および引用されたセクションと裁判所の重複についてランク付けされる。
• 参考スコア（独自算出の注目度）: 8.281087768687273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Law changes over time. A court decides a case under the law in force on that day, and legal QA benchmarks grade answers against today's law. We checked 156,650 decisions of four Thai courts. Up to 67% of them cite law that has since been amended or repealed. We introduce NitiBench+, the sequel of our NitiBench, a Thai legal QA benchmark with 1,670 items across 17 domains, built from decisions of three courts. For each cited section it holds both the text in force on the decision date and the current text, and its retrieval corpus holds every dated version of every Thai statute section. Answers are graded on the Thai Bar Council rubric, the Bar-standard score, and on the overlap between the cited sections and the court's. The report has two parts. Part I measures the cost of the wrong text on 13 open-weight models. Reading the current text of amended law drops the Bar-standard score by 0.25 and missing repealed law drops it by 0.79. The penalty comes from rule changes, 0.45 on the 428 rule-changed items and none on the 331 wording-only items, and Citation F1 does not see it. The text in force is the fair setting. Part II benchmarks today's models on that setting. A public leaderboard ranks 26 models on a held-out test split of 500 items stratified by domain, with a validation split of the same shape released for public use, from memory alone, with the court's sections provided, and as a retrieval agent over the law in force, with the cost per item and the hallucinated citations. The best model scores 7.78 out of 10 and the best open-weight model 6.39. Without a search tool only five open-weight models recall any Thai law, and with it twenty of the 26 models gain and six lose. Leaderboard will take new models as they are released. Legal benchmarks must track dates, and on the right text today's models still leave a wide gap on Thai law.
• Abstract（参考訳）: 法律は時とともに変わる。 裁判所は、その日に施行されている法律に基づいて訴訟を判断し、法的なQAベンチマークは、今日の法に反する回答を格付けする。 タイの4つの裁判所の156,650件の判決を確認した。 最大67%が修正または撤廃された法律を引用している。 NitiBench+は、タイの法定QAベンチマークで、17のドメインに1,670の項目があり、3つの裁判所の判断に基づいて構築されている。 引用された各セクションは、決定日と現在のテキストの両方を強制的に保持し、その検索コーパスはタイ国法の各セクションの日付付きバージョンを全て保持する。 回答は、タイ・バー・カウンシルのルーブリック、バー・スタンダードのスコア、引用されたセクションと裁判所の重複で評価される。 報告書には2つの部分がある。 パート1は、13のオープンウェイトモデルで間違ったテキストのコストを測定します。 修正された法律の現在のテキストを読むと、バースタンダードのスコアは0.25低下し、削除された法律は0.79低下する。 刑罰は規則の変更によるもので、428の規則変更項目の0.45と、331の文言のみの項目の0.45であり、Citation F1はそれを見ることができない。 効力のあるテキストは公正な設定です。 Part IIはこの設定で今日のモデルをベンチマークします。 公立のリーダーボードは、ドメインによって階層化された500項目からなる保留試験において26のモデルにランク付けし、その検証は、メモリのみから、裁判所のセクションが提供され、法上の検索エージェントとして、アイテム当たりのコストと幻覚的引用が提供される。 ベストモデルが10点中7.78点、オープンウェイトモデルが6.39点である。 検索ツールがなければ、タイの法律を思い出すのは5つのオープンウェイトモデルだけだ。 リーダーボードはリリース時に新しいモデルを取ります。 法律ベンチマークは日付を追跡する必要があり、適切なテキストでは、今日のモデルはタイの法律に大きなギャップを残している。

関連論文リスト

• Saidzoda-Tajik-E5-Large: Fine-Tuning a 560M Embedder for Tajik Retrieval [0.28106259549258145]
  We present Saidzoda-Tajik-E5-Large, a Tajik text embeder built from multilingual-e5-large-instruct。 私たちは、タジク語モデルに、タジク語法、税制文書、ウィキペディア、ウェブテキストからの引用に関する質問を書くよう依頼します。 モデルがこれまで見たことのない法律では、93.6%の質問に対して、正しいパスがトップ10に入る。
  論文  参考訳（メタデータ） (2026-10-31T03:41:43Z)
• XLaw-JP-27B: A Lightweight Open Model Specialized for Japanese Law [2.4028383570062606]
  XLaw-JP-27B(XLaw-JP-27B)は、日本の法律を専門とするオープンウェイトモデルである。 Apache2.0ライセンスの下で、単一の48,GBのGPU上で動作する。 XLaw-JP-27Bは6つのタスクで1位、タイが1位、3位である。
  論文  参考訳（メタデータ） (2026-10-29T02:47:35Z)
• Temporal Misgrounding in Legal RAG: A Versioned-Corpus Benchmark for French Tax Law [0.0]
  我々は,現在施行中の法律記事の体系的検索と引用という,時間的誤動作を特定し,定量化する。 われわれはFiscalQA Proを導入し、フランスの税法典の32,436項目のコーパスと、すべてモデルに固執した時間的推論トラックを組み合わせている。 オラクルなしのマルチバージョンインデックス上のエンドツーエンドレトリバーは、98.3%という厳密な値に達した。
  論文  参考訳（メタデータ） (2026-08-10T10:20:13Z)
• Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions [3.8449738927037207]
  我々は,第一審裁判所の決定において,フランス民法典の暗黙の引用に焦点をあてる。 専門家の不一致がモデル失敗を予測することを示す。 これらの制限にもかかわらず、タスクをトップkランキングとして再検討し、マルチモデルコンセンサスを活用することで、教師なしの環境でk = 200で76%の精度が得られる。
  論文  参考訳（メタデータ） (2026-03-24T09:10:57Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
  textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。 この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• LawInstruct: A Resource for Studying Language Model Adaptation to the Legal Domain [47.001169623840354]
  58の注釈付き法律データセットを集約し、それぞれに命令を書き、LawInstructを作成します。 ローインストラクチャーは17の国際司法管轄区域、24の言語、および法的QA、訴訟の要約、法的議論のマイニングなど様々なタスクにまたがる1200万の事例をカバーしている。 Flan-T5(FLawN-T5)の法的な命令チューニングは、すべてのモデルサイズでLegalBenchのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-04-02T17:33:34Z)
• PARAMANU-AYN: Pretrain from scratch or Continual Pretraining of LLMs for Legal Domain Adaptation? [3.9018931027384056]
  パラマヌ・アイン(Paramanu-Ayn)は、インドの訴訟文書に特化して訓練された法律言語モデルのコレクションである。 Paramanu-Aynは1つのGPU上でわずか185時間、コンテキストサイズ8192のスクラッチから事前トレーニングされた。
  論文  参考訳（メタデータ） (2024-03-20T15:39:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。