論文の概要: To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification

• arxiv url: http://arxiv.org/abs/2605.10211v1
• Date: Mon, 11 May 2026 08:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.670081
• Title: To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification
• Title（参考訳）: 再実行すべきか, 再実行すべきでないか? 局所的なLCMアプローチによる検証プロセスのプリヴィリエジ分類
• Authors: Maik Larooij, David Graus,
• Abstract要約: 我々は、FOIA Exemption 5の熟考プロセス特権のための自動感度分類を行うための先行研究に基づいて構築する。 我々は、小型でローカルなモデルで、コンシューマグレードのハードウェアにデプロイ可能な感度分類を行う。 評定として予測される文には、意見の表現を示す動詞がもっと多く含まれていることが分かる。
• 参考スコア（独自算出の注目度）: 0.2979301924660567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Government transparency laws, like the Freedom of Information (FOIA) acts in the United States and United Kingdom, and the Woo (Open Government Act) in the Netherlands, grant citizens the right to directly request documents from the government. As these documents might contain sensitive information, such as personal information or threats to national security, the laws allow governments to redact sensitive parts of the documents prior to release. We build on prior research to perform automatic sensitivity classification for the FOIA Exemption 5 deliberative process privilege using Large Language Models (LLMs). However, processing documents not yet cleared for review via third-party cloud APIs is often legally or politically untenable. Therefore, in this work, we perform sensitivity classification with a small, local model, deployable on consumer-grade hardware (Qwen3.5 9B). We compare eight variants of applying LLMs for sentence classification, using well-known prompting techniques, and find that a combination of Chain-of-Thought prompting and few-shot prompting with error-based examples outperforms classification models of earlier work in terms of recall and F2 score. This method also closely approaches the performance of a widely-used, cost-efficient commercial model (Gemini 2.5 Flash). In an additional analysis, we find that sentences that are predicted as deliberative contain more verbs that indicate the expression of opinions, and are more often phrased in in first-person. Above all, deliberativeness seems characterized by the presence of a combination of multiple indicators, in particular the combination of first-person words with a verb for expressing opinion.
• Abstract（参考訳）: 情報の自由(FOIA)やオランダのウー(オープン政府法)のような政府の透明性に関する法律は、市民に政府から直接文書を要求する権利を与える。 これらの文書には、個人情報や国家安全保障への脅威などの機密情報が含まれている可能性があるため、政府は公開前に機密情報を修正することができる。 我々は,大規模言語モデル (LLM) を用いたFOIA Exemption 5の熟考プロセス特権のための,自動感度分類を行うための先行研究を構築した。 しかし、サードパーティのクラウドAPIによるレビューのための文書の処理は、多くの場合、法的または政治的に不可能である。 そこで本研究では,コンシューマグレードハードウェア(Qwen3.5 9B)上に展開可能な,小型で局所的なモデルによる感度分類を行う。 文分類に LLM を適用した8つの変種を比較し、よく知られたプロンプト手法を用いて、誤りベースの例を例に、チェーン・オブ・ソート・プロンプト(Chain-of-Thought prompting)と少数ショット・プロンプト( few-shot prompting)の組み合わせが、リコールとF2スコアの点で、以前の作業の分類モデルより優れていたことを発見した。 この手法はまた、広く使われているコスト効率の高い商用モデル(Gemini 2.5 Flash)の性能に近づいた。 追加的な分析では、熟考として予測される文には、意見の表現を示す多くの動詞が含まれており、多くの場合、一人称で言い換えられる。 いずれにせよ、熟考性は複数の指標の組み合わせ、特に一対一の単語と意見を表現する動詞の組み合わせの存在によって特徴づけられる。

関連論文リスト

• CaseFacts: A Benchmark for Legal Fact-Checking and Precedent Retrieval [5.305110876082343]
  CaseFactsは、アメリカ合衆国最高裁判所の判例に対する法的主張を検証するためのベンチマークである。 データセットは、Supported、Refuted、Overruledに分類される6,294のクレームで構成されている。
  論文  参考訳（メタデータ） (2026-01-23T23:41:46Z)
• Attribution analysis of legal language as used by LLM [0.0]
  公開可能な2つの法的データセット、より単純な二項分類タスク、および保持者の司法判断を特定するためのより精巧な複数の選択タスクを使用します。 すべてのモデルがケースホールドタスクからテスト例を正しく分類しているのに対して、他の例は1つ、モデル、属性のみによってのみ識別できる。
  論文  参考訳（メタデータ） (2025-01-28T22:48:29Z)
• From Citations to Criticality: Predicting Legal Decision Influence in the Multilingual Swiss Jurisprudence [16.529070321280447]
  本稿では,ケース優先性を評価するための新たなリソースであるCriticality Predictionデータセットを紹介する。 本データセットは,(1)二段式LD-Label,(2)より粒度の細かいCitation-Label,(2)二段式LD-Label,(2)二段式LD-Labelを特徴とする。 より小型の微調整モデルと大型の言語モデルを含む複数の多言語モデルをゼロショット設定で評価する。
  論文  参考訳（メタデータ） (2024-10-17T11:43:16Z)
• DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
  判例検索のための識別モデルであるDELTAを紹介する。 我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。 本手法は, 判例検索において, 既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-03-27T10:40:14Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Leveraging Large Language Models for Topic Classification in the Domain of Public Affairs [65.9077733300329]
  大規模言語モデル (LLM) は公務員文書の分析を大幅に強化する可能性を秘めている。 LLMは、公共の分野など、ドメイン固有のドキュメントを処理するのに非常に役立ちます。
  論文  参考訳（メタデータ） (2023-06-05T13:35:01Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。