論文の概要: ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law
- arxiv url: http://arxiv.org/abs/2605.30589v1
- Date: Thu, 28 May 2026 21:36:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.246087
- Title: ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law
- Title（参考訳）: ImmigrationQA:米国移民法におけるソース・グラウンド・データセットと小型モデル適応
- Authors: Nazarii Shportun,
- Abstract要約: 本稿では、17,058対の質問応答データセットであるImmigrationQAの構築について述べる。
コーパスは11の一次および二次のソースから組み立てられた。
微調整モデルを993対の保留分割に対して評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: U.S. immigration law spans thousands of pages of official policy, federal regulations, and procedural guidance that change frequently and carry high stakes for petitioners who lack legal representation. We describe the construction of ImmigrationQA, a source-grounded question-answering dataset of 17,058 pairs across 13 immigration subdomains, and the fine-tuning of a Llama 3.2 3B Instruct model on that dataset using parameter-efficient LoRA. The corpus was assembled from 11 primary and secondary sources -- including the USCIS Policy Manual, 8 CFR, BIA precedent decisions, and community Q&A -- yielding 10,056 validated canonical documents and 18,308 text chunks. Structured QA pairs were generated from these chunks using Claude Sonnet 4.6 via five mode-specific prompts, with 22 pairs rejected for insufficient source-span overlap. The fine-tuned model was evaluated against a held-out split of 993 pairs using LLM-as-judge scoring on a 101-example stratified sample. The fine-tuned model scored a mean of 1.08/3.0 (16.8% fully correct; 101-example stratified eval) versus the Llama 3 8B base model at 0.85/3.0 (4% fully correct), a relative improvement of 27% in mean score; a zero-shot Claude Sonnet baseline scored 1.52/3.0 (25% fully correct). The fine-tuned model shows concentrated improvement in procedural subdomains (travel documents, adjustment of status, nonimmigrant visas) while remaining weak on complex legal reasoning and time-sensitive statistics. The full pipeline ran for approximately $29 in cloud compute. All artifacts -- dataset, model, code, and prompt templates -- are publicly released. The system is not a substitute for legal counsel and does not reflect regulatory changes after the corpus crawl date.
- Abstract（参考訳）: アメリカ合衆国移民法は、公的な政策、連邦政府の規制、手続き的ガイダンスの数千ページにまたがっており、頻繁に変化し、法的な代表性に欠ける請願者に対して高い利害関係を担っている。
ImmigrationQAは13の移民サブドメインにまたがる17,058組の質問応答データセットであり、パラメータ効率のLoRAを用いて、そのデータセット上のLlama 3.2 3Bインストラクションモデルの微調整を行う。
コーパスは、USCISポリシーマニュアル、8 CFR、BIAの前例決定、およびコミュニティQ&Aを含む11のプライマリおよびセカンダリソースから集められ、10,056の標準文書と18,308のテキストチャンクが得られた。
構成されたQAペアは、クロード・ソネット4.6で5つのモード固有のプロンプトによって生成され、22ペアはソースとスパンのオーバーラップが不十分であったため拒否された。
LLM-as-judge score on a 101-example Stratified sample。
微調整されたモデルは平均1.08/3.0(16.8%)、ラマ38Bベースモデルは0.85/3.0(4%)、相対的な平均スコアは27%、ゼロショットのクロード・ソネットベースラインは1.22/3.0(25%)であった。
微調整モデルでは、手続き的なサブドメイン(トラベル文書、ステータス調整、非移民ビザ)を高度に改善する一方で、複雑な法的推論や時間依存統計に弱いままである。
完全なパイプラインは、約29ドルのクラウドコンピューティングで実行された。
データセット、モデル、コード、プロンプトテンプレートなど、すべてのアーティファクトが公開されている。
制度は法律顧問の代行ではなく、コーパスのクロール日以降の規制変更を反映していない。
関連論文リスト
- Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。
RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
論文 参考訳（メタデータ） (2026-05-28T10:38:38Z) - UA-Legal-Bench: A Benchmark for Evaluating Large Language Models on Ukrainian Legal Reasoning [0.0]
UA-Legal-Benchは、ウクライナの法的な推論に基づいて大きな言語モデルを評価するための5タスクのベンチマークである。
私たちは、ゼロショットと3ショットのプロンプトで5つのファミリーから11のLSMを評価し、158KのAPIコールでAWS Bedrock経由で実行します。
この結果より, 課題依存性の少ない小ショット効果は, 判定形態の分類を+38.6ppまで改善するが, 結果予測には混合効果があることがわかった。
論文 参考訳（メタデータ） (2026-05-27T23:12:20Z) - RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts [0.0]
厳格な拒絶率は、同じプロンプトで0.1%から94.6%である。
18のフロンティアモデルのうち9つは、バイナリーリフェールメトリクスが検出できないデュアルユース層で、ヘッジ・ブット・ヘルプ部分コンプライアンスパターンを示す。
論文 参考訳（メタデータ） (2026-05-20T09:53:31Z) - Automatic Construction of a Legal Citation Graph from 100 Million Ukrainian Court Decisions: Large-Scale Extraction, Topological Analysis, and Ontology-Driven Clustering [0.0]
ウクライナの裁判所決定から抽出された1070万件の訴訟の端は、司法の引用構造が監督なしで法域の境界をコードしていることを示している。
完全SRレジストリから最初の大規模引用グラフ(9950万全文、1.1TB)を構築する。
論文 参考訳（メタデータ） (2026-05-14T19:42:20Z) - Frontier Lag: A Bibliometric Audit of Capability Misrepresentation in Academic AI Evaluation [0.0]
テストモデルとEpoch AI能力指数の同時フロンティアを比較した。
これらの回答のギャップは、+5.53 ECI/年で拡大している。
提案されている改善には、APIアクセス助成金と報告フレームワークの編集執行が含まれる。
論文 参考訳（メタデータ） (2026-05-05T17:58:35Z) - LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification [0.0]
ブラジルの法律テキスト分類における言語モデル評価のための最初の公開ベンチマークであるLegalBench-BRを紹介する。
データセットは、サンタカタリーナ州裁判所(TJSC)による3,105の手続きからなる。
クラスバランステストセットでは、BERTimbau-LoRAは87.6%の精度と0.87のマクロF1を達成する(Claude 3.5 Haikuより+22pp、GPT-4o miniより+28pp)。
論文 参考訳（メタデータ） (2026-04-20T22:00:02Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z) - Relative Scaling Laws for LLMs [91.73497548097775]
スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。
相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。
これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
論文 参考訳（メタデータ） (2025-10-28T16:55:22Z) - SPG: Sandwiched Policy Gradient for Masked Diffusion Language Models [43.729576865473625]
サンドウィッチ政策グラディエント(SPG)
実験の結果,SPGはELBOやワンステップ推定に基づいてベースラインを著しく上回ることがわかった。
具体的には、GSM8Kの3.6%、MATH500の2.6%、カウントダウンの18.4%、スドクの27.0%で、dLLMの最先端RL法よりも精度が向上する。
論文 参考訳（メタデータ） (2025-10-10T16:52:25Z) - An Embarrassingly Simple Defense Against LLM Abliteration Attacks [47.347413305965006]
失語症と呼ばれる最近の攻撃は、拒否行動に最も責任がある唯一の潜伏方向を特定し、抑制する。
本稿では、モデルが拒否を表現する方法を根本的に変える防衛法を提案する。
微調整のLlama-2-7B-ChatとQwen2.5-Instructは、消音下で高い断熱率を維持するモデルを生成する。
論文 参考訳（メタデータ） (2025-05-25T09:18:24Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。