論文の概要: Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
- arxiv url: http://arxiv.org/abs/2609.27376v1
- Date: Wed, 23 Sep 2026 05:26:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.897832
- Title: Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
- Title(参考訳): ベトナム労働法における言語横断的法QA--検索・翻訳・検証ガイドによる補正
- Abstract要約: 言語横断の法的問合せは、禁止された法的主張を阻止しながら、言語横断の法令を回収しなければならない。
ベトナムの労働法から回答を得たベトナム語231組のバイリンガル評価スイートについて紹介する。
我々は,検証者誘導パイプラインの評価を行い,回答をクレームに分解し,引用到達可能性とエンテーメントを確認し,引用失敗と矛盾を補正する。
- 参考スコア(独自算出の注目度): 2.8627363902677083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-lingual legal question answering must retrieve statutes across languages while preventing unsupported legal claims. We introduce a bilingual evaluation suite of 231 Vietnamese--English question--answer pairs from Vietnamese labour law. Of these, 75 are additionally annotated for five challenging legal reasoning phenomena. We evaluate a verifier-guided pipeline that decomposes answers into claims, checks citation reachability and entailment, and corrects citation failures and contradictions. We also introduce six automatic diagnostics for faithfulness to retrieved evidence, covering citations, modality, exceptions, procedures, conclusions, and evidential support. Experiments show that learned-sparse retrieval performs poorly for English-to-Vietnamese retrieval (R@5~=~0.032), whereas dense retrieval reaches 0.358 and slightly outperforms hybrid retrieval. Translation placement has no statistically detectable effect on these automatic diagnostics in our controlled comparison and supporting sensitivity analyses. Verifier-guided correction improves citation preservation by $0.022$--$0.034$ at the system level but produces no reliable gains in the remaining dimensions. Human evaluation further shows that the automatic diagnostics do not fully align with human judgements of answer quality.
- Abstract(参考訳): 言語横断の法的問合せは、禁止された法的主張を阻止しながら、言語横断の法令を回収しなければならない。
ベトナム労働法に基づき, ベトナム語231問のバイリンガル評価スイートを紹介した。
そのうち75は、5つの挑戦的な法的理由づけ現象のために注釈付けされている。
我々は,検証者誘導パイプラインの評価を行い,回答をクレームに分解し,引用到達可能性とエンテーメントを確認し,引用失敗と矛盾を補正する。
また, 証拠の回収, 引用, モダリティ, 例外, 手続き, 結論, 明確支援の6つの自動診断も導入した。
R@5~=~0.032) では学習領域の検索が不十分であり, 密度の高い検索は0.358に達し, ハイブリッド検索ではわずかに優れていた。
翻訳の配置は,これらの自動診断に統計的に影響せず,感度解析もサポートしている。
検証者誘導補正は、システムレベルで0.022$--0.034$の引用保存を改善するが、残りの次元において信頼性のある利得は得られない。
さらに人的評価は、自動診断が回答品質の人的判断と完全に一致していないことを示している。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳(メタデータ) (2026-09-10T08:34:56Z) - EviSI: An Evidence-Based Evaluation Agent for Simultaneous Interpreting [15.392286631815763]
EviSIは多次元品質指標(MQM)とプロのインタプリタで開発された基準を組み合わせた大規模言語モデル評価エージェントである。
EviSIは、人格の英語から中国語、中国語、英語のデータに対して、総合的な英語から中国語の人格のランキングを復元する。
人間の評価のない5方向への多言語拡張は、次元とスコアリングルールを保持し、COMETとの正のシステムランキング相関を示す。
論文 参考訳(メタデータ) (2026-09-08T03:00:11Z) - Beyond Monolingual Deep Research: Evaluating Agents and Retrievers with Cross-Lingual BrowseComp-Plus [35.39357302837359]
XBCP (Cross-lingual BrowseComp-Plus) は、BrowseComp-Plusの英語の問合せ空間を保存するが、支援文書の言語は異なる制御されたベンチマークである。
XBCPは2つの補完的な設定をインスタンス化します。
我々は,スパースと高密度多言語検索を用いて,回答精度,エビデンスリコール,探索行動,キャリブレーション,引用忠実度,オラクル検索の4つのディープリサーチエージェントを評価した。
論文 参考訳(メタデータ) (2026-06-13T15:11:52Z) - The 17% Gap: Quantifying Epistemic Decay in AI-Assisted Survey Papers [0.0]
『廃紙』は既知の人工物であるが、有効な引用鎖の系統的な劣化はいまだに不明である。
我々は,2024年9月から2026年1月までに発行された人工知能に関する50の最近の調査論文の法医学的な監査を行った。
我々は、攻撃的な法医学的回復にもかかわらず、いかなるデジタルオブジェクトにも解決できない、永続的な17.0%のファントムレートを検出する。
論文 参考訳(メタデータ) (2026-01-24T12:00:55Z) - Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。
我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
論文 参考訳(メタデータ) (2025-04-10T09:24:54Z) - Improving Vietnamese Legal Question--Answering System based on Automatic
Data Enrichment [2.56085064991751]
本稿では,ベトナム語記事レベルの検索に基づく法的QAシステムを実装することで,これらの制限を克服しようとしている。
我々の仮説は、ラベル付きデータが制限された状況では、効率的なデータ豊かさが全体的なパフォーマンス向上に役立つというものである。
論文 参考訳(メタデータ) (2023-06-08T00:24:29Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z) - Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。
これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。
我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
論文 参考訳(メタデータ) (2020-03-05T16:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。