論文の概要: Optimizing Legal Document Retrieval in Vietnamese with Semi-Hard Negative Mining
- arxiv url: http://arxiv.org/abs/2507.14619v1
- Date: Sat, 19 Jul 2025 13:30:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:31.971888
- Title: Optimizing Legal Document Retrieval in Vietnamese with Semi-Hard Negative Mining
- Title(参考訳): 半ハード負のマイニングによるベトナムにおける法的文書検索の最適化
- Authors: Van-Hoang Le, Duc-Vu Nguyen, Kiet Van Nguyen, Ngan Luu-Thuy Nguyen,
- Abstract要約: 本稿では,法的文書検索の効率と精度を高めるために,検索と再ランクからなる2段階の枠組みを提案する。
鍵となるイノベーションは、検索の有効性を評価するExist@mメトリックの導入と、トレーニングバイアスを軽減するためのセミハードネガティブの使用である。
このフレームワークは、最適化されたデータ処理、調整された損失関数、バランスの取れた負のサンプリングが、法的な文脈で堅牢な検索強化システムを構築する上で重要であることを示す。
- 参考スコア(独自算出の注目度): 4.233176571117095
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) face significant challenges in specialized domains like law, where precision and domain-specific knowledge are critical. This paper presents a streamlined two-stage framework consisting of Retrieval and Re-ranking to enhance legal document retrieval efficiency and accuracy. Our approach employs a fine-tuned Bi-Encoder for rapid candidate retrieval, followed by a Cross-Encoder for precise re-ranking, both optimized through strategic negative example mining. Key innovations include the introduction of the Exist@m metric to evaluate retrieval effectiveness and the use of semi-hard negatives to mitigate training bias, which significantly improved re-ranking performance. Evaluated on the SoICT Hackathon 2024 for Legal Document Retrieval, our team, 4Huiter, achieved a top-three position. While top-performing teams employed ensemble models and iterative self-training on large bge-m3 architectures, our lightweight, single-pass approach offered a competitive alternative with far fewer parameters. The framework demonstrates that optimized data processing, tailored loss functions, and balanced negative sampling are pivotal for building robust retrieval-augmented systems in legal contexts.
- Abstract(参考訳): 大規模言語モデル(LLM)は、精度とドメイン固有の知識が不可欠である法律のような専門分野において、重大な課題に直面します。
本稿では,法定文書検索の効率と精度を高めるために,検索と再ランクからなる2段階の合理化フレームワークを提案する。
提案手法では,高速な候補探索のために微調整のBiエンコーダを使用し,その後,戦略的負のサンプルマイニングによって最適化された正確な再ランク付けを行うクロスエンコーダを用いる。
主なイノベーションは、検索の有効性を評価するためのExist@mメトリックの導入と、トレーニングバイアスを軽減するための半ハードなネガティブの使用である。
SoICT Hackathon 2024 for Legal Document Retrievalで評価され、私たちのチームである4Huiterはトップ3の地位を獲得しました。
トップパフォーマンスチームは大規模なbge-m3アーキテクチャでアンサンブルモデルと反復的な自己学習を採用しましたが、軽量でシングルパスのアプローチは、はるかに少ないパラメータで競合する代替手段を提供しました。
このフレームワークは、最適化されたデータ処理、調整された損失関数、バランスの取れた負のサンプリングが、法的な文脈で堅牢な検索強化システムを構築する上で重要であることを示す。
関連論文リスト
- Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである
我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文 参考訳(メタデータ) (2025-06-17T17:12:34Z) - Learning Binarized Representations with Pseudo-positive Sample Enhancement for Efficient Graph Collaborative Filtering [35.82405808653398]
効率的な協調フィルタリングのためのグラフ表現バイナライゼーションの問題について検討する。
その結果, バイナライゼーションの様々な段階における情報損失の低減は, 性能に有意な影響を及ぼすことが示唆された。
前者のBiGeaRと比較して、BiGeaR++は微細な推論蒸留機構と効果的な埋め込みサンプル合成手法を導入している。
論文 参考訳(メタデータ) (2025-06-03T11:11:43Z) - KARE-RAG: Knowledge-Aware Refinement and Enhancement for RAG [63.82127103851471]
Retrieval-Augmented Generation (RAG)は、大規模言語モデルがより広範な知識ソースにアクセスすることを可能にする。
ノイズの多いコンテンツを処理するために生成モデルの能力を向上させることは、ロバストなパフォーマンスに等しく重要であることを実証する。
本稿では,3つの重要なイノベーションを通じて知識利用を改善するKARE-RAGを提案する。
論文 参考訳(メタデータ) (2025-06-03T06:31:17Z) - Breaking the Lens of the Telescope: Online Relevance Estimation over Large Retrieval Sets [14.494301139974455]
本稿では,オンライン関連度推定という新たな手法を提案する。
オンライン関連度推定は、ランキングプロセスを通して、クエリの関連度推定を継続的に更新する。
TRECベンチマークの手法をハイブリッド検索と適応検索の2つのシナリオで検証する。
論文 参考訳(メタデータ) (2025-04-12T22:05:50Z) - Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval [49.669503570350166]
生成情報検索(GenIR)は、文書識別子(ドシデント)生成タスクとして文書検索を定式化する有望なニューラル検索パラダイムである。
既存のGenIRモデルはトークンレベルのミスアライメントに悩まされており、次のトークンを予測するためにトレーニングされたモデルは、ドキュメントレベルの関連性を効果的にキャプチャできないことが多い。
本稿では,トークンレベルのドシデント生成と文書レベルのドシデンス推定をペアのランク付けによる直接最適化により整合するダイレクトドキュメントレバレンス最適化(DDRO)を提案する。
論文 参考訳(メタデータ) (2025-04-07T15:27:37Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳(メタデータ) (2025-04-02T17:40:47Z) - The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。
本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。
我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
論文 参考訳(メタデータ) (2025-01-20T06:35:01Z) - JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。
我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。
さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文 参考訳(メタデータ) (2024-10-31T18:43:12Z) - Enhancing Retrieval Performance: An Ensemble Approach For Hard Negative Mining [0.0]
本研究は,クロスエンコーダモデルのトレーニングプロセスにおいて,ハードネガティブが果たす重要な役割を説明することに焦点を当てる。
我々は,企業データセット上でのクロスエンコーダ・リランクモデルの効率的なトレーニングのための強硬な負のマイニング手法を開発した。
論文 参考訳(メタデータ) (2024-10-18T05:23:39Z) - A Reproducibility Study of PLAID [25.86500025007641]
我々はPLAIDと論文から欠落した重要なベースラインを比較した。
ColBERTv2 を BM25 の初期プール上に再ランカとして適用することにより,低レイテンシ環境での効率効率・効率性トレードオフが向上することがわかった。
この制限を克服するために、最近提案された上位文書の隣人を引き出すように、再ランク付けする修正が提案されていることが分かりました。
論文 参考訳(メタデータ) (2024-04-23T12:46:53Z) - Building an Efficient and Effective Retrieval-based Dialogue System via
Mutual Learning [27.04857039060308]
検索システムを構築するために,両世界の長所を組み合わせることを提案する。
従来の機能ベースの事前検索モデルを置き換えるために、高速なバイエンコーダを使用します。
我々は、相互学習を通じて、事前検索モデルと再評価モデルとを同時に訓練する。
論文 参考訳(メタデータ) (2021-10-01T01:32:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。