論文の概要: DeEscalWild: A Real-World Benchmark for Automated De-Escalation Training with SLMs
- arxiv url: http://arxiv.org/abs/2604.13075v1
- Date: Fri, 20 Mar 2026 23:32:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-19 19:09:11.661622
- Title: DeEscalWild: A Real-World Benchmark for Automated De-Escalation Training with SLMs
- Title（参考訳）: DeEscalWild: SLMによる自動デスケーリングトレーニングのための実世界のベンチマーク
- Authors: Md Hasebul Hasan, Krity Haque Charu, Eshwara Prasad Sridhar, Shuchisnigdha Deb, Mohammad A. Islam,
- Abstract要約: 大規模言語モデル(LLM)は動的でオープンなシミュレーションを可能にし、その計算フットプリントは没入型フィールドトレーニングでは実用的ではない。
小型言語モデル(SLM)は、実行可能なリアルタイム代替手段を提供するが、高品質でドメイン固有のトレーニングデータの欠如に悩まされている。
DeEscalWildは、オープンソースのビデオレポジトリから抽出された警察と市民の相互作用のパイプラインから算出された、新しいベンチマークデータセットである。
- 参考スコア（独自算出の注目度）: 0.07249400282852116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective de-escalation is critical for law enforcement safety and community trust, yet traditional training methods lack scalability and realism. While Large Language Models (LLMs) enable dynamic, open-ended simulations, their substantial computational footprint renders them impractical for deployment on the lightweight, portable hardware required for immersive field training. Small Language Models (SLMs) offer a viable real-time alternative but suffer from a critical scarcity of high-quality, domain-specific training data. To bridge this gap, we present DeEscalWild, a novel benchmark dataset curated from a multi-stage pipeline of in-the-wild police-civilian interactions extracted from open-source video repositories. Starting with 5,000 raw inputs, we employed a rigorous hybrid filtering process - combining human-in-the-loop verification with LLM-as-a-Judge evaluation - to distill 1,500 high-fidelity scenarios. The resulting corpus comprises 285,887 dialogue turns, totaling approximately 4.7 million tokens. Extensive experiments demonstrate that SLMs fine-tuned on this data significantly outperform their base counterparts across ROUGE-L, BLEU-4, METEOR, and BERTScore metrics. Notably, our fine-tuned Qwen 2.5 (3B-Instruct) surpasses the general-purpose Gemini 2.5 Flash model, demonstrating that domain-optimized SLMs can achieve superior performance with a fraction of the computational cost. This work establishes the foundational infrastructure for accessible, low-latency, and privacy-preserving officer training systems at the edge.
- Abstract（参考訳）: 効果的なデエスカレーションは法執行機関の安全とコミュニティの信頼にとって重要であるが、従来のトレーニング手法にはスケーラビリティとリアリズムが欠如している。
大規模言語モデル(LLM)は動的でオープンなシミュレーションを可能にするが、その相当な計算フットプリントは、没入型フィールドトレーニングに必要な軽量でポータブルなハードウェアへの展開において実用的ではない。
小型言語モデル(SLM)は、実行可能なリアルタイム代替手段を提供するが、高品質でドメイン固有のトレーニングデータの欠如に悩まされている。
このギャップを埋めるために、オープンソースのビデオレポジトリから抽出された警察と市民の相互作用の多段階パイプラインから算出された、新しいベンチマークデータセットであるDeEscalWildを提示する。
5000件の原液抽出から,LLM-as-a-Judge評価と人間のループ検証を組み合わせた厳密なハイブリッドろ過法を用いて,1500件の高忠実度シナリオを蒸留した。
結果として得られたコーパスは285,887個のダイアログからなり、合計で約470万個のトークンがある。
大規模な実験では、このデータに基づいて微調整されたSLMがROUGE-L、BLEU-4、METEOR、BERTScoreの計測値よりも大幅に優れていた。
特に,我々の微調整Qwen 2.5 (3B-Instruct) は汎用的な Gemini 2.5 Flash モデルを超え,ドメイン最適化SLM が計算コストのごく一部で優れた性能を発揮することを示す。
この作業は、エッジにおけるアクセス性、低レイテンシ、プライバシ保護のオフィサートレーニングシステムのための基盤基盤を確立する。
関連論文リスト
- A Lightweight Defense Mechanism against Next Generation of Phishing Emails using Distilled Attention-Augmented BiLSTM [34.0814379994364]
MobileBERTの教師は、BiLSTMモデルに変形する前に微調整を受け、多面的な注意を払っている。
このシステムは、コンパクトなサイズを維持しながら、精度とレイテンシの点で優れた性能を示す。
本稿では,高交通条件下でのシステム性能とプライバシ保護のためのセキュリティ対策,運用展開のための実装方法について検討する。
論文 参考訳（メタデータ） (2026-02-24T20:06:45Z) - Language-based Trial and Error Falls Behind in the Era of Experience [50.503828360874536]
大きな言語モデル(LLM)は、言語ベースのエージェントタスクでは優れているが、見つからない非言語環境への適用性は依然として限られている。
本研究では,探索の禁止コストが主なボトルネックであることを示す。
セマンティック・エクスプロイトから探索を分離する新しいフレームワークであるSCOUTを提案する。
論文 参考訳（メタデータ） (2026-01-29T14:08:41Z) - Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。
オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。
オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
論文 参考訳（メタデータ） (2025-09-01T10:04:20Z) - Pentest-R1: Towards Autonomous Penetration Testing Reasoning Optimized via Two-Stage Reinforcement Learning [12.155067662797281]
Pentest-R1は、侵入テストタスクの推論機能を最適化するために設計されたフレームワークである。
環境フィードバックから直接学習し、堅牢なエラー自己補正と適応戦略を開発する。
AutoPenBenchでは、Pentest-R1は24.2%の成功率に達し、ほとんどの最先端モデルを上回っている。
論文 参考訳（メタデータ） (2025-08-10T15:14:05Z) - Filter-And-Refine: A MLLM Based Cascade System for Industrial-Scale Video Content Moderation [21.18948097612397]
本稿では,ジェネレーティブMLLMを最小識別学習データを用いたマルチモーダル分類器に変換する効率的な手法を提案する。
そこで我々は,MLLMと軽量ルータモデルを統合するルータレベルのカスケードシステムを提案する。
オンライン評価では,本システムでは自動コンテンツモデレーション量を41%増加させ,カスケード展開では計算コストを1.5%に削減した。
論文 参考訳（メタデータ） (2025-07-23T04:52:58Z) - SHA256 at SemEval-2025 Task 4: Selective Amnesia -- Constrained Unlearning for Large Language Models via Knowledge Isolation [12.838593066237452]
大規模言語モデル(LLM)は、トレーニング中に頻繁にセンシティブな情報を記憶し、公開可能なモデルをデプロイする際にリスクを生じさせる。
本稿では, 因果媒介分析と層固有の最適化を組み合わせた, 対象未学習におけるSemEval-2025タスク4の解を提案する。
論文 参考訳（メタデータ） (2025-04-17T15:05:40Z) - Synthesizing Post-Training Data for LLMs through Multi-Agent Simulation [51.20656279478878]
MATRIXは、様々なテキストベースのシナリオを自動的に生成するマルチエージェントシミュレータである。
制御可能でリアルなデータ合成のためのMATRIX-Genを紹介する。
AlpacaEval 2 と Arena-Hard のベンチマークでは、Llama-3-8B-Base が、MATRIX-Gen によって合成されたデータセット上で、たった 20K の命令応答ペアで、Meta の Llama-3-8B-Instruct モデルより優れています。
論文 参考訳（メタデータ） (2024-10-18T08:01:39Z) - InternLM2 Technical Report [159.70692271378581]
本稿では,オープンソースのLarge Language Models (LLM) であるInternLM2を紹介する。
InternLM2の事前トレーニングプロセスは細部まで詳細に書かれており、多様なデータ型の準備が強調されている。
InternLM2は、4kトークンでトレーニングされた長期的依存関係を効率的にキャプチャし、事前トレーニングおよび微調整の段階で32kトークンに進む。
論文 参考訳（メタデータ） (2024-03-26T00:53:24Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳（メタデータ） (2024-02-26T18:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。