論文の概要: From Automation to Collaboration: Human-in-the-Loop Methods for Safe and Trustworthy NLP

• arxiv url: http://arxiv.org/abs/2605.25226v1
• Date: Sun, 24 May 2026 19:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.031624
• Title: From Automation to Collaboration: Human-in-the-Loop Methods for Safe and Trustworthy NLP
• Title（参考訳）: 自動化からコラボレーションへ - 安全で信頼できるNLPのための人材育成手法
• Authors: Most. Sharmin Sultana Samu, MD. Tanvir Ahmed Seum, Md. Rakibul Islam,
• Abstract要約: 大規模言語モデルは、ハイテイクなNLPタスクに広くデプロイされているが、バイアス、幻覚、敵対的脆弱性、信頼できない一般化といったリスクが残っている。 本研究では,NLPを自動化から安全性とロバスト性のためのコラボレーションへ移行する最近のヒューマン・イン・ザ・ループ手法について検討する。
• 参考スコア（独自算出の注目度）: 0.28675177318965045
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models are widely deployed in high-stakes NLP tasks, yet risks such as bias, hallucination, adversarial vulnerability and unreliable generalization remain. Probe-based auditing reveals inconsistencies in model behavior. Adversarial text generation uncovers robustness gaps, especially in lower-resourced languages with limited benchmarks. Enterprise text-to-SQL settings expose the difficulty of validating outputs over private and large-scale databases. Human supervision is essential for probe validation, adversarial verification and domain-specific annotation, but it is costly and hard to scale. This survey examines recent human-in-the-loop methods that shift NLP from automation toward collaboration for safety and trustworthiness. We review how human expertise supports auditing, robustness evaluation, data construction and model steering. Our findings highlight gaps in scalable probing, sustainable robustness benchmarks, low-resource settings and governance of private systems. We outline practical research directions for adaptive auditing, collaborative evaluation and accountable deployment.
• Abstract（参考訳）: 大規模言語モデルは、ハイテイクなNLPタスクに広くデプロイされているが、バイアス、幻覚、敵対的脆弱性、信頼できない一般化などのリスクは残っている。 プローブに基づく監査は、モデル行動の不整合を明らかにする。 敵対的テキスト生成は、特に限られたベンチマークを持つ低リソース言語において、堅牢性ギャップを明らかにする。 エンタープライズテキストからSQLへの設定は、プライベートおよび大規模データベース上で出力を検証することの難しさを露呈する。 人間の監督は、プローブ検証、逆検証、ドメイン固有のアノテーションに欠かせないが、費用がかかりスケールが困難である。 本調査では,NLPを自動化から安全性と信頼性のためのコラボレーションへ移行する,最近のヒューマン・イン・ザ・ループ手法について検討する。 人間の専門知識が監査,堅牢性評価,データ構築,モデルステアリングをどのように支援しているかを概観する。 我々の発見は、スケーラブルな探索、持続的な堅牢性ベンチマーク、低リソース設定、プライベートシステムのガバナンスのギャップを浮き彫りにしている。 本稿では,適応監査,協調評価,説明可能な展開のための実践的研究の方向性について概説する。

関連論文リスト

• CompliBench: Benchmarking LLM Judges for Compliance Violation Detection in Dialogue Systems [19.083967725767387]
  CompliBenchは、マルチターン対話におけるガイドライン違反の検出とローカライズを行うLLM審査員の能力を評価するために設計された新しいベンチマークである。 ユーザとエージェントのインタラクションをシミュレートするスケーラブルで自動化されたデータ生成パイプラインを開発した。 我々の制御可能な欠陥注入プロセスは、自動的に、違反したガイドラインと正確な会話ターンの正確な接地木ラベルを出力する。
  論文  参考訳（メタデータ） (2026-04-14T05:42:41Z)
• Distilling Human-Aligned Privacy Sensitivity Assessment from Large Language Models [7.9049991577473735]
  近年の研究では、大きな言語モデル(LLM)が信頼性の高いプライバシ評価として機能し、人間の判断と強く一致していることが示されている。 我々は、Mistral Large 3 (675B) のプライバシー評価能力を、1億5000万のパラメータしか持たない軽量エンコーダモデルに蒸留することで、このギャップに対処する。
  論文  参考訳（メタデータ） (2026-03-31T09:40:58Z)
• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• Qualitative Coding Analysis through Open-Source Large Language Models: A User Study and Design Recommendations [0.037282630026096594]
  ChatQDAは、プライバシを保存するオープンコーディングのためのオープンソースのLLMをベースとしたオンデバイスフレームワークである。 我々の混合手法のユーザスタディは、参加者がシステムのユーザビリティと知覚効率を高く評価していることを示している。 検証可能なプライバシと方法論の厳密性を優先するローカルファースト分析ツールの設計勧告を締めくくる。
  論文  参考訳（メタデータ） (2026-02-20T17:04:02Z)
• Confidence Estimation for LLMs in Multi-turn Interactions [48.081802290688394]
  この研究は、マルチターン相互作用における信頼度推定に関する最初の体系的研究である。 そこで我々は,2つの主要なデシラタに基礎を置く形式的評価枠組みを構築した。 我々の研究は、より信頼性が高く信頼性の高い会話エージェントを開発するための基礎的な方法論を提供する。
  論文  参考訳（メタデータ） (2026-01-05T14:58:04Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge [1.1666234644810893]
  小さなモデルは安全性においてより大きなモデルよりも優れており、トレーニングとアーキテクチャがスケール以上の意味を持つ可能性があることを示唆している。 低リソース言語を使ったジェイルブレイク攻撃や拒否抑制が効果的であるなど、敵の誘惑に対して完全に堅牢なモデルはない。
  論文  参考訳（メタデータ） (2025-04-10T16:00:59Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。