論文の概要: Robust Explanations for User Trust in Enterprise NLP Systems

• arxiv url: http://arxiv.org/abs/2604.12069v1
• Date: Mon, 13 Apr 2026 21:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.128292
• Title: Robust Explanations for User Trust in Enterprise NLP Systems
• Title（参考訳）: エンタープライズNLPシステムにおけるユーザ信頼のためのロバストな説明
• Abstract要約: トークンレベル説明のための一貫したブラックボックスロバストネス評価フレームワークを提案する。 エンコーダとデコーダファミリにまたがる3つのベンチマークデータセットと6つのモデルに対して,系統的なクロスアーキテクチャ比較を行う。 我々はデコーダのLCMがエンコーダのベースラインよりもかなり安定な説明を生成することを発見した。
• 参考スコア（独自算出の注目度）: 7.6611265083531075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust explanations are increasingly required for user trust in enterprise NLP, yet pre-deployment validation is difficult in the common case of black-box deployment (API-only access) where representation-based explainers are infeasible and existing studies provide limited guidance on whether explanations remain stable under real user noise, especially when organizations migrate from encoder classifiers to decoder LLMs. To close this gap, we propose a unified black-box robustness evaluation framework for token-level explanations based on leave-one-out occlusion, and operationalize explanation robustness with top-token flip rate under realistic perturbations (swap, deletion, shuffling, and back-translation) at multiple severity levels. Using this protocol, we conduct a systematic cross-architecture comparison across three benchmark datasets and six models spanning encoder and decoder families (BERT, RoBERTa, Qwen 7B/14B, Llama 8B/70B; 64,800 cases). We find that decoder LLMs produce substantially more stable explanations than encoder baselines (73% lower flip rates on average), and that stability improves with model scale (44% gain from 7B to 70B). Finally, we relate robustness improvements to inference cost, yielding a practical cost-robustness tradeoff curve that supports model and explanation selection prior to deployment in compliance-sensitive applications.
• Abstract（参考訳）: エンタープライズNLPにおけるユーザ信頼のためにはロバストな説明がますます求められているが、表現ベースの説明者が現実のユーザノイズの下で説明が安定しているかどうか、特にエンコーダ分類器からデコーダLCMへ移行する場合に制限されたガイダンスを提供するブラックボックス配置(APIのみアクセス)の一般的な場合、事前デプロイの検証は困難である。 このギャップを埋めるため,複数重度の現実的摂動(スワップ,削除,シャッフル,バックトランスレーション)の下で,トークンレベルの説明を一貫したブラックボックス・ロバストネス評価フレームワークを提案し,かつ,トップトーケンフリップ率による説明ロバストネスを運用する。 このプロトコルを用いて,エンコーダファミリーとデコーダファミリー(BERT,RoBERTa,Qwen 7B/14B,Llama 8B/70B; 64,800ケース)にまたがる3つのベンチマークデータセットと6つのモデルに対して,系統的なクロスアーキテクチャ比較を行う。 その結果,デコーダLLMはエンコーダベースライン(平均73%のフリップレート)よりもかなり安定な説明が得られ,モデルスケール(7Bから70Bへの44%のゲイン)で安定性が向上することがわかった。 最後に、ロバスト性の改善と推論コストを関連付け、コンプライアンスに敏感なアプリケーションにデプロイする前にモデルと説明の選択をサポートする実用的なコストロス性トレードオフ曲線を得る。

関連論文リスト

• Do Uncertainty Signals Help? A Systematic Study of Uncertainty-Aware Decoding with Rollback Mechanisms [21.868021164923515]
  本研究では、不確実性信号を用いて信頼できない生成領域を識別し、モデルを再訓練することなく、以前の有効なプレフィックスにロールバックする推論時戦略について検討する。 評価結果から,ロールバックフレームワークは評価ベンチマークとモデル設定において,等予算の再起動よりも改善されていることがわかった。
  論文  参考訳（メタデータ） (2026-07-31T05:26:42Z)
• Mitigating LLM Sycophancy in Code Smell Detection Using Evidence-Guided Reasoning Prompts [0.0]
  大規模言語モデルにおける梅毒のバイアスに関する最初の体系的実証的研究について述べる。 LLMに基づくコードの臭い検出の信頼性に、梅毒のバイアスが重大な脅威となることを示す。 我々は,エビデンス優先の推論を強制する構造化促進戦略であるEvidence-Guided Debiasing Prompting (EGDP)を提案する。
  論文  参考訳（メタデータ） (2026-07-11T17:35:25Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
  現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。 我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。 本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-03-10T14:16:43Z)
• LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding [67.61563011564388]
  投機的復号化は自己回帰型大言語モデル(LLM)推論を加速させる。 標準トレーニングは、プロキシ目的としてKullback-Leibler(KL)の発散を最小限にする。 受入率を直接目標とする特別な訓練目標であるLK損失を提案する。
  論文  参考訳（メタデータ） (2026-02-27T10:20:11Z)
• RobustExplain: Evaluating Robustness of LLM-Based Explanation Agents for Recommendation [8.70920344844399]
  大規模言語モデル(LLM)は、リコメンデータシステムで自然言語の説明を生成するために、ますます使われている。 現実世界のWebプラットフォームでは、インタラクション履歴は、偶然のクリック、時間的不整合、値の欠如、進化する好みのために本質的にノイズが多い。 本稿では,LLM生成レコメンデーションのロバスト性を評価するための,最初の体系的評価フレームワークであるRobustExplainを紹介する。
  論文  参考訳（メタデータ） (2026-01-27T02:45:48Z)
• Leveraging KV Similarity for Online Structured Pruning in LLMs [7.067238287331514]
  プルーニングは、大規模言語モデル(LLM)推論を加速するための有望な方向として現れている。 我々は、キャリブレーションデータなしで推論中にプルーニング決定を直接行う軽量なオンライン構造化プルーニング技術であるToken Filteringを紹介した。 LLaMA-2 (7B/13B)、LLaMA-3 (8B)、Mistral (7B) の試験では、Token Filtering が以前の構造化プルーニング法より一貫して優れていたことが示されている。
  論文  参考訳（メタデータ） (2025-12-08T01:56:27Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Reliability-Adaptive Consistency Regularization for Weakly-Supervised Point Cloud Segmentation [80.07161039753043]
  極端に限られたラベルを持つ弱教師付きポイントクラウドセグメンテーションは、高額な注釈付き3Dポイントの収集コストを軽減するのが望ましい。 本稿では、弱教師付き学習において一般的に用いられる一貫性の正則化を、複数のデータ固有の拡張を伴うポイントクラウドに適用することを検討する。 疑似ラベルの信頼性を評価するために,予測信頼性とモデル不確実性を両立させる新しい信頼性適応整合ネットワーク(RAC-Net)を提案する。
  論文  参考訳（メタデータ） (2023-03-09T10:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。