Fugu-MT 論文翻訳(概要): Contextual Breach: Assessing the Robustness of Transformer-based QA Models

論文の概要: Contextual Breach: Assessing the Robustness of Transformer-based QA Models

arxiv url: http://arxiv.org/abs/2409.10997v2
Date: Wed, 18 Sep 2024 16:21:55 GMT
ステータス: 翻訳完了
システム内更新日: 2024-09-19 12:19:06.750834
Title: Contextual Breach: Assessing the Robustness of Transformer-based QA Models
Title（参考訳）: コンテキストリーチ:トランスフォーマーベースのQAモデルのロバスト性を評価する
Authors: Asir Saadat, Nahian Ibn Asad, Md Farhan Ishmam,
Abstract要約: 文脈問合せモデルは、入力コンテキストに対する逆の摂動に影響を受けやすい。異なる7種類の対立雑音を文脈に組み込んだユニークなデータセットを導入する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Contextual question-answering models are susceptible to adversarial perturbations to input context, commonly observed in real-world scenarios. These adversarial noises are designed to degrade the performance of the model by distorting the textual input. We introduce a unique dataset that incorporates seven distinct types of adversarial noise into the context, each applied at five different intensity levels on the SQuAD dataset. To quantify the robustness, we utilize robustness metrics providing a standardized measure for assessing model performance across varying noise types and levels. Experiments on transformer-based question-answering models reveal robustness vulnerabilities and important insights into the model's performance in realistic textual input.
Abstract（参考訳）: 文脈問合せモデルは、現実のシナリオでよく見られる、入力コンテキストに対する敵の摂動に影響を受けやすい。これらの逆方向ノイズは、テキスト入力を歪ませることで、モデルの性能を劣化させるように設計されている。我々は,SQuADデータセット上の5つの異なる強度レベルをそれぞれ適用し,異なる7種類の逆方向ノイズを文脈に組み込んだユニークなデータセットを提案する。このロバスト性を定量化するために、様々なノイズタイプやレベルにわたってモデル性能を評価するための標準化された尺度を提供するロバストネス指標を利用する。トランスフォーマーに基づく質問応答モデルの実験は、現実的なテキスト入力におけるモデルの性能に関する堅牢性脆弱性と重要な洞察を明らかにしている。

関連論文リスト

Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。 NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
論文参考訳（メタデータ） (2026-01-12T05:43:51Z)
Dynamic Evaluation for Oversensitivity in LLMs [68.27609301865174]
過敏性は、言語モデルが実際に良性であるプロンプトを防衛的に拒否するときに起こる。この振る舞いはユーザインタラクションを妨害するだけでなく、有害なコンテンツと無害なコンテンツの境界を曖昧にする。既存のベンチマークは、モデルの発展に伴ってオーバータイムを低下させる静的データセットに依存している。
論文参考訳（メタデータ） (2025-10-21T18:33:47Z)
LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models [49.92148175114169]
制御された摂動を7次元にわたって導入することにより,系統的な脆弱性解析を行う。モデルは、カメラの視点やロボットの初期状態を含む摂動要因に対して極端に敏感である。驚くべきことに、モデルは言語の変化にほとんど敏感であり、さらなる実験により、モデルは言語命令を完全に無視する傾向があることが明らかになった。
論文参考訳（メタデータ） (2025-10-15T14:51:36Z)
Evaluating Robustness of Vision-Language Models Under Noisy Conditions [0.0176290054713643]
VLM(Vision-Language Models)は、画像キャプションや視覚的質問応答といったマルチモーダルタスクにおいて、例外的な成功を収めている。制御摂動下での複数の最先端VLMの性能を評価するための総合評価フレームワークを提案する。
論文参考訳（メタデータ） (2025-09-15T22:31:21Z)
Assessing the Noise Robustness of Class Activation Maps: A Framework for Reliable Model Interpretability [0.49723254992699345]
クラスアクティベーションマップ(CAM)は、ディープラーニングモデルで使用される領域を視覚化する重要な手法の1つである。我々は、複数のアーキテクチャやデータセットにまたがる様々なノイズ摂動に対する各種CAM手法のレジリエンスを評価し、報告する。一貫性と応答性という2つの重要な特性を捉えるCAMのロバストネス指標を提案する。
論文参考訳（メタデータ） (2025-08-25T15:59:06Z)
RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。 HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
論文参考訳（メタデータ） (2025-07-12T01:58:04Z)
Benchmark Granularity and Model Robustness for Image-Text Retrieval [44.045767657945895]
データセットの粒度とクエリの摂動が検索性能とロバスト性にどのように影響するかを示す。よりリッチなキャプションは、特にテキスト・ツー・イメージタスクにおいて、検索を継続的に強化することを示す。本研究は, モデル頑健性の変化とキャプション粒度と感度摂動のデータセット依存的関係に着目した。
論文参考訳（メタデータ） (2024-07-21T18:08:44Z)
Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
論文参考訳（メタデータ） (2024-07-10T09:13:11Z)
Evaluating Robustness of Dialogue Summarization Models in the Presence of Naturally Occurring Variations [13.749495524988774]
実生活変動が最先端の対話要約モデルに与える影響を系統的に検討する。発話レベルの摂動は、誤りや言語の変化によって個々の発話を変更するもので、対話レベルの摂動は非形式的交換を加えるものである。細調整モデルと命令調整モデルの両方が入力のバリエーションの影響を受けており、後者はより感受性が高い。
論文参考訳（メタデータ） (2023-11-15T05:11:43Z)
Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets [46.19529338280716]
言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感である。入力摂動が言語モデルにどう影響するかを,様々な尺度で検討する手法を提案する。複数の摂動に対するロバスト性に対処するための3つの異なる微調整戦略を提案する。
論文参考訳（メタデータ） (2023-11-15T02:59:10Z)
Revisit Input Perturbation Problems for LLMs: A Unified Robustness Evaluation Framework for Noisy Slot Filling Task [18.623619585980688]
本研究では,大言語モデルの対話理解能力を評価するために,スロット充足タスクに基づく統一ロバストネス評価フレームワークを提案する。具体的には,5種類の単一摂動と4種類の混合摂動データを含む入力摂動評価データセットであるノイズLLMを構築した。本研究の目的は,LLMの様々なロバスト性評価手法が実世界の雑音のシナリオでどの程度機能するかを評価することである。
論文参考訳（メタデータ） (2023-10-10T10:22:05Z)
Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。 SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
論文参考訳（メタデータ） (2023-06-01T19:04:17Z)
Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
論文参考訳（メタデータ） (2023-03-28T21:02:35Z)
Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文参考訳（メタデータ） (2023-01-18T04:54:58Z)
Noisy Learning for Neural ODEs Acts as a Robustness Locus Widening [0.802904964931021]
差分方程式に基づくネットワーク(DE)の合成分布シフトに対するロバスト性評価の課題と課題について検討する。そこで本研究では,本質的なロバスト性の評価や,データセットの破損シミュレーションの検証に使用可能な,新規で簡易な精度測定法を提案する。
論文参考訳（メタデータ） (2022-06-16T15:10:38Z)
Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。本稿では, 対実例生成のための新しい枠組みを提案する。
論文参考訳（メタデータ） (2022-05-20T15:02:53Z)
Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文参考訳（メタデータ） (2021-02-23T20:59:30Z)
Evaluating Neural Machine Comprehension Model Robustness to Noisy Inputs and Adversarial Attacks [9.36331571226256]
我々は,文字,単語,文レベルで新しい摂動を実行することで,機械理解モデルによる雑音や敵対攻撃に対する頑健さを評価する。敵攻撃時のモデル誤差を予測するモデルを開発した。
論文参考訳（メタデータ） (2020-05-01T03:05:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。