Fugu-MT 論文翻訳(概要): Metamorphic Testing for Evaluating Robustness of Sentiment Analysis Models

論文の概要: Metamorphic Testing for Evaluating Robustness of Sentiment Analysis Models

arxiv url: http://arxiv.org/abs/2611.02248v1
Date: Sun, 01 Nov 2026 22:10:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-04 23:36:30.540179
Title: Metamorphic Testing for Evaluating Robustness of Sentiment Analysis Models
Title（参考訳）: 感性分析モデルのロバスト性評価のためのメタモルフィックテスト
Abstract要約: 本稿では,機械学習システムのロバスト性を評価するための,軽量なバッチベースメタモルフィックテスト手法を提案する。我々は、感情分析を代表的NLPタスクとみなし、4つの変換の下で事前学習した分類器を評価する。一貫性スコア、フリップ精度、信頼度変化を用いて、テキストノイズや論理変換に対する意味的変動や脆弱性を扱う際の長所を同定する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine learning systems are challenging to test using traditional software testing methods because their behavior is learned from data rather than explicitly programmed. This challenge is particularly significant in natural language processing (NLP), where small input variations can lead to unexpected model behavior. Conventional evaluation metrics, such as accuracy and F1-score, often fail to capture such inconsistencies. Metamorphic testing addresses this limitation by evaluating expected relationships between original and transformed inputs. With the increasing prevalence of generative artificial intelligence (GenAI) and language-based AI systems, the need for systematic robustness testing has become even more pronounced. Motivated by this growing need, this paper presents a lightweight, batch-based metamorphic testing approach for evaluating the robustness of such systems. In particular, we consider sentiment analysis as a representative NLP task and evaluate a pretrained classifier under four transformations: synonym replacement, typo injection, word-order variation, and negation. Using consistency score, flip accuracy, and confidence change, we identify strengths in handling semantic variations and vulnerabilities to textual noise and logical transformations. These findings highlight the value of metamorphic testing in identifying behavioral inconsistencies beyond conventional performance metrics and demonstrate its potential as a systematic framework for evaluating the robustness of language-based AI systems and guiding performance improvements before deployment.
Abstract（参考訳）: 機械学習システムは、明示的にプログラムされるのではなく、データから学習されるため、従来のソフトウェアテスト手法を使ってテストすることが難しい。この課題は自然言語処理(NLP)において特に重要であり、小さな入力のバリエーションが予期せぬモデル動作を引き起こす可能性がある。精度やF1スコアといった従来の評価基準は、このような矛盾を捉えるのに失敗することが多い。メタモルフィックテストは、元の入力と変換された入力の間の期待される関係を評価することで、この制限に対処する。生成人工知能(GenAI)と言語ベースのAIシステムの普及に伴い、体系的な堅牢性テストの必要性はさらに顕著になっている。そこで本研究では,このようなシステムのロバスト性を評価するための,軽量なバッチベースメタモルフィックテスト手法を提案する。特に、感情分析を代表的NLPタスクとみなし、同義語置換、タイポインジェクション、単語順変化、否定の4つの変換の下で事前訓練された分類器を評価する。一貫性スコア、フリップ精度、信頼度変化を用いて、テキストノイズや論理変換に対する意味的変動や脆弱性を扱う際の長所を同定する。これらの知見は、従来のパフォーマンス指標を超えて行動の不整合を識別する上でのメタモルフィックテストの価値を強調し、言語ベースのAIシステムの堅牢性を評価し、デプロイメント前にパフォーマンス改善を導くための体系的なフレームワークとしての可能性を示した。

関連論文リスト

Explanation-Guided Metamorphic Testing of Specialized Language Models: An Empirical Study [0.5368630420272898]
タスク特化言語モデルは、課題トリアージ、文書分類、自動分析などの垂直領域アクティビティをサポートするために、ソフトウェア工学にますます統合されている。本稿では,説明可能性誘導型メタモルフィックテストが,特殊言語モデルに対するロバストネステストの有効性と妥当性を向上するかどうかを検討する。
論文参考訳（メタデータ） (2026-08-07T10:28:50Z)
Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文参考訳（メタデータ） (2026-03-23T14:48:54Z)
Feature-Aware Test Generation for Deep Learning Models [0.5368630420272898]
本研究では,視覚に基づくディープラーニング(DL)モデルのための機能認識型テスト生成フレームワークであるTectを紹介する。潜在空間内で非絡み合ったセマンティック属性を摂動することで入力を生成する。行動シフトにつながる特徴を特定し、セマンティック属性に視覚言語モデルを使用する。
論文参考訳（メタデータ） (2026-01-20T15:41:06Z)
Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文参考訳（メタデータ） (2023-06-18T09:54:33Z)
On the Reliability and Explainability of Language Models for Program Generation [15.569926313298337]
自動プログラム生成手法の能力と限界について検討する。私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
論文参考訳（メタデータ） (2023-02-19T14:59:52Z)
Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文参考訳（メタデータ） (2022-03-25T19:57:19Z)
Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
論文参考訳（メタデータ） (2021-08-27T12:31:17Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)
Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文参考訳（メタデータ） (2020-06-22T21:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。