論文の概要: Alteron: A Tool for Behavioral Regression Testing Across NLP Classifier Versions

• arxiv url: http://arxiv.org/abs/2607.29557v1
• Date: Fri, 31 Jul 2026 15:48:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.788048
• Title: Alteron: A Tool for Behavioral Regression Testing Across NLP Classifier Versions
• Title（参考訳）: Alteron: NLP分類器バージョン全体での振る舞い回帰テストツール
• Abstract要約: 進化する自然言語処理(NLP)モデルを評価することは、更新全体の信頼性の高い動作を保証する上で重要である。 標準ベンチマークのメトリクスは、バージョン間でモデル動作がどのように変化するかを完全には捉えていない。 メタモルフィックテストを用いて,NLPモデルバージョン間での行動回帰を検出するツールであるAlteronを提案する。
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating evolving Natural Language Processing (NLP) models is important for ensuring reliable behavior across updates, but standard benchmark metrics do not fully capture how model behavior changes across versions. Existing work has focused mainly on testing models in isolation rather than comparing successive versions in continuous integration workflows. We present Alteron, a tool for detecting behavioral regressions across NLP model versions with metamorphic testing. Alteron constructs a test corpus from labeled source examples and compares model versions on metamorphically transformed inputs. In an evaluation spanning 10 metamorphic relations (MRs), 4 model versions, and 3 model-update transitions, Alteron identified 16 behavioral regressions, 11 of which were release-blocking. The results show that common model updates can preserve overall task performance while still introducing undesirable behavior changes, and that behavioral checks across model versions can reveal failures that aggregate benchmark metrics alone do not capture. The tool is open-source and available at https://github.com/shazzad5709/alteron. A screencast demonstration is available at https://youtu.be/szwiWW5O4do.
• Abstract（参考訳）: 進化する自然言語処理(NLP)モデルを評価することは、更新間での信頼性の高い動作を保証する上で重要であるが、標準ベンチマークメトリクスは、バージョン間でモデル動作がどのように変化するかを完全に把握していない。 既存の作業は、継続的インテグレーションワークフローの連続したバージョンを比較するのではなく、モデルを独立した形でテストすることに重点を置いています。 メタモルフィックテストを用いて,NLPモデルバージョン間での行動回帰を検出するツールであるAlteronを提案する。 Alteronはラベル付きソースの例からテストコーパスを構築し、メタモルフィック変換された入力のモデルバージョンを比較する。 10のメタモルフィック関係(MR)、4つのモデルバージョン、3つのモデル更新遷移の評価において、Alteronは16の行動回帰を同定した。 その結果、一般的なモデル更新は、望ましくない振る舞いの変更をまだ導入しながら、全体的なタスクパフォーマンスを維持でき、モデルバージョン間での振る舞いチェックは、ベンチマークのメトリクスを集計するだけではキャプチャできない障害を明らかにします。 このツールはオープンソースで、https://github.com/shazzad5709/alteron.comで入手できる。 スクリーンキャストのデモはhttps://youtu.be/szwiW5O4do.comで公開されている。

関連論文リスト

• AutoStan: Autonomous Bayesian Model Improvement via Predictive Feedback [0.38073142980733005]
  AutoStanは、コマンドラインインターフェイス(CLI)コーディングエージェントが自律的に構築し、Stanで書かれたベイズモデルを反復的に改善するフレームワークである。 多様なモデリング構造を持つ5つのデータセット上でAutoStanを評価する。
  論文  参考訳（メタデータ） (2026-03-29T16:58:46Z)
• Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens [53.99177152562075]
  視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。 モデルが離散トークンを使用するか、連続トークンを使用するか、BERTやGPTのようなトランスフォーマーアーキテクチャを用いてランダムまたは固定順序でトークンを生成するか、という2つの重要な要素に焦点を当てる。 その結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。
  論文  参考訳（メタデータ） (2024-10-17T17:59:59Z)
• RS-Reg: Probabilistic and Robust Certified Regression Through Randomized Smoothing [19.03441416869426]
  我々は $ell$ norm を用いて入力データポイント上の上限を設定する方法を示す。 次に、出力が有界な回帰モデルの族を扱う際に、摂動入力の認証された上限を導出する。 シミュレーションにより, 理論結果の有効性を検証し, 単純な平滑化関数の利点と限界を明らかにする。
  論文  参考訳（メタデータ） (2024-05-14T18:10:46Z)
• Importance of Disjoint Sampling in Conventional and Transformer Models for Hyperspectral Image Classification [2.1223532600703385]
  本稿では、ハイパースペクトル画像分類(HSIC)タスク上でSOTAモデルをトレーニングするための革新的な不整合サンプリング手法を提案する。 重なりのないトレーニング,検証,テストデータを分離することにより,提案手法は,トレーニングや検証中に露出していないピクセルをどの程度正確に分類できるかを,より公平に評価することができる。 この厳密な手法は、SOTAモデルの発展と、ハイパースペクトルセンサーを用いた大規模陸地マッピングへの実際の応用に欠かせない。
  論文  参考訳（メタデータ） (2024-04-23T11:40:52Z)
• Post-Hoc Reversal: Are We Selecting Models Prematurely? [13.910702424593797]
  ポストホック変換を適用した後に性能傾向が逆転するポストホック逆転現象を示す。 予備的な分析は、これらの変換が、誤ラベルされた例の影響を抑えることによって、逆転を引き起こすことを示唆している。 ポストホック選択(post-hoc selection)は、ポストホックメトリクスがモデル開発決定を通知するシンプルな手法である。
  論文  参考訳（メタデータ） (2024-04-11T14:58:19Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
  ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。 本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。 テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
  論文  参考訳（メタデータ） (2022-03-10T18:51:29Z)
• Predicting Out-of-Distribution Error with the Projection Norm [87.61489137914693]
  射影ノルムは、地上の真理ラベルにアクセスすることなく、分布外データ上でモデルのパフォーマンスを予測する。 対数例で非自明な検出性能を実現するには,プロジェクションノルムが唯一の方法であることがわかった。
  論文  参考訳（メタデータ） (2022-02-11T18:58:21Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Detection of data drift and outliers affecting machine learning model performance over time [5.319802998033767]
  ドリフトはトレーニングとデプロイメントデータ間の分散変更である。 これらの変更を検出したいのですが、デプロイメントデータラベルなしでは正確さを計測できません。 代わりに、変更に対するモデル予測の信頼性の分布を非パラメトリックにテストすることで間接的にドリフトを検出する。
  論文  参考訳（メタデータ） (2020-12-16T20:50:12Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。