論文の概要: RepTran: Search-Based Repair of Transformer Models
- arxiv url: http://arxiv.org/abs/2607.11193v2
- Date: Tue, 14 Jul 2026 03:58:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 12:51:44.684235
- Title: RepTran: Search-Based Repair of Transformer Models
- Title（参考訳）: RepTran: トランスモデルの検索ベースの修復
- Abstract要約: 本稿では,Transformerモデルの検索に基づく修復手法であるRepTranを提案する。
それは彼らのフィードフォワードネットワーク(FFN)をターゲットにしており、アーキテクチャにおいて中心的な役割を果たす。
RepTranは74.7%の平均修理率を達成し、統計的にランダムセレクションとアラフネを上回った。
- 参考スコア（独自算出の注目度）: 3.7825389083974685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To ensure the overall quality of AI-enabled software, not only traditional software components but also AI components need to be tested and repaired. Among AI components, Transformer models are increasingly integrated into software systems, which makes their misbehaviors critical. Although prior work in the software engineering community has proposed deep neural network (DNN) repair methods, most overlook Transformer-specific structures. We propose RepTran, a search-based repair method for Transformer models. It targets their feed-forward networks (FFNs), which play a central role in the architecture. RepTran identifies suspicious weights by combining two types of scores: a variance-based neuron score and an existing bidirectional score. It then iteratively optimizes these weights using differential evolution. Our evaluation includes 18 fault benchmarks constructed from CIFAR-100 and Tiny-ImageNet. We compare RepTran against three baselines: random weight selection, Arachne (a state-of-the-art DNN repair method), and ArachneW, which enables Arachne to control the number of selected weights. RepTran achieved an average repair rate of 74.7%, statistically outperforming random selection and Arachne across all benchmarks. Effect size analysis revealed that RepTran achieved higher repair rates than ArachneW regardless of the number of selected weights. These results suggest that RepTran is effective for enhancing the reliability of AI-enabled software.
- Abstract（参考訳）: AI対応ソフトウェア全体の品質を保証するためには、従来のソフトウェアコンポーネントだけでなく、AIコンポーネントもテストし、修復する必要がある。
AIコンポーネントの中で、Transformerモデルはソフトウェアシステムにますます統合されている。
ソフトウェアエンジニアリングコミュニティでの以前の作業では、ディープニューラルネットワーク(DNN)の修復方法が提案されていたが、ほとんどの場合、トランスフォーマー固有の構造を見落としている。
本稿では,Transformerモデルの検索に基づく修復手法であるRepTranを提案する。
それは彼らのフィードフォワードネットワーク(FFN)をターゲットにしており、アーキテクチャにおいて中心的な役割を果たす。
RepTranは、分散ベースのニューロンスコアと既存の双方向スコアの2つの種類のスコアを組み合わせることで、不審な重みを識別する。
その後、微分進化を用いてこれらの重みを反復的に最適化する。
CIFAR-100とTiny-ImageNetから構築した18の断層ベンチマークを含む。
我々はRepTranとランダムウェイト選択、Arachne(最先端のDNN修復法)、ArachneWの3つのベースラインを比較し、Arachneは選択したウェイト数を制御できる。
RepTranは74.7%の平均修理率を達成し、全てのベンチマークで統計的にランダムセレクションとアラッシェンを上回った。
その結果,RepTranは選択した重量数に関係なくアラフネウよりも高い補修率を達成した。
これらの結果から,RepTranはAI対応ソフトウェアの信頼性向上に有効であることが示唆された。
関連論文リスト
- AlphaApollo: Orchestrating Foundation Models and Professional Tools into a Self-Evolving System for Deep Agentic Reasoning [110.57865233597762]
自己進化型エージェント推論システムであるAlphaApolloについて述べる。
基礎モデル(FM)における2つのボトルネックに対処することを目的としている。
AlphaApolloは、意図的に検証可能な推論を可能にするために、複数のモデルをプロのツールで編成する。
論文 参考訳（メタデータ） (2025-10-05T15:42:24Z) - MCP-Orchestrated Multi-Agent System for Automated Disinformation Detection [84.75972919995398]
本稿では,関係抽出を用いてニュース記事の偽情報を検出するマルチエージェントシステムを提案する。
提案したエージェントAIシステムは、(i)機械学習エージェント(ロジスティック回帰)、(ii)Wikipedia知識チェックエージェント、(iv)Webスクラッドデータアナライザの4つのエージェントを組み合わせる。
その結果、マルチエージェントアンサンブルはF1スコア0.964で95.3%の精度を達成し、個々のエージェントや従来のアプローチよりも大幅に優れていた。
論文 参考訳（メタデータ） (2025-08-13T19:14:48Z) - Neural Decompiling of Tracr Transformers [0.5974973640115973]
RASP (Tracr) 用の textitTransformer Compiler を用いて, トランスフォーマー重みと対応する RASP プログラムの大規模なデータセットを生成する。
次に、コンパイルされたモデルからRASPコードを復元することを目的として、モデルを構築してトレーニングします。
論文 参考訳（メタデータ） (2024-09-29T13:12:39Z) - End-to-End Lane detection with One-to-Several Transformer [6.79236957488334]
O2SFormerはResNet18バックボーンのDETRよりも12.5倍高速に収束する。
ResNet50のバックボーンを持つO2SFormerは、CULaneデータセット上で77.83%のF1スコアを獲得し、既存のTransformerベースおよびCNNベースの検出器を上回っている。
論文 参考訳（メタデータ） (2023-05-01T06:07:11Z) - Improving Automated Program Repair with Domain Adaptation [0.0]
自動プログラム修復(APR)は、ソースコードのバグ/欠陥を修正するプロセスとして、自動化ツールによって定義される。
APRツールは最近、最先端のニューラルネットワーク処理(NLP)技術を活用することで、有望な結果を経験している。
論文 参考訳（メタデータ） (2022-12-21T23:52:09Z) - Towards Regression-Free Neural Networks for Diverse Compute Platforms [50.64489250972764]
負のフリップを小さくする高精度モデル群を設計するために,REG-NAS(Regression constrained Neural Architecture Search)を導入する。
REG-NASは2つのコンポーネントから構成される: 1) より大きなモデルでより小さなモデルの全重みを収容できる新しいアーキテクチャ制約により、重量共有を最大化する。
我々は,regnasが3つの一般的なアーキテクチャ検索空間において,負のフリップが少なく,望ましいアーキテクチャを見つけることができたことを実証した。
論文 参考訳（メタデータ） (2022-09-27T23:19:16Z) - nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。
nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
論文 参考訳（メタデータ） (2021-09-07T17:08:24Z) - Error Detection in Large-Scale Natural Language Understanding Systems
Using Transformer Models [0.0]
Alexa、Siri、Cortana、Google Assistantといった大規模な会話アシスタントは、ドメイン、インテント、名前付きエンティティ認識の複数のモデルを使用して、発話毎に処理する。
オフラインのTransformerモデルを用いて、ドメイン分類エラーを検出する。
そこで我々は,RoBERTaモデルから生成した発話エンコーディングと生産システムのNbest仮説を組み合わせた。
論文 参考訳（メタデータ） (2021-09-04T00:10:48Z) - Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。
マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文 参考訳（メタデータ） (2021-04-20T00:09:37Z) - Conformer: Convolution-augmented Transformer for Speech Recognition [60.119604551507805]
最近、トランスフォーマーと畳み込みニューラルネットワーク(CNN)に基づくモデルが、自動音声認識(ASR)の有望な結果を示している。
音声認識のための畳み込み拡張変換器,Conformerを提案する。
広く使われているLibriSpeechベンチマークでは、言語モデルを用いずにWERが2.1%/4.3%、テスト/テストの外部言語モデルで1.9%/3.9%を達成した。
論文 参考訳（メタデータ） (2020-05-16T20:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。