論文の概要: Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples

• arxiv url: http://arxiv.org/abs/2009.06368v2
• Date: Mon, 12 Oct 2020 19:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 08:39:22.921551
• Title: Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples
• Title（参考訳）: 探索手法の探索:NLP逆例生成のためのベンチマーク検索アルゴリズム
• Authors: Jin Yong Yoo, John X. Morris, Eli Lifland, Yanjun Qi
• Abstract要約: 自然言語処理(NLP)タスクの逆例を生成するために,複数のブラックボックス探索アルゴリズムの動作について検討した。 検索アルゴリズム,検索空間,検索予算の3つの要素を詳細に分析する。
• 参考スコア（独自算出の注目度）: 10.993342896547691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the behavior of several black-box search algorithms used for generating adversarial examples for natural language processing (NLP) tasks. We perform a fine-grained analysis of three elements relevant to search: search algorithm, search space, and search budget. When new search algorithms are proposed in past work, the attack search space is often modified alongside the search algorithm. Without ablation studies benchmarking the search algorithm change with the search space held constant, one cannot tell if an increase in attack success rate is a result of an improved search algorithm or a less restrictive search space. Additionally, many previous studies fail to properly consider the search algorithms' run-time cost, which is essential for downstream tasks like adversarial training. Our experiments provide a reproducible benchmark of search algorithms across a variety of search spaces and query budgets to guide future research in adversarial NLP. Based on our experiments, we recommend greedy attacks with word importance ranking when under a time constraint or attacking long inputs, and either beam search or particle swarm optimization otherwise. Code implementation shared via https://github.com/QData/TextAttack-Search-Benchmark
• Abstract（参考訳）: 自然言語処理(nlp)タスクの逆例生成に用いるブラックボックス探索アルゴリズムの挙動について検討した。 検索アルゴリズム,検索空間,検索予算の3つの要素について詳細な分析を行った。 過去の研究で新しい探索アルゴリズムが提案されているとき、攻撃探索空間はしばしば探索アルゴリズムと共に修正される。 アブレーション研究がなければ、検索空間が一定である検索アルゴリズムの変化をベンチマークすると、攻撃成功率が向上した検索アルゴリズムの結果なのか、あるいはより制限の少ない検索空間なのかを判断できない。 さらに、多くの先行研究は、探索アルゴリズムの実行時間コストを適切に考慮しておらず、これは敵の訓練のような下流のタスクに必須である。 本実験は,様々な検索空間にまたがる探索アルゴリズムの再現可能なベンチマークと,今後のNLP研究の指針となるクエリ予算を提供する。 本実験では,時間制約下や長時間入力時の単語重み付けによる強欲攻撃を推奨し,ビーム探索や粒子群最適化を推奨する。 https://github.com/QData/TextAttack-Search-Benchmarkで共有されるコード実装

関連論文リスト

• RethinkMCTS: Refining Erroneous Thoughts in Monte Carlo Tree Search for Code Generation [65.5353313491402]
  本稿では,モンテカルロ木探索(MCTS)アルゴリズムを用いて,コードを生成する前に思考レベルの探索を行うRethinkMCTSを紹介する。 我々は,検索中の誤った思考を洗練させるために,微動コード実行フィードバックからの言語フィードバックを構築した。 RethinkMCTSは従来の検索ベースおよびフィードバックベースのコード生成ベースラインよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2024-09-15T02:07:28Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Rectangle Search: An Anytime Beam Search (Extended Version) [9.59799149404787]
  任意の検索アルゴリズムは、(潜在的に最適でない)解をできるだけ早く見つけようとする。 本稿では,ビーム探索に基づく新しい長方形探索法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T19:50:45Z)
• CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
  ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。 私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。 我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
  論文  参考訳（メタデータ） (2022-03-20T04:41:05Z)
• Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
  本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。 我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。 提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
  論文  参考訳（メタデータ） (2021-12-05T06:42:48Z)
• Don't Search for a Search Method -- Simple Heuristics Suffice for Adversarial Text Attacks [11.196974000738729]
  ゼロオーダーの最適化に基づく攻撃にインスパイアされたアルゴリズムを実装し、TextAttackフレームワークのベンチマーク結果と比較する。 驚いたことに、最適化に基づく手法は制約された設定においていかなる改善をもたらさない。 これらの結果から、現在のTextAttackベンチマークタスクは簡単すぎて制約が厳しすぎて、ブラックボックスの敵対的テキスト攻撃に関する有意義な研究が妨げられていると結論付けている。
  論文  参考訳（メタデータ） (2021-09-16T12:22:17Z)
• Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
  オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。 SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。 本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。 ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
  論文  参考訳（メタデータ） (2021-09-13T18:10:52Z)
• A Meta-Heuristic Search Algorithm based on Infrasonic Mating Displays in Peafowls [0.0]
  探索アルゴリズムの解空間が増大するにつれて、網羅的探索のような単純な手法は計算コストが高く、信頼性が低いものとなる。 本研究では, 重力探索アルゴリズムとオオカミの交尾行動から着想を得た赤外探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T09:04:51Z)
• Quantum Search with Prior Knowledge [15.384459603233978]
  本稿では,Grover の探索アルゴリズムの新たな一般化を提案する。 提案アルゴリズムは,クエリ数が固定された場合の解を見つけるための最適成功確率を実現する。
  論文  参考訳（メタデータ） (2020-09-18T09:50:33Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。