論文の概要: MathAttack: Attacking Large Language Models Towards Math Solving Ability
- arxiv url: http://arxiv.org/abs/2309.01686v1
- Date: Mon, 4 Sep 2023 16:02:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 18:03:20.996435
- Title: MathAttack: Attacking Large Language Models Towards Math Solving Ability
- Title（参考訳）: mathattack: 大規模な言語モデルを数学の問題解決能力に攻撃する
- Authors: Zihao Zhou and Qiufeng Wang and Mingyu Jin and Jie Yao and Jianan Ye
and Wei Liu and Wei Wang and Xiaowei Huang and Kaizhu Huang
- Abstract要約: 本稿では,数学問題の解法におけるセキュリティの本質に近いMWPサンプルを攻撃するためのMathAttackモデルを提案する。
攻撃中は、元のMWPの数学的論理を保存することが不可欠である。
RobustMathと別の2つの数学ベンチマークGSM8KとMultiAirthデータセットの大規模な実験は、MathAttackがLLMの数学問題解決能力を効果的に攻撃できることを示している。
- 参考スコア（独自算出の注目度）: 29.887497854000276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the boom of Large Language Models (LLMs), the research of solving Math
Word Problem (MWP) has recently made great progress. However, there are few
studies to examine the security of LLMs in math solving ability. Instead of
attacking prompts in the use of LLMs, we propose a MathAttack model to attack
MWP samples which are closer to the essence of security in solving math
problems. Compared to traditional text adversarial attack, it is essential to
preserve the mathematical logic of original MWPs during the attacking. To this
end, we propose logical entity recognition to identify logical entries which
are then frozen. Subsequently, the remaining text are attacked by adopting a
word-level attacker. Furthermore, we propose a new dataset RobustMath to
evaluate the robustness of LLMs in math solving ability. Extensive experiments
on our RobustMath and two another math benchmark datasets GSM8K and MultiAirth
show that MathAttack could effectively attack the math solving ability of LLMs.
In the experiments, we observe that (1) Our adversarial samples from
higher-accuracy LLMs are also effective for attacking LLMs with lower accuracy
(e.g., transfer from larger to smaller-size LLMs, or from few-shot to zero-shot
prompts); (2) Complex MWPs (such as more solving steps, longer text, more
numbers) are more vulnerable to attack; (3) We can improve the robustness of
LLMs by using our adversarial samples in few-shot prompts. Finally, we hope our
practice and observation can serve as an important attempt towards enhancing
the robustness of LLMs in math solving ability. We will release our code and
dataset.
- Abstract（参考訳）: 近年,Large Language Models (LLMs) のブームにより,数学語問題 (MWP) の解法の研究が盛んに進んでいる。
しかし,数学におけるLLMの安全性について検討する研究はほとんどない。
LLMを用いた場合のプロンプトを攻撃するのではなく、数学問題の解法におけるセキュリティの本質に近いMWPサンプルを攻撃するためのMathAttackモデルを提案する。
従来のテキスト敵攻撃と比較して、攻撃中に元のMWPの数学的論理を保存することが不可欠である。
そこで本研究では,凍結した論理エントリを識別する論理エンティティ認識を提案する。
その後、残りのテキストは、ワードレベルアタッカーを採用することで攻撃される。
さらに,計算能力におけるLLMの堅牢性を評価するために,新しいデータセットRobustMathを提案する。
robustmathと他の2つの数学ベンチマークデータセットgsm8kとmultiairthに関する広範な実験は、mathattackがllmの数学解決能力を効果的に攻撃できることを示しています。
実験では,(1)精度の高いllmからの敵のサンプルは,より低い精度でllmを攻撃するのにも有効であること,(2)複雑なmwp(より解くステップ,より長いテキスト,より多くの数値など)は攻撃に弱いこと,(3)少数のプロンプトで敵のサンプルを使用することで,llmの堅牢性を向上させることができること,などを観察した。
最後に、我々の実践と観察が、数学の解法能力におけるLLMの堅牢性を高める重要な試みとなることを願っている。
コードとデータセットをリリースします。
関連論文リスト
- LLM The Genius Paradox: A Linguistic and Math Expert's Struggle with Simple Word-based Counting Problems [28.72485319617863]
LLMは、人間が扱いやすいようないくつかの基本的なタスク、例えば単語トラウベリーの文字数rを数えるのに苦労する。
我々は,高度な数学的およびコーディング推論能力の伝達可能性について,特殊なLCMから単純なカウントタスクまでの測定を行う。
微調整や文脈内学習といった戦略と比較すると、係り受け推論はLLMのタスクをより知覚するのに役立つ最も堅牢で効率的な方法であることがわかる。
論文 参考訳（メタデータ） (2024-10-18T04:17:16Z) - Give me a hint: Can LLMs take a hint to solve math problems? [0.5742190785269342]
本稿では,先進的な数学的問題に対する言語モデルの性能向上のための"ヒント"を提案する。
また、敵のヒントに対する堅牢性をテストし、それらに対する感受性を示す。
論文 参考訳（メタデータ） (2024-10-08T11:09:31Z) - MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs [61.74749961334557]
MathHayは、LLMの長文数学的推論能力を評価するために設計された自動ベンチマークである。
我々は,8つのトップパフォーマンスモデルの長文数学的推論能力を評価するために,MathHayの広範な実験を行った。
論文 参考訳（メタデータ） (2024-10-07T02:30:07Z) - Cutting Through the Noise: Boosting LLM Performance on Math Word Problems [52.99006895757801]
大規模言語モデルは数学用語の問題を解くのに優れるが、無関係な情報を含む現実世界の問題に苦戦する。
本稿では,無関係な変数を追加することで,MWPの逆変分を生成するプロンプトフレームワークを提案する。
敵の訓練インスタンスの微調整は、敵のMWPのパフォーマンスを8%向上させる。
論文 参考訳（メタデータ） (2024-05-30T18:07:13Z) - Genshin: General Shield for Natural Language Processing with Large Language Models [6.228210545695852]
大規模言語モデル(LLM)が最近流行し、無数のドメインでかなりの進歩と一般化能力を示している。
LLMは不透明度を悪化させるさらに大きなブラックボックスを作り、解釈可能性はほとんどない。
本稿では, LLMの一般化可能性, 中央モデルの識別, 単純モデルの解釈可能性を組み合わせた, ゲンシンと呼ばれる新しいカスケーディングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T04:04:05Z) - Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [50.76385564061713]
CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。
CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。
意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
論文 参考訳（メタデータ） (2024-04-23T12:16:05Z) - GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。
1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。
このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文 参考訳（メタデータ） (2024-02-29T15:26:14Z) - Adversarial Math Word Problem Generation [6.92510069380188]
大規模言語モデル(LLM)の公平な評価を保証するための新しいパラダイムを提案する。
評価を目的とした質問の構造と難易度を保持する逆例を生成するが,LLMでは解けない。
我々は様々なオープン・クローズド・ソース LLM の実験を行い、定量的かつ質的に、我々の手法が数学の問題解決能力を著しく低下させることを示した。
論文 参考訳（メタデータ） (2024-02-27T22:07:52Z) - InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning [98.53491178426492]
InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。
我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。
我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
論文 参考訳（メタデータ） (2024-02-09T11:22:08Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-05-16T17:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。