Fugu-MT 論文翻訳(概要): ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving

論文の概要: ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving

arxiv url: http://arxiv.org/abs/2501.08203v1
Date: Tue, 14 Jan 2025 15:38:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-15 13:25:34.809129
Title: ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving
Title（参考訳）: ArithmAttack: 数学問題の解法におけるLLMの雑音文脈に対するロバスト性の評価
Authors: Zain Ul Abedin, Shahzeb Qamar, Lucie Flek, Akbar Karimi,
Abstract要約: 本稿では,ArithmAttackを提案する。 GSM8KとMultiArithmデータセットを用いて,LLama3,Mistral,Mathstralを含む7つのLLMのロバスト性を評価する。
参考スコア（独自算出の注目度）: 6.693502127460249
License:
Abstract: While Large Language Models (LLMs) have shown impressive capabilities in math problem-solving tasks, their robustness to noisy inputs is not well-studied. In this work, we propose ArithmAttack to examine how robust the LLMs are when they encounter noisy prompts that contain extra noise in the form of punctuation marks. While being easy to implement, ArithmAttack does not cause any information loss since words are not added or deleted from the context. We evaluate the robustness of seven LLMs, including LLama3, Mistral, and Mathstral, on noisy GSM8K and MultiArith datasets. Our experiments suggest that all the studied models show vulnerability to such noise, with more noise leading to poorer performances.
Abstract（参考訳）: 大規模言語モデル(LLM)は数学の問題解決タスクにおいて顕著な能力を示してきたが、ノイズの多い入力に対する頑健さは十分に研究されていない。そこで本研究ではArismAttackを提案し,LLMが句読点の形で余分な雑音を含む雑音的プロンプトに遭遇したときのロバストさについて検討する。 ArithmAttackは実装が容易だが、文脈から単語が加えられたり削除されたりするため、情報を失うことはない。 GSM8KおよびMultiArithデータセットを用いて,LLama3,Mistral,Mathstralを含む7つのLLMのロバスト性を評価する。実験の結果、研究対象のモデルは全てそのようなノイズに対する脆弱性を示しており、ノイズの増大により性能が低下することが示唆された。

関連論文リスト

Improving Noise Robustness through Abstractions and its Impact on Machine Learning [2.6563873893593826]
ノイズは機械学習(ML)手法の適用に大きな影響を与える学習理論の基本的な問題である。本稿では,データ抽象化を用いてノイズを緩和する手法を提案する。目標は、抽象化によって生成された情報の損失を通じて、モデルの性能に対するノイズの影響を減らすことである。
論文参考訳（メタデータ） (2024-06-12T17:14:44Z)
Cutting Through the Noise: Boosting LLM Performance on Math Word Problems [52.99006895757801]
大規模言語モデルは数学用語の問題を解くのに優れるが、無関係な情報を含む現実世界の問題に苦戦する。本稿では,無関係な変数を追加することで,MWPの逆変分を生成するプロンプトフレームワークを提案する。敵の訓練インスタンスの微調整は、敵のMWPのパフォーマンスを8%向上させる。
論文参考訳（メタデータ） (2024-05-30T18:07:13Z)
NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition [3.726602636064681]
そこで本研究では,実雑音がシミュレーションノイズよりもはるかに難易度が高いことを示す。ノイズロスト学習の最先端モデルが理論的に達成可能な上限よりもはるかに低くなることを示す。
論文参考訳（メタデータ） (2024-05-13T10:20:31Z)
Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
論文参考訳（メタデータ） (2024-02-06T13:59:56Z)
Multiclass Learning from Noisy Labels for Non-decomposable Performance Measures [15.358504449550013]
非分解性性能尺度の2つのクラスに対して雑音ラベルから学習するアルゴリズムを設計する。どちらの場合も、広範に研究されているクラス条件雑音モデルの下で、アルゴリズムのノイズ補正バージョンを開発する。実験では,ラベルノイズ処理におけるアルゴリズムの有効性を実証した。
論文参考訳（メタデータ） (2024-02-01T23:03:53Z)
Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
論文参考訳（メタデータ） (2024-01-19T01:29:27Z)
Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文参考訳（メタデータ） (2023-11-07T08:27:14Z)
Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
論文参考訳（メタデータ） (2022-06-04T08:48:02Z)
Learning with Group Noise [106.56780716961732]
グループノイズを用いた学習のための新しいマックスマッチング手法を提案する。いくつかの学習パラダイムの領域における実世界のデータセットのレンジのパフォーマンスは、Max-Matchingの有効性を示している。
論文参考訳（メタデータ） (2021-03-17T06:57:10Z)
Learning based signal detection for MIMO systems with unknown noise statistics [84.02122699723536]
本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
論文参考訳（メタデータ） (2021-01-21T04:48:15Z)
Noise in Classification [32.458986097202626]
本章では,雑音の存在下での線形しきい値学習の計算的・統計的側面について考察する。本稿では,データ生成過程における自然な仮定を生かして,これらのネガティブな結果を扱うためのアプローチについて議論する。
論文参考訳（メタデータ） (2020-10-10T19:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。