Fugu-MT 論文翻訳(概要): ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving

論文の概要: ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving

arxiv url: http://arxiv.org/abs/2501.08203v1
Date: Tue, 14 Jan 2025 15:38:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-15 17:02:04.536371
Title: ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving
Title（参考訳）: ArithmAttack: 数学問題の解法におけるLLMの雑音文脈に対するロバスト性の評価
Authors: Zain Ul Abedin, Shahzeb Qamar, Lucie Flek, Akbar Karimi,
Abstract要約: 本稿では,ArithmAttackを提案する。 GSM8KとMultiArithmデータセットを用いて,LLama3,Mistral,Mathstralを含む7つのLLMのロバスト性を評価する。
参考スコア（独自算出の注目度）: 6.693502127460249
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While Large Language Models (LLMs) have shown impressive capabilities in math problem-solving tasks, their robustness to noisy inputs is not well-studied. In this work, we propose ArithmAttack to examine how robust the LLMs are when they encounter noisy prompts that contain extra noise in the form of punctuation marks. While being easy to implement, ArithmAttack does not cause any information loss since words are not added or deleted from the context. We evaluate the robustness of seven LLMs, including LLama3, Mistral, and Mathstral, on noisy GSM8K and MultiArith datasets. Our experiments suggest that all the studied models show vulnerability to such noise, with more noise leading to poorer performances.
Abstract（参考訳）: 大規模言語モデル(LLM)は数学の問題解決タスクにおいて顕著な能力を示してきたが、ノイズの多い入力に対する頑健さは十分に研究されていない。そこで本研究ではArismAttackを提案し,LLMが句読点の形で余分な雑音を含む雑音的プロンプトに遭遇したときのロバストさについて検討する。 ArithmAttackは実装が容易だが、文脈から単語が加えられたり削除されたりするため、情報を失うことはない。 GSM8KおよびMultiArithデータセットを用いて,LLama3,Mistral,Mathstralを含む7つのLLMのロバスト性を評価する。実験の結果、研究対象のモデルは全てそのようなノイズに対する脆弱性を示しており、ノイズの増大により性能が低下することが示唆された。

関連論文リスト

Hide and Seek in Noise Labels: Noise-Robust Collaborative Active Learning with LLM-Powered Assistance [17.359530437698723]
ノイズラベル(LNL)からの学習は、収集されたトレーニングデータが誤ったラベルや破損したラベルを含むことができる多くの実世界のシナリオで発生する課題である。既存のソリューションのほとんどは、ノイズの多いラベルを特定し、アクティブな学習を採用して、人間の専門家にノイズを問う。本稿では,大規模な言語モデルと,雑音ラベルから学習するための小さなモデルを組み合わせた,能動的学習に基づく革新的な協調学習フレームワークであるNossalを提案する。
論文参考訳（メタデータ） (2025-04-03T04:36:39Z)
END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
論文参考訳（メタデータ） (2025-02-26T08:07:17Z)
Improving Noise Robustness through Abstractions and its Impact on Machine Learning [2.6563873893593826]
ノイズは機械学習(ML)手法の適用に大きな影響を与える学習理論の基本的な問題である。本稿では,データ抽象化を用いてノイズを緩和する手法を提案する。目標は、抽象化によって生成された情報の損失を通じて、モデルの性能に対するノイズの影響を減らすことである。
論文参考訳（メタデータ） (2024-06-12T17:14:44Z)
Cutting Through the Noise: Boosting LLM Performance on Math Word Problems [52.99006895757801]
大規模言語モデルは数学用語の問題を解くのに優れるが、無関係な情報を含む現実世界の問題に苦戦する。本稿では,無関係な変数を追加することで,MWPの逆変分を生成するプロンプトフレームワークを提案する。敵の訓練インスタンスの微調整は、敵のMWPのパフォーマンスを8%向上させる。
論文参考訳（メタデータ） (2024-05-30T18:07:13Z)
Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
論文参考訳（メタデータ） (2024-02-06T13:59:56Z)
Multiclass Learning from Noisy Labels for Non-decomposable Performance Measures [15.358504449550013]
非分解性性能尺度の2つのクラスに対して雑音ラベルから学習するアルゴリズムを設計する。どちらの場合も、広範に研究されているクラス条件雑音モデルの下で、アルゴリズムのノイズ補正バージョンを開発する。実験では,ラベルノイズ処理におけるアルゴリズムの有効性を実証した。
論文参考訳（メタデータ） (2024-02-01T23:03:53Z)
Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
論文参考訳（メタデータ） (2024-01-19T01:29:27Z)
Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文参考訳（メタデータ） (2023-11-07T08:27:14Z)
Learning with Group Noise [106.56780716961732]
グループノイズを用いた学習のための新しいマックスマッチング手法を提案する。いくつかの学習パラダイムの領域における実世界のデータセットのレンジのパフォーマンスは、Max-Matchingの有効性を示している。
論文参考訳（メタデータ） (2021-03-17T06:57:10Z)
Learning based signal detection for MIMO systems with unknown noise statistics [84.02122699723536]
本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
論文参考訳（メタデータ） (2021-01-21T04:48:15Z)
Contextual Linear Bandits under Noisy Features: Towards Bayesian Oracles [65.9694455739978]
特徴不確実性の下での文脈線形帯域問題について検討する。本分析により, 最適仮説は, 雑音特性に応じて, 基礎となる実現可能性関数から著しく逸脱しうることが明らかとなった。これは、古典的アプローチが非自明な後悔境界を保証できないことを意味する。
論文参考訳（メタデータ） (2017-03-03T21:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。