論文の概要: Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information

• arxiv url: http://arxiv.org/abs/2408.10615v1
• Date: Tue, 20 Aug 2024 07:49:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 14:44:20.010086
• Title: Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information
• Title（参考訳）: 大規模言語モデルにおけるロバスト性向上:無関係情報の影響を緩和するための試行
• Authors: Ming Jiang, Tingting Huang, Biao Guo, Yao Lu, Feng Zhang,
• Abstract要約: GSMIRという無関係情報を含む小学校数学問題のデータセットを構築した。 LLMは無関係な情報を識別できるが、一度特定されると引き起こされる干渉を効果的に軽減しない。 無関係な情報の影響を識別し、自己緩和するLSMの能力を高める新しい自動構築手法であるATFを提案する。
• 参考スコア（独自算出の注目度）: 12.278192878848415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Large language models (LLMs) have garnered significant attention due to their superior performance in complex reasoning tasks. However, recent studies may diminish their reasoning capabilities markedly when problem descriptions contain irrelevant information, even with the use of advanced prompting techniques. To further investigate this issue, a dataset of primary school mathematics problems containing irrelevant information, named GSMIR, was constructed. Testing prominent LLMs and prompting techniques on this dataset revealed that while LLMs can identify irrelevant information, they do not effectively mitigate the interference it causes once identified. A novel automatic construction method, ATF, which enhances the ability of LLMs to identify and self-mitigate the influence of irrelevant information, is proposed to address this shortcoming. This method operates in two steps: first, analysis of irrelevant information, followed by its filtering. The ATF method, as demonstrated by experimental results, significantly improves the reasoning performance of LLMs and prompting techniques, even in the presence of irrelevant information on the GSMIR dataset.
• Abstract（参考訳）: 近年,Large Language Model (LLM) が注目されている。 しかし、最近の研究では、高度なプロンプト技術を用いても、問題記述が無関係な情報を含む場合、その推論能力は著しく低下する可能性がある。 この問題をさらに調査するため,GSMIRという無関係情報を含む小学校数学問題のデータセットを構築した。 顕著なLSMのテストと、このデータセットのプロンプト技術により、LSMは無関係な情報を識別できるが、一度特定されると引き起こされる干渉を効果的に軽減しないことが明らかとなった。 非関連情報の影響を識別し、自己緩和するLSMの能力を高める新しい自動構築手法であるATFを提案し、この問題に対処する。 この方法は2つのステップで機能する: まず、無関係な情報を分析し、次にフィルタリングする。 ATF法は, 実験結果から示されるように, GSMIRデータセットの無関係な情報が存在する場合でも, LLMの推論性能を著しく向上し, 手法を推し進める。

関連論文リスト

• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Enhancing Temporal Understanding in LLMs for Semi-structured Tables [50.59009084277447]
  我々は、大規模言語モデル(LLM)の特定の限界を特定するために、時間的データセットの包括的な分析を行う。 調査の結果,時間的時間的質問応答に特化したデータセットであるTempTabQAが強化された。 我々は,この領域におけるLLM機能を強化するために,新しいアプローチC.L.E.A.R.を導入する。
  論文  参考訳（メタデータ） (2024-07-22T20:13:10Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• How Easily do Irrelevant Inputs Skew the Responses of Large Language Models? [35.78256134989427]
  大きな言語モデル(LLM)は多くの知識集約的なタスクを達成するための拡張された能力を示す。 現在の検索システムに固有の欠陥があるため、検索する上位のパスには無関係な情報が存在する可能性がある。 我々は,意味的に無関係で,部分的に関連があり,質問に関連するような,高品質な無関係な情報を構築するための枠組みを導入する。
  論文  参考訳（メタデータ） (2024-04-04T08:52:30Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges [11.228131492745842]
  大規模言語モデル(LLM)は、自然言語処理における新しい研究パラダイムを刺激している。 知識に基づく質問応答と推論の優れた能力にもかかわらず、欠陥や有害な知識を保持する可能性は、悪意のあるアプリケーションにリスクをもたらす。 機械学習の類似研究から派生した知識アンラーニングは、この問題に対処するための有望な道を示す。
  論文  参考訳（メタデータ） (2023-11-27T12:37:51Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
  大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。 LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
  論文  参考訳（メタデータ） (2023-04-28T19:00:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。