論文の概要: Can Language Models Perform Robust Reasoning in Chain-of-thought Prompting with Noisy Rationales?

• arxiv url: http://arxiv.org/abs/2410.23856v1
• Date: Thu, 31 Oct 2024 12:07:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:13.567416
• Title: Can Language Models Perform Robust Reasoning in Chain-of-thought Prompting with Noisy Rationales?
• Title（参考訳）: 言語モデルでは, 思考の連鎖におけるロバスト推論がうるか?
• Authors: Zhanke Zhou, Rong Tao, Jianing Zhu, Yiwen Luo, Zengmao Wang, Bo Han,
• Abstract要約: 本稿では,大規模言語モデル (LLM) における未探索課題について考察する。 雑音有理数の存在下での推論の堅牢性を評価するために,我々はNoRaデータセットを構築した。 ノイズチェーン・オブ・シント(CD-CoT)を用いたコントラッシブデノケーション法を提案する。
• 参考スコア（独自算出の注目度）: 19.13886382791074
• License:
• Abstract: This paper investigates an under-explored challenge in large language models (LLMs): chain-of-thought prompting with noisy rationales, which include irrelevant or inaccurate reasoning thoughts within examples used for in-context learning. We construct NoRa dataset that is tailored to evaluate the robustness of reasoning in the presence of noisy rationales. Our findings on NoRa dataset reveal a prevalent vulnerability to such noise among current LLMs, with existing robust methods like self-correction and self-consistency showing limited efficacy. Notably, compared to prompting with clean rationales, base LLM drops by 1.4%-19.8% in accuracy with irrelevant thoughts and more drastically by 2.2%-40.4% with inaccurate thoughts. Addressing this challenge necessitates external supervision that should be accessible in practice. Here, we propose the method of contrastive denoising with noisy chain-of-thought (CD-CoT). It enhances LLMs' denoising-reasoning capabilities by contrasting noisy rationales with only one clean rationale, which can be the minimal requirement for denoising-purpose prompting. This method follows a principle of exploration and exploitation: (1) rephrasing and selecting rationales in the input space to achieve explicit denoising and (2) exploring diverse reasoning paths and voting on answers in the output space. Empirically, CD-CoT demonstrates an average improvement of 17.8% in accuracy over the base model and shows significantly stronger denoising capabilities than baseline methods. The source code is publicly available at: https://github.com/tmlr-group/NoisyRationales.
• Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) における探索されていない課題について考察する。 雑音有理数の存在下での推論の堅牢性を評価するために,我々はNoRaデータセットを構築した。 従来の自己補正法や自己整合性などの頑健な手法では有効性が限られている。 特に、クリーンな合理性を持つ場合と比較して、ベースLLMは無関係な思考では1.4%-19.8%の精度、不正確な思考では2.2%-40.4%の精度で大幅に低下する。 この課題に対処するには、実際にアクセス可能な外部監視が必要である。 本稿では,ノイズチェーン・オブ・シント(CD-CoT)を用いたコントラッシブデノケーション手法を提案する。 この手法は、雑音の有理と1つのクリーンな有理とを対比することにより、LLMの妄想推論能力を高める。 本手法は,(1) 入力空間における有理を表現・選択して明示的な認知を実現する,(2) 多様な推論経路を探索し,出力空間における回答に投票する,という探索と活用の原則に従う。 経験的に、CD-CoTはベースモデルよりも平均17.8%の精度の向上を示し、ベースライン法よりもはるかに強力なデノナイジング能力を示している。 ソースコードは、https://github.com/tmlr-group/NoisyRationalesで公開されている。

関連論文リスト

• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• On the Noise Robustness of In-Context Learning for Text Generation [41.59602454113563]
  本研究では、テキスト生成タスクにおいて、ノイズの多いアノテーションがテキスト内学習の性能を著しく損なうことを示す。 この問題を回避するために,LPR(Local Perplexity Ranking)と呼ばれるシンプルで効果的なアプローチを提案する。 LPRは「騒々しい」候補者を、より清潔である可能性が高い隣人に置き換える。
  論文  参考訳（メタデータ） (2024-05-27T15:22:58Z)
• Evidence to Generate (E2G): A Single-agent Two-step Prompting for Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
  Evidence to Generate(E2G)は、新しいシングルエージェント、2ステッププロンプトフレームワークである。 証明されていない推論の主張の代わりに、E2Gは文脈で明確に言及された思考列にのみ焦点をあてる。 ツールは、幅広い知識集約的な推論と生成タスクにおいて、顕著な結果を達成する。
  論文  参考訳（メタデータ） (2024-01-11T09:49:15Z)
• Label Noise: Correcting the Forward-Correction [0.0]
  ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処する手法を提案する。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
  論文  参考訳（メタデータ） (2023-07-24T19:41:19Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• Learning based signal detection for MIMO systems with unknown noise statistics [84.02122699723536]
  本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。 実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。 我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
  論文  参考訳（メタデータ） (2021-01-21T04:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。