論文の概要: Focus on Your Question! Interpreting and Mitigating Toxic CoT Problems in Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2402.18344v1
• Date: Wed, 28 Feb 2024 14:09:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 14:44:17.338797
• Title: Focus on Your Question! Interpreting and Mitigating Toxic CoT Problems in Commonsense Reasoning
• Title（参考訳）: 質問に集中しろ! コモンセンス推論における有害CoT問題の解釈と緩和
• Authors: Jiachun Li, Pengfei Cao, Chenhao Wang, Zhuoran Jin, Yubo Chen, Daojian Zeng, Kang Liu, Jun Zhao
• Abstract要約: 大規模言語モデルは高レベルのコモンセンス推論能力を示す。 CoTライクな手法は、もともとは正しい答えが間違っていた、というかなりの数に繋がる。 帰属的追跡法と因果的追跡法を用いて,モデルの内部動作機構を探索する。
• 参考スコア（独自算出の注目度）: 22.896761535855376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models exhibit high-level commonsense reasoning abilities, especially with enhancement methods like Chain-of-Thought (CoT). However, we find these CoT-like methods lead to a considerable number of originally correct answers turning wrong, which we define as the Toxic CoT problem. To interpret and mitigate this problem, we first utilize attribution tracing and causal tracing methods to probe the internal working mechanism of the LLM during CoT reasoning. Through comparisons, we prove that the model exhibits information loss from the question over the shallow attention layers when generating rationales or answers. Based on the probing findings, we design a novel method called RIDERS (Residual decodIng and sERial-position Swap), which compensates for the information deficit in the model from both decoding and serial-position perspectives. Through extensive experiments on multiple commonsense reasoning benchmarks, we validate that this method not only significantly eliminates Toxic CoT problems (decreased by 23.6%), but also effectively improves the model's overall commonsense reasoning performance (increased by 5.5%).
• Abstract（参考訳）: 大規模言語モデルは、特にChain-of-Thought (CoT)のような拡張手法で、高度なコモンセンス推論能力を示す。 しかし、これらのCoTライクな手法は、Toxic CoT問題と定義する、元の正解が誤りを犯す原因となる。 この問題を解釈し緩和するために,まず帰属的追跡法と因果的追跡法を用いて,COT推論中のLLMの内部動作機構を探索する。 比較により,本モデルが有理性や回答を生成する際に,浅い注意層上の質問から情報損失を生じさせることを示す。 探索結果に基づいて、復号とシリアルポジションの両方の観点からモデルにおける情報不足を補うRIDERS(Residual decodIng and serial-position Swap)と呼ばれる新しい手法を設計する。 複数のコモンセンス推論ベンチマークに関する広範な実験を通じて、この手法がトキシックCoT問題を著しく排除するだけでなく(23.6%)、モデル全体のコモンセンス推論性能を効果的に改善する(5.5%)。

関連論文リスト

• Towards Robust Text Classification: Mitigating Spurious Correlations with Causal Learning [2.7813683000222653]
  本稿では,因果関係へのモデル依存を軽減するために,因果相関ロバスト (CCR) を提案する。 CCRは、逆確率重み付け(IPW)損失関数とともに、反ファクト推論に基づく因果的特徴選択法を統合する。 グループラベルを持たないメソッド間でのCCRの最先端性能を示し、場合によってはグループラベルを利用するモデルと競合する。
  論文  参考訳（メタデータ） (2024-11-01T21:29:07Z)
• Causal Order Discovery based on Monotonic SCMs [5.47587439763942]
  本稿では,根変数を反復的に検出することで因果順序を直接同定する新しいシーケンシャル手順を提案する。 この方法では、スパーシティ仮定と関連する最適化課題が不要になる。 本稿では,ルート変数の逐次探索におけるアプローチの有効性を,ヤコビアン空間を最大化する手法と比較する。
  論文  参考訳（メタデータ） (2024-10-24T03:15:11Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• A Hopfieldian View-based Interpretation for Chain-of-Thought Reasoning [48.51969964676017]
  CoT(Chain-of-Thought)は、大規模言語モデルの推論性能を高める上で重要な位置を占めている。 本稿では,CoTの精度を制御するためのリード・アンド・コントロル手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T04:07:13Z)
• Towards Faithful Chain-of-Thought: Large Language Models are Bridging Reasoners [19.40385041079461]
  大きな言語モデル(LLM)は、深刻な不信の連鎖(CoT)問題に悩まされる。 まず、CoTステップの粒度におけるCoT忠実度問題について検討し、2つの推論パラダイムを特定した。 次に、推論中の文脈、CoT、回答の因果関係を共同で分析する。
  論文  参考訳（メタデータ） (2024-05-29T09:17:46Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning [92.05556163518999]
  MARLは、コミュニケーションと可観測性に様々な制約を課すことによって、問題を悪化させる。 値ベースの手法では、最適な値関数を正確に表現することが課題となる。 政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。 学習理論の観点からは、関連するアクション値関数を正確に表現することで、両方の問題に対処できることが示される。
  論文  参考訳（メタデータ） (2021-05-31T23:08:05Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• Towards Out-of-Distribution Detection with Divergence Guarantee in Deep Generative Models [22.697643259435115]
  深層生成モデルは、分布外データ(OOD)に対して、分布内データ(ID)よりも高い確率を割り当てることができる。 フローベースモデルにおける散逸を解析するための定理を証明している。 本稿では,2つのグループ異常検出手法を提案する。
  論文  参考訳（メタデータ） (2020-02-09T09:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。