論文の概要: Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse

• arxiv url: http://arxiv.org/abs/2410.21333v3
• Date: Fri, 08 Nov 2024 13:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:15.460186
• Title: Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse
• Title（参考訳）: Mind Your Step (ステップによって): 思考が人間を悪くするタスクのパフォーマンスを低下させる
• Authors: Ryan Liu, Jiayi Geng, Addison J. Wu, Ilia Sucholutsky, Tania Lombrozo, Thomas L. Griffiths,
• Abstract要約: CoT(Chain-of-Thought)は、大規模言語やマルチモーダルモデルを扱う上で広く使われている戦略である。 認知心理学からインスピレーションを得て,CoTが性能を低下させるタスクの特徴を同定する。 予測時間推論を用いた場合,多種多様な最先端モデル群が性能低下を示すことが判明した。
• 参考スコア（独自算出の注目度）: 9.542503507653494
• License:
• Abstract: Chain-of-thought (CoT) prompting has become a widely used strategy for working with large language and multimodal models. While CoT has been shown to improve performance across many tasks, determining the settings in which it is effective remains an ongoing effort. In particular, it is still an open question in what settings CoT systematically reduces model performance. In this paper, we seek to identify the characteristics of tasks where CoT reduces performance by drawing inspiration from cognitive psychology, looking at cases where (i) verbal thinking or deliberation hurts performance in humans, and (ii) the constraints governing human performance generalize to language models. Three such cases are implicit statistical learning, visual recognition, and classifying with patterns containing exceptions. In extensive experiments across all three settings, we find that a diverse collection of state-of-the-art models exhibit significant drop-offs in performance (e.g., up to 36.3% absolute accuracy for OpenAI o1-preview compared to GPT-4o) when using inference-time reasoning compared to zero-shot counterparts. We also identify three tasks that satisfy condition (i) but not (ii), and find that while verbal thinking reduces human performance in these tasks, CoT retains or increases model performance. Overall, our results show that while there is not an exact parallel between the cognitive processes of models and those of humans, considering cases where thinking has negative consequences for human performance can help us identify settings where it negatively impacts models. By connecting the literature on human deliberation with evaluations of CoT, we offer a new tool that can be used in understanding the impact of prompt choices and inference-time reasoning.
• Abstract（参考訳）: CoT(Chain-of- Thought)プロンプトは、大規模言語やマルチモーダルモデルを扱う上で広く使われている戦略となっている。 CoTは、多くのタスクでパフォーマンスを改善することが示されているが、効果的である設定を決定することは、現在も進行中の努力である。 特に、CoTがモデルパフォーマンスを体系的に減らすのは、まだオープンな問題です。 本稿では,認知心理学からインスピレーションを得て,CoTがパフォーマンスを低下させるタスクの特徴を明らかにする。 一 言語思考又は熟考が人のパフォーマンスを損なうこと、 (2)人間のパフォーマンスを規定する制約は言語モデルに一般化する。 このような3つのケースは、暗黙的な統計的学習、視覚認識、例外を含むパターンの分類である。 3つの設定の全てにわたる広範な実験において、ゼロショットのモデルと比較して推論時間を用いた場合、様々な最先端モデルのコレクションは、性能(例えば、OpenAI o1-previewの最大36.3%の絶対精度)が著しく低下していることが判明した。 条件を満たす3つのタスクも特定する。 (i)しかしそうではない (i) 言語思考がこれらのタスクにおける人間のパフォーマンスを低下させるのに対して、CoTはモデルのパフォーマンスを維持または向上させる。 全体として、モデルと人間の認知プロセスの間には、正確な並列性はないが、人間のパフォーマンスにネガティブな結果をもたらす場合を考えると、モデルに悪影響を及ぼすような設定を特定するのに役立ちます。 人間の議論に関する文献とCoTの評価を結びつけることで、迅速な選択と推論時間推論の影響を理解するために使用できる新しいツールを提供する。

関連論文リスト

• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Insights into Alignment: Evaluating DPO and its Variants Across Multiple Tasks [38.63497972682599]
  本研究では,3つのシナリオにまたがるアライメント手法の性能について検討した。 我々の評価は、対話システム、推論、数学的問題解決、質問応答、真理性、マルチタスク理解など、幅広いタスクにまたがる。 重要な観察では、アライメント手法は、より小さなトレーニングデータサブセットで最適なパフォーマンスを達成し、推論タスクにおいて限られた効果を示すが、数学的問題解決には著しく影響し、特に真理性に影響を及ぼす命令付きモデルを用いることが示されている。
  論文  参考訳（メタデータ） (2024-04-23T03:55:01Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Prompt Perturbation Consistency Learning for Robust Language Models [47.021022978847036]
  大規模言語モデル(LLM)は、多くの自然言語処理タスクにおいて印象的なパフォーマンスを示している。 微調整を十分に行うと,識別モデルに匹敵するIC-SF性能が得られることを示す。 クリーンサンプルと摂動サンプルの損失の分散を規則化して機能する,効率的な緩和手法であるPrompt Perturbation Consistency Learning(PPCL)を提案する。
  論文  参考訳（メタデータ） (2024-02-24T15:00:58Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• Planning for Sample Efficient Imitation Learning [52.44953015011569]
  現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。 本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。 実験結果から,EIは性能と試料効率の両立を図った。
  論文  参考訳（メタデータ） (2022-10-18T05:19:26Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Modeling Score Distributions and Continuous Covariates: A Bayesian Approach [8.772459063453285]
  連続共変量に対するマッチングと非マッチスコア分布の生成モデルを構築した。 混合モデルを用いて任意の分布と局所基底関数をキャプチャする。 提案手法の精度と有効性を示す3つの実験を行った。
  論文  参考訳（メタデータ） (2020-09-21T02:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。