論文の概要: Larger Language Models Don't Care How You Think: Why Chain-of-Thought Prompting Fails in Subjective Tasks

• arxiv url: http://arxiv.org/abs/2409.06173v2
• Date: Tue, 17 Sep 2024 17:42:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 21:09:36.422235
• Title: Larger Language Models Don't Care How You Think: Why Chain-of-Thought Prompting Fails in Subjective Tasks
• Title（参考訳）: 大規模言語モデルでは、どのように考えるかは気にしません: 主観的なタスクにおいて、なぜチェーン・オブ・ソートが失敗するのか
• Authors: Georgios Chochlakis, Niyantha Maruthu Pandiyan, Kristina Lerman, Shrikanth Narayanan,
• Abstract要約: In-Context Learning (ICL) in Large Language Models (LLM) が自然言語処理の主流の手法として登場した。 ICLはタスク先行の検索に大きく依存しており、タスクを実行するための"学習"は少なくなっている。 驚くべきことに、CoT(Chain-of-Thought)は、大きな言語モデルではICLと同じ後方崩壊に悩まされている。
• 参考スコア（独自算出の注目度）: 25.562937159039038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) in Large Language Models (LLM) has emerged as the dominant technique for performing natural language tasks, as it does not require updating the model parameters with gradient-based methods. ICL promises to "adapt" the LLM to perform the present task at a competitive or state-of-the-art level at a fraction of the computational cost. ICL can be augmented by incorporating the reasoning process to arrive at the final label explicitly in the prompt, a technique called Chain-of-Thought (CoT) prompting. However, recent work has found that ICL relies mostly on the retrieval of task priors and less so on "learning" to perform tasks, especially for complex subjective domains like emotion and morality, where priors ossify posterior predictions. In this work, we examine whether "enabling" reasoning also creates the same behavior in LLMs, wherein the format of CoT retrieves reasoning priors that remain relatively unchanged despite the evidence in the prompt. We find that, surprisingly, CoT indeed suffers from the same posterior collapse as ICL for larger language models. Code is avalaible at https://github.com/gchochla/cot-priors.
• Abstract（参考訳）: In-Context Learning (ICL) in Large Language Models (LLM) は、勾配に基づく手法でモデルパラメータを更新する必要がなくなるため、自然言語タスクを実行する主要な技術として登場した。 ICLはLLMを「適応」し、計算コストのごく一部で現在のタスクを競争的または最先端レベルで実行することを約束する。 ICLは、プロンプトで最終ラベルに明示的に到達する推論プロセス、すなわちChain-of-Thought(CoT)プロンプトを組み込むことで拡張することができる。 しかし、最近の研究によると、ICLはタスク先行の検索に大きく依存しており、特に感情や道徳のような複雑な主観的領域において、前者が後続の予測を強要する「学習」にはあまり依存していない。 本研究では,LLMにおける「発声」推論が同一の振る舞いを生じさせるかどうかを考察する。 驚くべきことに、大きな言語モデルでは、CoTはICLと同じ後方崩壊に悩まされている。 code is avalaible at https://github.com/gchochla/cot-priors.com

関連論文リスト

• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When [19.841163050181194]
  トランスフォーマーのような大きな言語モデル(LLM)は、インコンテキスト学習(ICL)機能を示す。 我々は、非構造化データで訓練されたモデルにおいて、ICLを実現するために、重要なシーケンスモデル要件とデータ構造について検討する。 我々は,非構造化データにおける意味的関連語対の共起から,多くのICL機能が出現することを発見した。 In one in logic reasoning task that requires generalization to new, unseen pattern, and another in analogy completion where relevant word pairs appears in fixed training position。
  論文  参考訳（メタデータ） (2024-05-31T18:46:06Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Chain-of-Thought Reasoning Without Prompting [40.92854235219315]
  CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練された言語モデルから引き出すことができる。 復号経路におけるCoTの存在は、モデルの復号解に対する高い信頼と相関する。
  論文  参考訳（メタデータ） (2024-02-15T18:55:41Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
  我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。 ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:12:12Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Exploring Continual Learning for Code Generation Models [80.78036093054855]
  継続的学習(CL)は、コードドメインの中でまだ過小評価されていない重要な側面である。 コード生成,翻訳,要約,改良など,幅広いタスクをカバーするCodeTask-CLというベンチマークを導入する。 即時選択機構の不安定な訓練により,プロンプトプール (PP) などの有効手法が破滅的な忘れ込みに悩まされることが判明した。
  論文  参考訳（メタデータ） (2023-07-05T16:58:39Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。