論文の概要: Limits of Deep Learning: Sequence Modeling through the Lens of Complexity Theory

• arxiv url: http://arxiv.org/abs/2405.16674v1
• Date: Sun, 26 May 2024 19:33:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 19:48:31.565202
• Title: Limits of Deep Learning: Sequence Modeling through the Lens of Complexity Theory
• Title（参考訳）: 深層学習の限界:複雑度理論のレンズによるシーケンスモデリング
• Authors: Nikola Zubić, Federico Soldá, Aurelio Sulser, Davide Scaramuzza,
• Abstract要約: 現在のモデルは、真のマルチステップ推論よりもショートカットに依存しており、タスクの複雑さが増大するにつれてパフォーマンスが低下する。 我々の貢献は、SSMの限界を説明するための複雑性理論に基づく理論的枠組みを提供する。 実験の結果,Chain-of-Thoughtが促進しても,タスクの複雑性が増大するにつれて,大幅なパフォーマンス低下がみられた。
• 参考スコア（独自算出の注目度）: 15.24542569393982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models have achieved significant success across various applications but continue to struggle with tasks requiring complex reasoning over sequences, such as function composition and compositional tasks. Despite advancements, models like Structured State Space Models (SSMs) and Transformers underperform in deep compositionality tasks due to inherent architectural and training limitations. Maintaining accuracy over multiple reasoning steps remains a primary challenge, as current models often rely on shortcuts rather than genuine multi-step reasoning, leading to performance degradation as task complexity increases. Existing research highlights these shortcomings but lacks comprehensive theoretical and empirical analysis for SSMs. Our contributions address this gap by providing a theoretical framework based on complexity theory to explain SSMs' limitations. Moreover, we present extensive empirical evidence demonstrating how these limitations impair function composition and algorithmic task performance. Our experiments reveal significant performance drops as task complexity increases, even with Chain-of-Thought (CoT) prompting. Models frequently resort to shortcuts, leading to errors in multi-step reasoning. This underscores the need for innovative solutions beyond current deep learning paradigms to achieve reliable multi-step reasoning and compositional task-solving in practical applications.
• Abstract（参考訳）: ディープラーニングモデルは様々なアプリケーションで大きな成功を収めてきたが、関数合成や構成タスクといった複雑な推論を必要とするタスクに悩まされ続けている。 進歩にもかかわらず、構造化状態空間モデル (Structured State Space Models, SSM) やトランスフォーマー (Transformer) のようなモデルは、固有のアーキテクチャやトレーニングの制限により、深い構成性タスクにおいてパフォーマンスが低い。 現在のモデルは真のマルチステップ推論ではなくショートカットに依存しており、タスクの複雑さが増大するにつれてパフォーマンスが低下する。 既存の研究はこれらの欠点を強調しているが、SSMの包括的な理論的および経験的分析は欠如している。 我々の貢献は、SSMの限界を説明するための複雑性理論に基づく理論的枠組みを提供することによって、このギャップに対処する。 さらに,これらの制限が機能構成とアルゴリズム的タスク性能を損なうことを示す広範な実証的証拠を示す。 実験の結果,Chain-of-Thought(CoT)が促進しても,タスクの複雑性が増大するにつれて,大幅なパフォーマンス低下がみられた。 モデルはしばしばショートカットを頼りにしており、多段階推論の誤りにつながる。 このことは、実用的な応用において、信頼性の高い多段階推論と構成的タスク解決を実現するために、現在のディープラーニングパラダイムを超えた革新的なソリューションの必要性を浮き彫りにしている。

関連論文リスト

• Supervised Chain of Thought [5.389461633686935]
  Chain of Thought (CoT)は複雑な推論タスクを解決するための有望なアプローチを提供する。 ワンプロンプト・フォー・オールアプローチは、正しい推論ステップを生成するためにモデルに重大な課題をもたらす。 タスク固有の監督が、プロンプト空間を正確にナビゲートし、最適な性能を達成するためにいかに重要であるかを示す。
  論文  参考訳（メタデータ） (2024-10-18T06:25:27Z)
• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Do Large Language Models Have Compositional Ability? An Investigation into Limitations and Scalability [12.349247962800813]
  大規模言語モデル(LLM)は多くのAI問題に対する強力なツールとして登場した。 また、ICL(In-context Learning)機能も備えている。 複合的なタスクにどのようにアプローチするかは、未解明の未解決の問題のままである。
  論文  参考訳（メタデータ） (2024-07-22T15:22:34Z)
• A Notion of Complexity for Theory of Mind via Discrete World Models [2.487142846438629]
  ToM(Theory of Mind)は、社会的推論が必要な複雑なシナリオにおいて、LLM(Large Language Models)の機能を評価するために用いられる。 本研究では,ToMタスクの複雑さを測定するための認知負荷理論に着想を得たフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-16T16:46:55Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。