論文の概要: Beyond Autoregression: Discrete Diffusion for Complex Reasoning and Planning

• arxiv url: http://arxiv.org/abs/2410.14157v1
• Date: Fri, 18 Oct 2024 03:48:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:42.714693
• Title: Beyond Autoregression: Discrete Diffusion for Complex Reasoning and Planning
• Title（参考訳）: 自己回帰を超えて - 複雑な推論と計画のための離散拡散
• Authors: Jiacheng Ye, Jiahui Gao, Shansan Gong, Lin Zheng, Xin Jiang, Zhenguo Li, Lingpeng Kong,
• Abstract要約: 拡散モデルが自己回帰的アプローチを損なう困難なサブゴールをどのように学習するかを示す。 学習時の難易度に基づいてサブゴールを優先する多粒性拡散モデリング(MDM)を提案する。 Countdown、Sudoku、Boolean Satisfiability Problemsといった複雑なタスクでは、MDMは検索テクニックを使わずに自己回帰モデルよりも優れている。
• 参考スコア（独自算出の注目度）: 89.96284387376119
• License:
• Abstract: Autoregressive language models, despite their impressive capabilities, struggle with complex reasoning and long-term planning tasks. We introduce discrete diffusion models as a novel solution to these challenges. Through the lens of subgoal imbalance, we demonstrate how diffusion models effectively learn difficult subgoals that elude autoregressive approaches. We propose Multi-granularity Diffusion Modeling (MDM), which prioritizes subgoals based on difficulty during learning. On complex tasks like Countdown, Sudoku, and Boolean Satisfiability Problems, MDM significantly outperforms autoregressive models without using search techniques. For instance, MDM achieves 91.5\% and 100\% accuracy on Countdown and Sudoku, respectively, compared to 45.8\% and 20.7\% for autoregressive models. Our work highlights the potential of diffusion-based approaches in advancing AI capabilities for sophisticated language understanding and problem-solving tasks.
• Abstract（参考訳）: 自己回帰言語モデルは、その印象的な能力にもかかわらず、複雑な推論と長期計画タスクに苦労する。 これらの課題に対する新しい解法として離散拡散モデルを導入する。 不均衡のレンズを通して,拡散モデルが自己回帰的アプローチを損なう困難なサブゴールを効果的に学習する方法を実証する。 学習時の難易度に基づいてサブゴールを優先する多粒性拡散モデリング(MDM)を提案する。 Countdown、Sudoku、Boolean Satisfiability Problemsといった複雑なタスクでは、MDMは検索テクニックを使わずに自己回帰モデルよりも優れている。 例えば、MDMはCountdownとSudokuでそれぞれ91.5\%と100\%の精度を達成しており、自動回帰モデルでは45.8\%と20.7\%である。 我々の研究は、洗練された言語理解と問題解決タスクのためのAI能力の進歩における拡散ベースのアプローチの可能性を強調している。

関連論文リスト

• Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions [14.85882273040068]
  仮面拡散モデル (MDMs) は、離散領域にまたがる生成的モデリングのための有望な代替手法として登場した。 適応推論は、事前訓練されたMDMの精度を7$%から90$%に向上させ、ARMを7times$のパラメータで上回ります。
  論文  参考訳（メタデータ） (2025-02-10T18:47:21Z)
• ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
  連続的な視覚生成には、フルシーケンスの拡散に基づくアプローチが必要である。 本稿では,自己回帰的ブロックワイド条件拡散変換器ACDiTを提案する。 本稿では,拡散目標を訓練しながら,視覚理解タスクにACDiTをシームレスに使用できることを実証する。
  論文  参考訳（メタデータ） (2024-12-10T18:13:20Z)
• Diffusion-VLA: Scaling Robot Foundation Models via Unified Diffusion and Autoregression [9.923268972395107]
  DiffusionVLAは、自己回帰モデルと拡散モデルとをシームレスに組み合わせ、ビジュモータポリシーを学習するフレームワークである。 自己推論によるポリシー学習を強化するために,新しい推論インジェクションモジュールを導入する。 複数の実ロボットを用いて広範に実験を行い,DiffusionVLAの有効性を検証した。
  論文  参考訳（メタデータ） (2024-12-04T13:11:38Z)
• Scaling Diffusion Language Models via Adaptation from Autoregressive Models [105.70889434492143]
  拡散言語モデル(DLM)は、テキスト生成モデルのための将来性のある新しいパラダイムとして登場した。 170Mから7BまでのARモデルをDiffuGPTとDiffuLLaMAの拡散モデルに変換し、200B未満のトークンでトレーニングできることを示す。 実験の結果,これらのモデルは初期のDLMよりも優れており,ARと競合していることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T14:04:22Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
  Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。 DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。 本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-12T16:23:28Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  MADiffは拡散型マルチエージェント学習フレームワークである。 分散ポリシと集中型コントローラの両方として機能する。 実験の結果,MADiffは様々なマルチエージェント学習タスクにおいて,ベースラインアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。