論文の概要: On Powerful Ways to Generate: Autoregression, Diffusion, and Beyond

• arxiv url: http://arxiv.org/abs/2510.06190v1
• Date: Tue, 07 Oct 2025 17:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.403546
• Title: On Powerful Ways to Generate: Autoregression, Diffusion, and Beyond
• Title（参考訳）: 強力な生成方法について:自己回帰、拡散、そしてそれ以上
• Authors: Chenxiao Yang, Cai Zhou, David Wipf, Zhiyuan Li,
• Abstract要約: 自己回帰的次トーケン予測やマスク拡散を含む生成過程について検討した。 我々は,計算硬度や学習可能性などの測定可能な基準によって,それらの利点と限界を定量化する。
• 参考スコア（独自算出の注目度）: 32.157410985109124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper formally studies generation processes, including auto-regressive next-token prediction and masked diffusion, that abstract beyond architectural specifics. At this level of abstraction, we quantify their benefits and limitations through measurable criteria such as computational hardness and learnability. In particular, we demonstrate that allowing generation to proceed beyond autoregression and current masked diffusion, with capabilities to rewrite and length-variable edit, can bring significant theoretical and empirical advantages, with important implications for frontier LLMs that aspire to tackle increasingly hard problems and work universally across domains beyond natural language, such as coding and science.
• Abstract（参考訳）: 本稿では, 自動回帰型次トーケン予測やマスク拡散など, 建築仕様を超越した生成過程を正式に研究する。 この抽象化のレベルでは、計算硬度や学習可能性などの測定可能な基準によって、それらの利点と限界を定量化する。 特に、生成が自己回帰や現在のマスク拡散を超えて進行し、書き直しや編集が可能であることは、フロンティアのLSMにとって重要な意味を持ち、コーディングや科学などの自然言語以外の領域を普遍的に扱うことを目的としている。

関連論文リスト

• Towards Transparent AI: A Survey on Explainable Language Models [22.70051215800476]
  言語モデル(LM)は、自然言語処理を著しく進歩させ、様々な領域で顕著な進歩を可能にした。 透明性の欠如は、高い領域の採用において特に問題となる。 XAI法は非LMに対してよく研究されているが、LMに適用した場合、多くの制限に直面している。
  論文  参考訳（メタデータ） (2025-09-25T21:47:39Z)
• Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework [13.533352973355013]
  Low-Rank Adaptation (LoRA)は、大きな言語モデルでドメイン固有の知識を驚くほど効率よく取得することを可能にする。 本研究は,知識グラフを基盤としたファクトファクトを介し,微調整 LLM を記述した新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-25T14:37:40Z)
• Scaling and Beyond: Advancing Spatial Reasoning in MLLMs Requires New Recipes [84.1059652774853]
  MLLM(Multimodal Large Language Models)は、一般的な視覚言語タスクにおいて印象的な性能を示す。 近年の研究では、空間的推論能力の限界が明らかにされている。 この空間的推論の欠如は、MLLMが物理的世界と効果的に相互作用する能力を著しく制限する。
  論文  参考訳（メタデータ） (2025-04-21T11:48:39Z)
• A Survey on Post-training of Large Language Models [185.51013463503946]
  大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。 これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。 本稿では,タスク固有の精度を向上するファインチューニング,倫理的コヒーレンスと人間の嗜好との整合性を保証するアライメント,報酬設計の課題によらず多段階の推論を進める推論,統合と適応の5つのパラダイムを体系的に追跡したPoLMの総合的な調査について述べる。
  論文  参考訳（メタデータ） (2025-03-08T05:41:42Z)
• An Overview of Large Language Models for Statisticians [109.38601458831545]
  大規模言語モデル(LLM)は人工知能(AI)の変換ツールとして登場した。 本稿では, 統計学者がLLMの開発に重要な貢献できる可能性について考察する。 我々は不確実性定量化、解釈可能性、公正性、プライバシー、透かし、モデル適応といった問題に焦点を当てる。
  論文  参考訳（メタデータ） (2025-02-25T03:40:36Z)
• A Survey on Large Language Models with some Insights on their Capabilities and Limitations [0.3222802562733786]
  大規模言語モデル(LLM)は、様々な言語関連タスクで顕著なパフォーマンスを示す。 LLMは、そのコア機能を超えて、創発的な能力を示す。 本稿では,これらの機能を実現する基盤となるコンポーネント,スケーリング機構,アーキテクチャ戦略について検討する。
  論文  参考訳（メタデータ） (2025-01-03T21:04:49Z)
• An Interdisciplinary Outlook on Large Language Models for Scientific Research [3.4108358650013573]
  本稿では,異なる学問分野におけるLarge Language Models(LLM)の機能と制約について述べる。 本稿では, LLM が学術調査の強化を図り, 大量の出版物を要約することで, 文献レビューの促進などの具体的な事例を提示する。 LLMが直面する課題には、広範囲で偏見のあるデータセットへの依存や、それらの使用から生じる潜在的な倫理的ジレンマが含まれる。
  論文  参考訳（メタデータ） (2023-11-03T19:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。