論文の概要: C$^2$DLM: Causal Concept-Guided Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2511.22146v1
• Date: Thu, 27 Nov 2025 06:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.424171
• Title: C$^2$DLM: Causal Concept-Guided Diffusion Large Language Models
• Title（参考訳）: C$^2$DLM:Causal Concept-Guided Diffusion Large Language Models
• Authors: Kairong Han, Nuanqiao Shan, Ziyu Zhao, Zijing Hu, Xinpeng Dong, Junjian Ye, Lujia Pan, Fei Wu, Kun Kuang,
• Abstract要約: 自己回帰(AR)言語モデルと拡散言語モデル(DLM)は、大きな言語モデルの2つの主要なパラダイムを構成する。 本稿では,UnderlinetextbfCausal underlinetextbfConcept-Guided UnderlinetextbfDiffusionを提案する。 C$2$DLMはまず教師モデルから概念レベルの因果グラフを取得し、その後、概念間の因果関係の学習に注意を向ける。
• 参考スコア（独自算出の注目度）: 43.03880420745772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive (AR) language models and Diffusion Language Models (DLMs) constitute the two principal paradigms of large language models. However, both paradigms suffer from insufficient reasoning capabilities. Human reasoning inherently relies on causal knowledge and thought, which are reflected in natural language. But in the AR paradigm, language is modeled as next token prediction (a strictly left-to-right, token-by-token order), whereas natural language itself exhibits more flexible causal structures. In the DLM paradigm, the attention mechanism is fully connected, which entirely disregards causal order. To fill this gap, we propose a \underline{\textbf{C}}ausal \underline{\textbf{C}}oncept-Guided \underline{\textbf{D}}iffusion \underline{\textbf{L}}anguage \underline{\textbf{M}}odel (C$^2$DLM). Starting from DLM's fully connected attention, C$^2$DLM first obtains a concept-level causal graph from the teacher model, and then explicitly guides attention to learn causal relationships between concepts. By focusing on causal relationships and avoiding interference from difficult subgoals involving causal inversion, C$^2$DLM improves 12\% with about 3.2 times training speedup in the COT-OrderPerturb task, and achieves an average gain of 1.31\% across six downstream reasoning tasks. More details in the repository ~\href{https://github.com/Kairong-Han/C-2-DLM}{here}.
• Abstract（参考訳）: 自己回帰(AR)言語モデルと拡散言語モデル(DLM)は、大きな言語モデルの2つの主要なパラダイムを構成する。 しかし、どちらのパラダイムも推論能力の不足に悩まされている。 人間の推論は本質的には、自然言語に反映される因果的知識と思考に依存している。 しかし、ARパラダイムでは、言語は次のトークン予測(厳密には左から右へのトークン・バイ・トークンの順序)としてモデル化される。 DLMパラダイムでは、注意機構は完全に接続されており、因果順序を完全に無視している。 このギャップを埋めるために、 \underline{\textbf{C}}ausal \underline{\textbf{C}}oncept-Guided \underline{\textbf{D}}iffusion \underline{\textbf{L}}anguage \underline{\textbf{M}}odel (C$^2$DLM)を提案する。 C$^2$DLMは、DLMが完全に結びついた注意から、まず教師モデルから概念レベルの因果グラフを取得し、その後、概念間の因果関係を明示的に学習するために注意を誘導する。 C$^2$DLMは因果関係に焦点を合わせ、因果逆転を伴う困難なサブゴールからの干渉を避けることで、COT-OrderPerturbタスクの約3.2倍のトレーニングスピードアップを12倍に改善し、6つの下流推論タスクで平均1.31倍のアップを達成する。 詳細はリポジトリ ~\href{https://github.com/Kairong-Han/C-2-DLM}{here} にある。

関連論文リスト

• Understanding the Reversal Curse Mitigation in Masked Diffusion Models through Attention and Training Dynamics [9.377137420607541]
  仮面拡散に基づく言語モデル(MDM)は、この失敗をはるかに弱い形で示す。 一般的な説明では、この緩和はいかなる順序の訓練目標にも当てはまる。 この緩和は、建築構造とトレーニングとの相互作用から生じることを示す。
  論文  参考訳（メタデータ） (2026-02-02T14:17:08Z)
• Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning [71.4175109189942]
  Pivot-Aligned Self-Feedback Multilingual Reasoning (PASMR)を提案する。 このアプローチは、モデルの第一言語をピボット言語として指定する。 外部の正しい回答や報酬モデルに頼ることなく、言語横断的な自己フィードバック機構を確立する。
  論文  参考訳（メタデータ） (2026-01-25T03:20:00Z)
• Decoupling Understanding from Reasoning via Problem Space Mapping for Small-scale Model Reasoning [22.582715282848795]
  本稿では、自然言語問題を標準問題空間にマッピングすることで、推論から理解を分離する新しいフレームワークを提案する。 本フレームワークでは, 自己蒸留による推論軌道を反復的に整列する3段階のアルゴリズムであるDURITを導入する。 実験により、DURITはドメイン内およびドメイン外の数学的および論理的推論タスクにおけるSLMの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-08-07T01:13:30Z)
• Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models [44.94287386776289]
  textbfCross-lingual Collapseは、多言語言語モデルが支配的な事前学習言語に回帰する体系的なドリフトである。 実験の結果, (i)GRPOは事前学習言語の不均衡を急速に増幅し, わずか数百回の更新で低リソース言語が侵食され, (ii) 言語整合性報酬はこのドリフトを緩和するが, ほぼ5～10ppの精度の低下を犠牲にしていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T08:08:48Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• On the Thinking-Language Modeling Gap in Large Language Models [68.83670974539108]
  言語と思考のモデリングには大きなギャップがあることが示される。 本稿では,このギャップを実証し緩和するために,Language-of-Thoughts (LoT) と呼ばれる新しいプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2025-05-19T09:31:52Z)
• Reinforcing the Diffusion Chain of Lateral Thought with Diffusion Language Models [31.589548159881932]
  本稿では,拡散言語モデルの推論フレームワークであるDCoLT(Diffusion Chain of Lateral Thought)を紹介する。 DCoLTは、思考の中間段階において文法的正しさに厳格な規則を持たず、双方向で非線形な推論を可能にする。 DCoLT強化拡散言語モデル(DLM)は、SFTやRLで訓練された他のDLMよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-15T16:06:32Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Training Large Language Models to Reason in a Continuous Latent Space [71.0274000348354]
  我々は、言語を超えた推論の可能性を探るため、Coconut (Chain of Continuous Thought)と呼ばれる新しいパラダイムを導入します。 この状態を単語に復号するのではなく、連続した空間に直接埋め込む次の入力としてモデルにフィードバックします。 この潜在的推論パラダイムは、継続的思考が複数の代替の次のステップをエンコードできる高度な推論パターンを可能にする。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)
• Unveiling and Manipulating Prompt Influence in Large Language Models [12.04811490937078]
  Token Distribution Dynamics (TDD)は、大規模言語モデル(LLM)の生成におけるプロンプトの役割を公表し、操作するための、テキストカラーの簡易かつ効果的なアプローチである。
  論文  参考訳（メタデータ） (2024-05-20T09:15:36Z)
• CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
  我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。 ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:12:12Z)
• Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
  言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。 その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-02-02T07:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。