論文の概要: Graph-of-Causal Evolution: Challenging Chain-of-Model for Reasoning

• arxiv url: http://arxiv.org/abs/2506.07501v1
• Date: Mon, 09 Jun 2025 07:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.847946
• Title: Graph-of-Causal Evolution: Challenging Chain-of-Model for Reasoning
• Title（参考訳）: カオス・オブ・カジュアル進化 : 推論のためのカオス・オブ・モデル
• Authors: Libo Wang,
• Abstract要約: この研究は因果進化グラフ(GoCE)を提案する。 GoCEは暗黙のトークン表現を、微分可能でスパースな因果隣接行列にマッピングし、計算の各層を通じて因果制約を透過する。 CLUTRR、CLADDER、EX-FEVER、CausalQAなどの公開データセットで評価されている。
• 参考スコア（独自算出の注目度）: 4.586907225774023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In view of the problem that each subchain in the chain-of-model (CoM) relies only on the information of the previous subchain and may lose long-range dependencies due to the causal mask blocking the global context flow between multi-level subchains, this work proposes a graph of causal evolution (GoCE). Its core principle is to map the implicit token representation into a differentiable and sparse causal adjacency matrix, then permeate causal constraints through each layer of calculation using causal-masked attention and causal-MoE. By combining intervention consistency loss test and self-evolution gate, the dynamic balance between causal structure learning and adaptive updating of transformer architecture is realized. The researcher built experimental environments in sandboxes built with Claude Sonnet 4, o4-mini-high, and DeepSeek R1 respectively with the transformer variant architecture introduced in GoCE. It is evaluated on publicly available datasets including CLUTRR, CLADDER, EX-FEVER, and CausalQA and compared with the baseline LLMs. The finding proves that GoCE strengthens the transformer's ability to capture long-range causal dependencies, while the ability to self-evolve is improved. It not only surpasses the design of CoM in terms of design principles, but also provides experience for future research on causal learning and continuous adaptive improvement.
• Abstract（参考訳）: チェーン・オブ・モデル(CoM)の各サブチェーンは、以前のサブチェーンの情報のみに依存しており、マルチレベルサブチェーン間のグローバルなコンテキストフローをブロックする因果マスクによって長距離依存を失う可能性があるという問題を考えると、この研究は因果進化グラフ(GoCE)を提案する。 その中核となる原理は、暗黙のトークン表現を微分可能でスパースな因果隣接行列にマッピングし、因果マスキングと因果MoEを用いて計算の各層に因果制約を浸透させることである。 干渉整合損失試験と自己進化ゲートを組み合わせることにより、因果構造学習と変圧器アーキテクチャの適応更新との動的バランスを実現する。 研究者は、Claude Sonnet 4、o4-mini-high、DeepSeek R1で構築されたサンドボックスに、それぞれGoCEで導入されたトランスフォーマーのバリエーションアーキテクチャを使って実験環境を構築した。 CLUTRR、CLADDER、EX-FEVER、CausalQAなどの公開データセットで評価され、ベースラインのLCMと比較される。 この発見は、GoCEがトランスフォーマーの長距離因果依存性を捕捉する能力を強化し、自己進化能力が向上していることを証明している。 デザイン原則の観点からはCoMの設計を超えるだけでなく、因果学習と継続的適応改善に関する将来の研究に経験を提供する。

関連論文リスト

• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs [63.36637269634553]
  本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• How Transformers Learn Causal Structure with Gradient Descent [44.31729147722701]
  自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。 我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。 我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
  論文  参考訳（メタデータ） (2024-02-22T17:47:03Z)
• Causality is all you need [63.10680366545293]
  因果グラフルーティング(Causal Graph Routing, CGR)は、データに隠された原因影響力を明らかにするための介入機構を完全に依存した統合因果スキームである。 CGRは、Visual Question AnswerとLong Document Classificationタスクの両方において、最先端のメソッドを超越することができる。
  論文  参考訳（メタデータ） (2023-11-21T02:53:40Z)
• Concept-free Causal Disentanglement with Variational Graph Auto-Encoder [4.171080633895958]
  本稿では, 最適因子を近似した理論的に証明可能な高次境界上に構築した, 概念自由因果解(concept-free causal disentanglement)を提案する。 本研究では,新しい因果不整合層を変分グラフオートエンコーダに組み込むことで,概念自由因果VGAE(Concept-free Causal VGAE)を提案する。 そこで我々は,概念自由因果不整合(concept-free causal disentanglement)フレームワークにおいて概念整合性を証明し,概念自由因果メタグラフ(concept-free causal Meta-Graph)と呼ばれるメタラーニングフレームワークを強化する。
  論文  参考訳（メタデータ） (2023-11-17T16:50:00Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Focus the Discrepancy: Intra- and Inter-Correlation Learning for Image Anomaly Detection [13.801572236048601]
  FOD(FOcus-the-Discrepancy)は、異常のパッチワイド、イントラ・イントラ・インター・ディレクレンシーを同時に検出することができる。 本稿では,新たなADフレームワークであるFOcus-the-Discrepancy(FOD)を提案する。
  論文  参考訳（メタデータ） (2023-08-06T01:30:26Z)
• End-to-End Supervised Multilabel Contrastive Learning [38.26579519598804]
  マルチラベル表現学習は、オブジェクトカテゴリ間のラベル依存やデータ関連の問題に関連付けられる難しい問題として認識されている。 近年の進歩は、モデルとデータ中心の視点からこれらの課題に対処している。 KMCLと呼ばれる新しいエンドツーエンドのトレーニングフレームワークを提案し、モデルとデータ中心の設計の欠点に対処する。
  論文  参考訳（メタデータ） (2023-07-08T12:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。