論文の概要: DiffER: Diffusion Entity-Relation Modeling for Reversal Curse in Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2601.07347v1
• Date: Mon, 12 Jan 2026 09:22:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.308297
• Title: DiffER: Diffusion Entity-Relation Modeling for Reversal Curse in Diffusion Large Language Models
• Title（参考訳）: DiffER:拡散大言語モデルにおける逆曲線の拡散エンティティ関係モデリング
• Authors: Shaokai He, Kaiwen Wei, Xinyi Zeng, Xiang Chen, Xue Yang, Zhenyang Li, Jiang Zhong, Yu Tian,
• Abstract要約: 逆の呪い(Reversal curse)とは、大きな言語モデルが双方向関係を処理する際に主に一方向の振る舞いを示す現象である。 DiffER(Diffusion Entity-Relation Modeling)を提案する。
• 参考スコア（独自算出の注目度）: 30.614075347670635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The "reversal curse" refers to the phenomenon where large language models (LLMs) exhibit predominantly unidirectional behavior when processing logically bidirectional relationships. Prior work attributed this to autoregressive training -- predicting the next token inherently favors left-to-right information flow over genuine bidirectional knowledge associations. However, we observe that Diffusion LLMs (DLLMs), despite being trained bidirectionally, also suffer from the reversal curse. To investigate the root causes, we conduct systematic experiments on DLLMs and identify three key reasons: 1) entity fragmentation during training, 2) data asymmetry, and 3) missing entity relations. Motivated by the analysis of these reasons, we propose Diffusion Entity-Relation Modeling (DiffER), which addresses the reversal curse through entity-aware training and balanced data construction. Specifically, DiffER introduces whole-entity masking, which mitigates entity fragmentation by predicting complete entities in a single step. DiffER further employs distribution-symmetric and relation-enhanced data construction strategies to alleviate data asymmetry and missing relations. Extensive experiments demonstrate that DiffER effectively alleviates the reversal curse in Diffusion LLMs, offering new perspectives for future research.
• Abstract（参考訳）: 逆の呪い」とは、論理的に双方向の関係を処理する際に、大きな言語モデル(LLM)が主に一方向の振る舞いを示す現象を指す。 それまでの作業では、これは自己回帰トレーニングによるものであり、次のトークンを予測すれば、真の双方向知識協会よりも、本質的に左から右への情報の流れが好まれる。 しかし,拡散LDM (DLLM) は双方向で訓練されているものの,逆の呪いに悩まされている。 根本原因を明らかにするため, DLLMの系統的実験を行い, 主な原因を3つ挙げる。 1) 訓練中の実体の断片化 2)データ非対称性,及び 3) 実体関係の欠如。 これらの理由の分析によって動機づけられたDiffER(Diffusion Entity-Relation Modeling)を提案する。 具体的には、DiffERは完全なエンティティを単一のステップで予測することでエンティティのフラグメンテーションを緩和する、全エンタリティマスキングを導入している。 DiffERはさらに、データ非対称性と欠落の関係を緩和するために、分散対称性と関係強化されたデータ構築戦略を採用している。 大規模な実験により、DiffERはDiffusion LLMの逆の呪いを効果的に軽減し、将来の研究に新たな視点を提供することを示した。

関連論文リスト

• DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
  テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。 DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。 SLIMはセマンティックリークに特化した最初のデータセットである。
  論文  参考訳（メタデータ） (2025-10-16T17:39:21Z)
• BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
  Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。 本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:13:06Z)
• Supposedly Equivalent Facts That Aren't? Entity Frequency in Pre-training Induces Asymmetry in LLMs [34.062839703584444]
  非対称性が論理的に等価な事実の認識に存在し、それは対象と対象とに出現する実体の周波数の相違に起因する。 実験の結果,高頻度の被写体と低周波の被写体は,その論理的等価性にもかかわらず,逆の被写体よりもよく認識されていることが明らかとなった。 これらの知見は, 模擬モデル予測における事前学習データの影響を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-28T12:12:38Z)
• Beyond Reward Hacking: Causal Rewards for Large Language Model Alignment [30.605500809158986]
  本稿では,因果関係を緩和するために因果関係を統合した因果報酬モデリング手法を提案する。 提案手法は様々な種類のスプリアス相関を効果的に緩和し,LLMと人間の嗜好との整合性を高めた。
  論文  参考訳（メタデータ） (2025-01-16T16:00:37Z)
• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• A Causal Ordering Prior for Unsupervised Representation Learning [27.18951912984905]
  因果表現学習(Causal representation learning)は、データセットの変動の要因は、実際には因果関係にあると主張している。 本稿では,遅延付加雑音モデルを用いたデータ生成過程を考慮した,教師なし表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-11T18:12:05Z)
• Should We Rely on Entity Mentions for Relation Extraction? Debiasing Relation Extraction with Counterfactual Analysis [60.83756368501083]
  文レベルの関係抽出のためのCORE(Counterfactual Analysis based Relation extract)デバイアス法を提案する。 我々のCORE法は,トレーニングプロセスを変更することなく,推論中に既存のREシステムを劣化させるモデルに依存しない。
  論文  参考訳（メタデータ） (2022-05-08T05:13:54Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。