論文の概要: Measuring Temporal Linguistic Emergence in Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2604.23235v1
- Date: Sat, 25 Apr 2026 10:17:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.219275
- Title: Measuring Temporal Linguistic Emergence in Diffusion Language Models
- Title（参考訳）: 拡散言語モデルにおける時間言語的創発性の測定
- Authors: Harry Lu,
- Abstract要約: 拡散言語モデルは明示的な聴覚的軌跡を露呈する。
WikiText-103テキスト上でLLaDA-8B-Baseの3つの独立した32ステップ実行について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models expose an explicit denoising trajectory, making it possible to ask when different kinds of information become measurable during generation. We study three independent 32-step runs of LLaDA-8B-Base on masked WikiText-103 text, each with 1{,}000 probe-training sequences and 200 held-out evaluation sequences. From saved trajectories, we derive four temporal measurements: token commitment; linear recoverability of part-of-speech (POS), coarse semantic category, and token identity; confidence and entropy dynamics; and sensitivity under mid-trajectory re-masking. Across seeds, the same ordering recurs: content categories stabilize earlier than function-heavy categories, POS and coarse semantic labels remain substantially more linearly recoverable than exact lexical identity under our probe setup, uncertainty remains higher for tokens that ultimately resolve incorrectly even though late confidence becomes less calibrated, and perturbation sensitivity peaks in the middle of the trajectory. A direct/collateral decomposition shows that this peak is overwhelmingly local to the perturbed positions themselves. In this LLaDA+WikiText setting, denoising time is therefore a useful analysis axis: under our measurements, coarse labels are recovered earlier and more robustly than lexical identity, trajectory-level uncertainty tracks eventual correctness, and mid-trajectory states are the most intervention-sensitive.
- Abstract（参考訳）: 拡散言語モデルは明示的な認知軌道を示し、世代によって異なる種類の情報が測定可能になったかどうかを問うことができる。
マスク付きWikiText-103テキスト上でLLaDA-8B-Baseの3つの独立した32ステップ実行について,それぞれ1{,}000のプローブトレーニングシーケンスと200のホールドアウト評価シーケンスを用いて検討した。
保存された軌道から、トークンのコミットメント、POSの線形回復可能性、粗い意味カテゴリー、トークンのアイデンティティ、信頼とエントロピーのダイナミクス、中軌道再マスキーによる感度の4つの時間的測定を導出した。
コンテントカテゴリは関数重カテゴリよりも早く安定し,POSおよび粗いセマンティックラベルはプローブ設定下での正確な語彙識別よりもほぼ線形に回復可能であり,遅延信頼度が低下しても最終的に不確定となるトークンについては不確実性が高く,軌道の中央で摂動感度がピークとなる。
直交分解は、このピークが摂動位置そのものに圧倒的に局所的であることを示している。
このLLaDA+WikiText設定では, 粗いラベルは語彙的同一性よりも早く, より堅牢に復元され, 軌跡レベルの不確実性は最終的な正しさを追尾し, 中間軌道状態は最も介入に敏感である。
関連論文リスト
- Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。
最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。
本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
論文 参考訳（メタデータ） (2026-04-17T06:31:29Z) - HTDC: Hesitation-Triggered Differential Calibration for Mitigating Hallucination in Large Vision-Language Models [0.7252027234425333]
Hesitation-Triggered Differential Inference (HTDC)は、標準のフルブランチ推論を保存するトレーニング不要のデコードフレームワークである。
Hesitation-Triggered Differential Inference は、強いタスク精度を維持しながら、常に幻覚を減少させる。
論文 参考訳（メタデータ） (2026-04-13T22:47:27Z) - Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models [54.16797570104461]
拡散ベースの言語モデル (dLLMs) は自己回帰型言語モデルに代わる有望な代替品として登場した。
時間軸に沿った推論ダイナミクスを系統的に解析し, dLLMの非自己回帰復号化について検討した。
論文 参考訳（メタデータ） (2026-04-12T10:26:41Z) - OSCAR: Orchestrated Self-verification and Cross-path Refinement [7.202012136912518]
拡散言語モデルは、推論時間制御のための自然なハンドラを提供する、発音軌道を公開する。
我々はコミットメントの不確実性ローカライゼーションを定式化し、デノベーション軌道が与えられた場合、クロスチェーンエントロピーが教師なししきい値を超えるトークンの位置を特定する。
我々はこの定式化を運用するトレーニング不要な推論時間フレームワークOSCARを紹介する。
論文 参考訳（メタデータ） (2026-04-02T05:02:22Z) - Word-Anchored Temporal Forgery Localization [6.691985085293349]
候補偽造提案を導出するために,単語アンコール時間的偽造位置推定(WAFL)を提案する。
まず、時間的偽造の本質を分析し、最小の有意義な偽造単位、単語トークンを識別し、データ前処理を音声の自然な言語境界と整合させる。
偽造検出に固有の極端なクラス不均衡を克服するために,アーティファクト中心非対称損失(ACA)を設計する。
論文 参考訳（メタデータ） (2026-03-06T12:33:28Z) - Uncertainty-Calibrated Spatiotemporal Field Diffusion with Sparse Supervision [15.213950046367538]
スパース観測のみから学習するマスク条件拡散フレームワークであるSOLIDを提案する。
訓練と評価は観測対象の場所のみを使用し、密度の高いフィールドは必要とせず、事前計算も不要である。
論文 参考訳（メタデータ） (2026-02-17T16:56:55Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - DRIFT: Detecting Representational Inconsistencies for Factual Truthfulness [5.785021425715989]
LLMは流動性があるが誤った答えを出すことが多いが、このような幻覚を検出するには、通常、複数のサンプリングパスやポストホック検証が必要である。
隠れ状態から直接これらの信号を読み取るための軽量なプローブを提案する。
信頼性の高い問合せを即座に答えるとともに,不確実な問合せをより強力なモデルに委譲するLLMルータを開発した。
論文 参考訳（メタデータ） (2026-01-20T18:16:10Z) - Geometric-Disentangelment Unlearning [106.99160454669902]
忘れたサンプルへの勾配は しばしば 保持された知識を傷つける
本稿では,GU(Geometric-disment Unlearning)を提案する。
本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
論文 参考訳（メタデータ） (2025-11-21T09:58:25Z) - STAR Loss: Reducing Semantic Ambiguity in Facial Landmark Detection [80.04000067312428]
本稿では,意味的あいまいさの特性を利用した自己適応型あいまいさ低減(STAR)の損失を提案する。
意味的あいまいさは異方性予測分布をもたらすことが分かり、予測分布を用いて意味的あいまいさを表現する。
また,分布の異常変化とモデルの初期収束を回避できる2種類の固有値制限法を提案する。
論文 参考訳（メタデータ） (2023-06-05T10:33:25Z) - Weakly-Supervised Cross-Domain Adaptation for Endoscopic Lesions
Segmentation [79.58311369297635]
異なるデータセットにまたがるトランスファー可能なドメイン不変知識を探索できる,新しい弱い教師付き病巣移動フレームワークを提案する。
wasserstein quantified transferability frameworkは、広い範囲の転送可能なコンテキスト依存性を強調するために開発されている。
新規な自己監督型擬似ラベル生成器は、送信困難かつ転送容易なターゲットサンプルの両方に対して、確実な擬似ピクセルラベルを等しく提供するように設計されている。
論文 参考訳（メタデータ） (2020-12-08T02:26:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。