論文の概要: Sparse Text Diffusion under Dual Budgets: Context Connectivity and Expert Activation
- arxiv url: http://arxiv.org/abs/2610.41487v1
- Date: Fri, 30 Oct 2026 09:43:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.674213
- Title: Sparse Text Diffusion under Dual Budgets: Context Connectivity and Expert Activation
- Title（参考訳）: 二重予算下におけるスパーステキスト拡散 : コンテキスト接続性とエキスパート活性化
- Abstract要約: 長文拡散はトークン相互作用とフィードフォワード計算の両方に繰り返し支払う。
この視点は、疎性だけで文書レベルの情報を保持すると仮定することなく、局所的、拡張的、グローバルな注意と条件付き専門家の計算を結びつける。
DualBudgetと呼ばれる報告されたスパース・エキスパート構成は、科学的要約、マルチホップ質問応答、対話、文対ペア予測にまたがって分析される。
- 参考スコア（独自算出の注目度）: 41.99844472131922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context diffusion repeatedly pays for both token interaction and feed-forward computation. We formulate these costs as two separate budgets: the edges available to an attention graph and the experts activated for each token. This view connects local, dilated, and global attention with conditional expert computation without assuming that sparsity alone preserves document-level information. We specify normalized masked attention, distinguish denoising depth from sampling iterations, and derive graph and compute bounds. A reported sparse-expert configuration, denoted DualBudget, is analyzed across scientific summarization, multi-hop question answering, dialogue, and sentence-pair prediction. All supplied table measurements are retained. The length study shows gains over the listed baselines through 16K, together with measurable degradation as length increases. Ablations reveal mixed changes across the three reported scores, while the cost record indicates a 20% reduction relative to DiffuSeq under an unspecified timing convention. The analysis separates these observations from unmeasured claims about training speed, absorbing states, global coherence, and deployment memory.
- Abstract（参考訳）: 長文拡散はトークン相互作用とフィードフォワード計算の両方に繰り返し支払う。
これらのコストを、注目グラフに利用可能なエッジと、トークン毎に専門家がアクティベートされた2つの別々の予算として定式化します。
この視点は、疎性だけで文書レベルの情報を保持すると仮定することなく、局所的、拡張的、グローバルな注意と条件付き専門家の計算を結びつける。
我々は、正規化マスキングの注意を規定し、サンプリング反復とDenoising depthを区別し、グラフと計算境界を導出する。
DualBudgetと呼ばれる報告されたスパース・エキスパート構成は、科学的要約、マルチホップ質問応答、対話、文対ペア予測にまたがって分析される。
供給されたテーブルの測定はすべて保持されます。
長さ研究は16Kの基準線を上回り、長さが増加するにつれて測定可能な劣化を示す。
アブレーションは、報告された3つのスコアに対して混合的な変化を示し、コスト記録は、未特定のタイミング規則の下でDiffuSeqに対する20%の削減を示している。
この分析は、これらの観察を、トレーニング速度、吸収状態、グローバルコヒーレンス、デプロイメントメモリに関する未測定の主張と区別する。
関連論文リスト
- Information-Theoretic Analysis of Next-Token Prediction under Markovian Data [19.072179047924973]
時間依存データに基づく次点予測における一般化のための情報理論フレームワークを開発する。
クロスエントロピー損失に対しては、マルコフ連鎖に対するドンスカー-バラダン変分表現とマクダイアルミード型濃度不等式を用いて期待される一般化を導出する。
マージンに基づく予測では、雑音の多い低次元圧縮により線形および自己注意の次トーケン予測に対する明示的な境界を導出する。
論文 参考訳（メタデータ） (2026-09-28T09:30:47Z) - Prediction Dynamics in Depth-Recurrent Language Models [5.094080300011339]
等級の保守性を共通翻訳、勝者に対する方向、各競技者の更新とスコアギャップとのペアリングに分解する。
共有予測分布に対しては,共通成分とコントラストを運動的に分離し,共通成分を候補値と内値濃度で表現する。
共通エネルギーとコントラストエネルギーは異なるレートで減衰し、絶対的な更新の縮小と共存する傾向にある。
論文 参考訳（メタデータ） (2026-09-18T06:56:11Z) - Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories [3.694051864521789]
我々は、大言語モデルが2つのテキスト単位をフルに読み込むエージェントタスクとして、きめ細かいテクスチャ間抽出をリキャストする。
3つのドメインの専門家がプールされたマルチモデル候補を2,533対のテキスト間ペアのベンチマークに設定し、Analects と Book of Han を徹底的に比較する手法を検証する。
論文 参考訳（メタデータ） (2026-07-30T02:34:23Z) - Cost Accounting for Reactive Computational Graphs: Exhaustive Sweeps, Sequential Mutation, and the Backward-Locality Gap [0.0]
我々は、Juliaがニューラルネットワークの計算グラフの介入をどのように扱うかを示す。
我々は、持続的な突然変異の連続の正確なコストを証明し、挿入の間を解き放たない。
また、バッチアプリケーションがどのように順序非依存でサブ付加的であるかを示す。
論文 参考訳（メタデータ） (2026-07-18T00:53:22Z) - Context Compression Is Not One Thing: Readable Symbolic Re-expression vs. Coherent Summary at Matched Budget [0.0]
本研究では,小言語モデルを用いたマルチホップ質問応答の文脈圧縮について検討する。
本稿では,検索した文を構造化エンティティ関連文に書き換える可読な記号形式であるTelegraph Englishを提案する。
MuSiQue、TwoWiki、HotpotQAの制御実験では、Telegraph Englishは3つの一致した予算圧縮ベースラインを上回っている。
論文 参考訳（メタデータ） (2026-06-12T18:27:23Z) - Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - Causal Identification from Counterfactual Data: Completeness and Bounding Results [54.147490305295456]
本研究では,任意のレイヤ3分布の集合から対実的なクエリを識別するアルゴリズムを開発した。
我々は、物理的に実現可能な分布から反事実を特定できる理論的限界を確立する。
我々は、そのような量の新たな解析的境界を、実現可能な対実データを用いて導出する。
論文 参考訳（メタデータ） (2026-02-26T22:48:12Z) - On the Role of Context in Reading Time Prediction [50.87306355705826]
我々は,リアルタイム言語理解において,読者がコンテキストをどのように統合するかについて,新たな視点を提示する。
提案手法は,言語単位の処理作業が文脈内情報の内容のアフィン関数であることを示す素因的理論に基づいている。
論文 参考訳（メタデータ） (2024-09-12T15:52:22Z) - Pareto Probing: Trading Off Accuracy for Complexity [87.09294772742737]
我々は,プローブの複雑性と性能の基本的なトレードオフを反映したプローブ計量について論じる。
係り受け解析による実験により,文脈表現と非文脈表現の統語的知識の幅広いギャップが明らかとなった。
論文 参考訳（メタデータ） (2020-10-05T17:27:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。