論文の概要: Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization
- arxiv url: http://arxiv.org/abs/2607.24176v1
- Date: Mon, 27 Jul 2026 09:02:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.369761
- Title: Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization
- Title（参考訳）: 圧縮短テキスト生成における品質の低下:段階的ボツネック局所化
- Authors: Alexey Gavrilov, Alan-Barsag Gazzaev, Sergey Muravyov,
- Abstract要約: 短文ジェネレータは生成開始前に情報を破棄したり、潜時ジェネレータが弱いコードを生成する。
この問題を,階層型VQ-VAE-2とマスク付き離散拡散発生器から構築した64-to-16 TinyStoriesケーススタディで検討した。
我々は,1つの外部GPT-2スコアラで再構成精度,潜時生成品質,補助潜時診断を分離するステージド検証プロトコルを使用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compressed short-text generators can fail in two different places: the codec may discard information before generation starts, or the latent generator may produce weak codes. Without separating these failure modes, researchers can spend compute improving the wrong component. We study this problem in a controlled 64-to-16 TinyStories case study built from a hierarchical VQ-VAE-2 codec and a masked discrete diffusion generator (MDLM). We use a staged validation protocol that separates codec reconstruction fidelity, latent generation quality, and auxiliary latent diagnostics under one shared external GPT-2 scorer, while reporting complementary semantic metrics for the geometry study. In the tested configuration, codec reconstruction alone raises median external perplexity from 15.17 to 27.36 (+80.4%) and p95 from 25.10 to 98.91 (+294.1%), showing that the dominant quality loss appears before latent generation begins. Under the same scorer, code-space MDLM remains materially stronger than token-space diffusion, reducing mean, median, and p95 by 32.9%, 30.9%, and 36.6%, respectively. Geometry-aware regularization improves local latent proxies but does not improve decoded-text metrics in the available runs. The contribution is methodological rather than algorithmic: the paper presents a reusable staged diagnosis for one concrete pipeline and shows that, in this setting, codec fidelity rather than latent denoising sets the practical quality ceiling.
- Abstract（参考訳）: 圧縮されたショートテキストジェネレータは2つの異なる場所で失敗することがある:コーデックは生成開始前に情報を破棄するか、潜在ジェネレータは弱いコードを生成する。
これらの障害モードを分離せずに、研究者は間違ったコンポーネントを改善する計算に費やすことができる。
階層型VQ-VAE-2コーデックとマスク付き離散拡散発生器(MDLM)で構築した64-to-16 TinyStoriesのケーススタディにおいて,この問題について検討した。
我々は,コーデック再構成精度,潜時生成品質,補助潜時診断を1つの共有外部GPT-2スコアラで分離する段階的検証プロトコルを用いて,幾何学研究の補完的セマンティックメトリクスを報告する。
テストされた構成では、コーデックの再構成だけで15.17から27.36(+80.4%)、p95は25.10から98.91(+294.1%)まで中央値の外部パープレキシティを上昇させ、遅延生成が始まる前に主要な品質損失が現れることを示す。
同じスコアラーの下では、符号空間MDLMはトークン空間拡散よりもかなり強く、平均値、中央値、p95をそれぞれ32.9%、30.9%、36.6%削減している。
Geometry-aware regularizationは、ローカル潜伏プロキシを改善するが、利用可能な実行時のデコードテキストメトリクスは改善しない。
提案手法は, 1つのコンクリートパイプラインに対して再利用可能なステージ診断を行い, この条件下では, 遅延分解ではなくコーデックの忠実度が, 実用品質の天井となることを示す。
関連論文リスト
- MIRAGE: A Polarity-Flipping Encoding Subspace in LLM Agents [2.896184275229374]
LLMエージェントは機密データを隠蔽的に符号化する。
その結果出力は出力側検出を回避するが、基礎となる計算は行わない。
両信号を利用した2チャンネルリアルタイムモニタであるMIRAGEを構築した。
論文 参考訳（メタデータ） (2026-06-09T01:45:19Z) - What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval [42.66754319854329]
我々は,刺激同期MEG-to-audio検索を監査フレームワークとして再放送した。
構造的ショートカット、ウィンドウレベルの刺激ロックされたエビデンス、ウィンドウ間のコンテキストアグリゲーションを使用します。
これらの結果は、脳から言語へのパフォーマンスは、単に報告されるのではなく、ソース属性であるべきだことを示唆している。
論文 参考訳（メタデータ） (2026-05-23T11:23:39Z) - When Latent Geometry Is Not Enough: Draft-Conditioned Latent Refinement for Non-Autoregressive Text Generation [0.0]
本報告では, 凍結したBERTエンコーダ, 並列デコーダ, およびデノイングDraftPriorから構築したドラフトコンディショニング潜時精錬モデルについて検討する。
ROCStoriesでは、最初の2文をプロンプトとして、最後の3文をターゲットとして、768次元のBERTラテントが圧縮された256次元のラテントよりもはるかによくトークンを回収する。
論文 参考訳（メタデータ） (2026-05-15T02:53:49Z) - Diffusion Decoding for Peptide De Novo Sequencing [71.91773485443125]
本稿では,離散データ領域に適応した拡散デコーダについて検討する。
これらのデコーダは異なるアプローチを提供し、任意のペプチドセグメントからシーケンス生成を開始することができる。
ペプチドの精度とリコールは依然として0であったが, DINOISER損失関数を用いた最も優れた拡散デコーダ設計により, 0.373でアミノ酸リコールの統計的改善が得られた。
論文 参考訳（メタデータ） (2025-07-15T03:38:01Z) - LPASS: Linear Probes as Stepping Stones for vulnerability detection using compressed LLMs [0.0]
本稿では,Linear Probesを用いて圧縮された大言語モデルの性能を推定する方法を示す。
また, レイヤプルーニング圧縮を適用する際に, カットオフ点の設定に適合することを示す。
我々のアプローチは、$LPASS$と呼ばれ、480kのC/C++サンプル上で、MITREのTop 25の最も危険な脆弱性を検出するためにBERTとGemmaに適用される。
論文 参考訳（メタデータ） (2025-05-30T10:37:14Z) - Improving the Diffusability of Autoencoders [54.920783089085035]
高品質な画像やビデオを生成するための主要なアプローチとして、潜伏拡散モデルが登場している。
我々は、現代のオートエンコーダのスペクトル分析を行い、その潜在空間における不規則な高周波成分を同定する。
我々は、この高周波成分が拡散合成プロセスの粗大な微細な性質に干渉し、生成品質を阻害する仮説を立てた。
論文 参考訳（メタデータ） (2025-02-20T18:45:44Z) - $\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding [64.00025564372095]
大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
幻覚の影響(例えば出力ノイズ)は、LLMが1パスで高品質なコードを生成するのを難しくする。
単純かつ効果的なtextbfuncertainty-aware textbf select textbfcontrastive textbfdecodingを提案する。
論文 参考訳（メタデータ） (2024-09-09T02:07:41Z) - Global Context Aggregation Network for Lightweight Saliency Detection of
Surface Defects [70.48554424894728]
我々は,エンコーダ・デコーダ構造上の表面欠陥を簡易に検出するためのGCANet(Global Context Aggregation Network)を開発した。
まず、軽量バックボーンの上部層に新しいトランスフォーマーエンコーダを導入し、DSA(Depth-wise Self-Attention)モジュールを通じてグローバルなコンテキスト情報をキャプチャする。
3つの公開欠陥データセットの実験結果から,提案したネットワークは,他の17の最先端手法と比較して,精度と実行効率のトレードオフを良好に達成できることが示された。
論文 参考訳（メタデータ） (2023-09-22T06:19:11Z) - Contrastive Decoding: Open-ended Text Generation as Optimization [153.35961722855686]
信頼性の高い復号法であるコントラスト復号法(CD)を提案する。
これは、より大きなLMの故障がより小さなLMでさらに多いという事実に着想を得たものである。
CDは追加のトレーニングを一切必要とせず、より大きなLMからの復号化よりも高品質なテキストを生成する。
論文 参考訳（メタデータ） (2022-10-27T00:58:21Z) - Improved decoding of circuit noise and fragile boundaries of tailored
surface codes [61.411482146110984]
高速かつ高精度なデコーダを導入し、幅広い種類の量子誤り訂正符号で使用することができる。
我々のデコーダは、信仰マッチングと信念フィンドと呼ばれ、すべてのノイズ情報を活用し、QECの高精度なデモを解き放つ。
このデコーダは, 標準の正方形曲面符号に対して, 整形曲面符号において, より高いしきい値と低い量子ビットオーバーヘッドをもたらすことがわかった。
論文 参考訳（メタデータ） (2022-03-09T18:48:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。