論文の概要: Reading Less While Writing: A Closed-Form Bandwidth Dial for Streaming Multimodal Decoders
- arxiv url: http://arxiv.org/abs/2609.20845v1
- Date: Wed, 05 Aug 2026 07:42:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.685108
- Title: Reading Less While Writing: A Closed-Form Bandwidth Dial for Streaming Multimodal Decoders
- Title（参考訳）: 読み書きの少ない読み書き:マルチモーダルデコーダストリーミングのためのクローズドフォームバンド幅ダイアル
- Abstract要約: ビデオや音声をテキストに変換するデコーダは、通常、単語を出力する前に入力全体を消費する。
固定オフセットをZENDAYAに置き換えます。
なぜなら、ソースの洪水は、モデルをアンカーする出力が最小限である場合に正確に注意をそらすからである。
- 参考スコア（独自算出の注目度）: 0.9908838990500546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A decoder that turns video or audio into text conventionally consumes the entire input before emitting a word. Offline this is merely more than the task requires; live it is impossible, since a caption cannot wait for a match to end. Streaming systems bolt on a fixed rule such as wait-$k$, which waits for the same number of input tokens before every word, regardless of the input's length or pace. We replace the fixed offset with ZENDAYA, a schedule governed by a single continuous parameter $γ$. It makes the visible source prefix a closed-form function of generation progress, scaled by the input's own predicted length, so an ordinary offline decoder and a real-time streaming decoder become two endpoints of one family rather than separate models. The same scalar fixes, in closed form, the mean fraction of source consumed per emitted word, $\bar{E}(γ) \approx 1/(1+γ)$, making it at once a latency dial and an interpretable budget. We prove a structural dependency theorem: under any schedule fixed in advance and non-decreasing, no emitted token can depend on input that has not yet arrived. The guarantee holds for trained and untrained weights alike, and extends to unbounded streams under arbitrary asynchronous arrival. The empirical result is counterintuitive: seeing less can produce better text, because a flood of source dilutes attention exactly when the model has the least of its own output to anchor on. Trained from scratch across two modalities and three public corpora (Charades-STA, ActivityNet Captions, LibriHeavy), a compact 29M-parameter decoder matches or beats the fixed schedule while reading less of the source, with the sharpest gains at the lowest latencies, where a fixed offset collapses. Streaming METEOR gains are statistically significant on all three corpora.
- Abstract（参考訳）: ビデオや音声をテキストに変換するデコーダは、通常、単語を出力する前に入力全体を消費する。
ライブは不可能であり、キャプションは試合が終わるまで待つことができない。
ストリーミングシステムはwait-$k$のような固定されたルールでボルトし、入力の長さやペースに関わらず、各単語の前に同じ数の入力トークンを待つ。
固定オフセットを、単一の連続パラメータ$γ$で管理されるスケジュールであるZENDAYAに置き換える。
そのため、通常のオフラインデコーダとリアルタイムストリーミングデコーダは、別のモデルではなく、ひとつのファミリーの2つのエンドポイントとなる。
同じスカラー修正は、クローズドな形式で、出力されるワードあたりのソースの平均分数$\bar{E}(γ) \approx 1/(1+γ)$で、一度に遅延ダイヤルと解釈可能な予算になる。
我々は構造的依存定理を証明し、前もって固定され、非減少するスケジュールの下では、まだ到達していない入力に依存するトークンは存在しない。
この保証はトレーニングやトレーニングされていないウェイトも同様に保持され、任意の非同期到着時に無制限ストリームに拡張される。
なぜなら、ソースの洪水は、モデルをアンカーする出力が最小限である場合に正確に注意をそらすからである。
2つのモダリティと3つのパブリックコーパス(Charades-STA、ActivityNet Captions、LibriHeavy)をスクラッチからトレーニングすることで、コンパクトな29Mパラメータデコーダは、ソースの少ない読み込み中に、固定されたスケジュールにマッチまたは打ち勝つ。
ストリーミングMETEORゲインは3つのコーパス全てで統計的に重要である。
関連論文リスト
- Dynamic Lagging for Simultaneous Translation [2.6371884203154186]
同時音声翻訳では、上流認識器の読み書きスケジュールを機械翻訳システムでは制御できない。
文訓練されたデコーダのみのLLMプレフィックスを安定なプレフィックスに微調整することで認識する。
その信頼性に関するトレーニングなしのしきい値が、私たちが比較した3つのレイテンシコントロールの中で、最も効果的です。
論文 参考訳（メタデータ） (2026-09-05T01:27:19Z) - Almost Free State Prediction Separation [25.82506789380018]
本稿は、状態予測分離をほぼ自由にする。
キーや値がまったく書けない予測ストリームで、シーケンスの既存の位置に乗るのです。
論文 参考訳（メタデータ） (2026-09-03T13:12:47Z) - HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文 参考訳（メタデータ） (2026-09-01T18:02:02Z) - Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。
我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。
VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
論文 参考訳（メタデータ） (2026-07-20T18:37:58Z) - Real-Time Text Transmission via LLM-Based Entropy Coding over Fixed-Rate Channels [2.3227078506258176]
Huffmanは、アルゴリズムの遅延をゼロにし、圧縮オーバーヘッドをわずかに抑えながら、過剰にプロビジョンされたチャネルの実践的な選択である。
発見は GPT-2 (124M) と Llama3.2 (3B) の2つの尺度で検証される。
論文 参考訳（メタデータ） (2026-05-03T17:48:37Z) - StreamingTOM: Streaming Token Compression for Efficient Video Understanding [6.9203477336374775]
既存のアプローチはLLM後のkv-cacheのみを規制し、コストのかかるLLM前のプリフィルは変わらない。
StreamingTOMは,LLM前とLLM後の両方のボトルネックに,予測可能なレイテンシで対処する,トレーニングフリーでプラグイン&プレイの2段階フレームワークです。
実験では, 従来のSOTAと比較して, 15.7 時間で kv-cache 圧縮, 12 時間で低ピークメモリ, 2 時間で速い TTFT 圧縮を実現している。
論文 参考訳（メタデータ） (2025-10-21T03:39:41Z) - Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。
任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。
CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文 参考訳（メタデータ） (2025-10-13T21:07:05Z) - Self-Speculative Biased Decoding for Faster Live Translation [0.0]
Self-Speculative Biased Decodingは、一貫して成長する入力ストリームに対して、スクラッチから繰り返し出力を生成するのを避けるために設計された、新しい推論パラダイムである。
提案手法は,従来の自己回帰的再翻訳に比べて,品質を損なうことなく最大1.7倍の高速化を実現する。
論文 参考訳（メタデータ） (2025-09-26T01:13:37Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳（メタデータ） (2025-08-27T15:40:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。