論文の概要: Answering While You Type: Optimizing Time-to-Answer with Streaming Generation

• arxiv url: http://arxiv.org/abs/2610.26296v1
• Date: Mon, 19 Oct 2026 12:46:05 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:31:50.535788
• Title: Answering While You Type: Optimizing Time-to-Answer with Streaming Generation
• Title（参考訳）: 入力中の回答:ストリーミング生成によるタイム・トゥ・アンサーの最適化
• Abstract要約: ストリーム生成は、不完全な要求から応答を生成し、残りの入力が到着するとそれを更新する。 自動回帰言語モデルと拡散言語モデルについて,ユーザ可視遅延を低減させる条件を評価し,そのメカニズムを解析する。
• 参考スコア（独自算出の注目度）: 5.150217598734999
• License:
• Abstract: Work on efficient large-language-model inference has concentrated almost entirely on reducing the cost of decoding once a request is complete. The quantity a user experiences, however, is the interval between submitting a request and receiving a usable response, and that interval can be shortened without making decoding itself faster. While a request is being composed it is already partially specified, yet conventional deployments begin no computation until submission. We propose and study streaming generation, a decoding regime in which the model begins producing a response from an incomplete request and revises it as the remaining input arrives, so that only a small residue of the answer remains to be computed once the request is submitted. We evaluate the regime on autoregressive and diffusion language models, characterise the conditions under which it reduces user-visible latency, and analyse the mechanism responsible.
• Abstract（参考訳）: 効率的な大言語モデル推論の研究は、要求が完了するとデコードコストの削減に集中しています。 しかし、ユーザが経験する量は、リクエストの送信から使用可能なレスポンスの受信までのインターバルであり、そのインターバルはデコード自体を高速にすることなく短縮することができる。 リクエストが作成されている間は、すでに部分的に指定されていますが、従来のデプロイメントでは、提出まで計算が始まりません。 本稿では,不完全要求からの応答をモデルが生成し,残りの入力が到着すると復号する復号方式であるストリーミング生成を提案し,検討する。 自己回帰言語モデルと拡散言語モデルの評価を行い、ユーザ可視遅延を低減する条件を特徴付けるとともに、そのメカニズムを解析する。

関連論文リスト

• ProactiveBench: Can Streaming Video Models Really Interact Like Humans? [14.13356441344051]
  ストリーミングビデオ理解には、時間的コンテキストを維持しながら連続的なマルチモーダル入力を処理するモデルが必要である。 本稿では,1秒間のストリーム間隔でモデルを評価するProactiveBenchを提案する。
  論文  参考訳（メタデータ） (2026-09-11T10:05:42Z)
• Penelope: Localized Latent Recurrence for Efficient Structured Reasoning [26.549641831847982]
  Penelopeは、事前訓練されたデコーダのみのトランスフォーマーのための効率的な潜時推論フレームワークである。 再帰計算を選択されたデコーダ間隔にローカライズする。 確立された潜在推論モデルと比較して、競争精度が向上する。
  論文  参考訳（メタデータ） (2026-07-28T16:06:46Z)
• Predict-then-Diffuse: Adaptive Response Length for Compute-Budgeted Inference in Diffusion LLMs [7.630708097054872]
  拡散に基づく大規模言語モデル(D-LLM)は、生成AIにおける有望なフロンティアである。 提案するPredict-then-Diffuseは,入力クエリ毎の計算予算推論を可能にするモデルに依存しないフレームワークである。 そこで,Predict-then-DiffuseはデフォルトのD-LLM推論機構と比較して計算コスト(FLOP)を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-05-05T18:55:24Z)
• Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
  投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。 既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。 そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-26T07:53:41Z)
• Self-Speculative Biased Decoding for Faster Live Translation [0.0]
  Self-Speculative Biased Decodingは、一貫して成長する入力ストリームに対して、スクラッチから繰り返し出力を生成するのを避けるために設計された、新しい推論パラダイムである。 提案手法は,従来の自己回帰的再翻訳に比べて,品質を損なうことなく最大1.7倍の高速化を実現する。
  論文  参考訳（メタデータ） (2025-09-26T01:13:37Z)
• ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
  LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
  論文  参考訳（メタデータ） (2025-07-01T16:01:08Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [55.596897987498174]
  本稿では,重み付き時間遅延フィードバック機構を備えたゲートリカレントユニット(GRU)を導入し,時系列データの長期依存性をモデル化する手法を提案する。 提案したモデルである $tau$-GRU は、繰り返し単位の連続時間定式化の離散版であり、力学は遅延微分方程式(DDE)によって制御される。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
  自己教師型音声モデルのための一括圧縮フレームワークを提案する。 このフレームワークは様々なタスクで評価され、固定圧縮率の変種と比較して限界劣化を示す。 また、適応圧縮率学習についても検討し、グリッド探索を必要とせず、タスク固有の好ましいフレーム期間を選択する能力を示す。
  論文  参考訳（メタデータ） (2022-11-04T09:19:13Z)
• Action Quality Assessment with Temporal Parsing Transformer [84.1272079121699]
  行動品質評価(AQA)は、作業の理解と解決に重要である。 本稿では,時間的部分表現に包括的特徴を分解する時間的パーシング変換器を提案する。 提案手法は,3つの公開AQAベンチマークにおける先行研究よりもかなりのマージンで優れていた。
  論文  参考訳（メタデータ） (2022-07-19T13:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。