論文の概要: Progress Ratio Embeddings: An Impatience Signal for Robust Length Control in Neural Text Generation

• arxiv url: http://arxiv.org/abs/2512.06938v1
• Date: Sun, 07 Dec 2025 17:43:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.597406
• Title: Progress Ratio Embeddings: An Impatience Signal for Robust Length Control in Neural Text Generation
• Title（参考訳）: プログレッシブ比埋め込み:ニューラルテキスト生成におけるロバスト長制御のインピーダンス信号
• Authors: Ivanhoé Botcazou, Tassadit Amghar, Sylvain Lamprier, Frédéric Saubion,
• Abstract要約: 三角波インピーダンス信号に結合した連続的な埋め込みとしてプログレッシブ比埋め込み(PRE)を導入する。 Preは標準のTransformerアーキテクチャにシームレスに統合され、テキストの精度を低下させることなく、安定した長さの忠実度を提供する。 広く使われている2つのニュース要約ベンチマークの実験は、これらの結果を検証する。
• 参考スコア（独自算出の注目度）: 9.619477106626286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern neural language models achieve high accuracy in text generation, yet precise control over generation length remains underdeveloped. In this paper, we first investigate a recent length control method based on Reverse Positional Embeddings (RPE) and show its limits when control is requested beyond the training distribution. In particular, using a discrete countdown signal tied to the absolute remaining token count leads to instability. To provide robust length control, we introduce Progress Ratio Embeddings (PRE), as continuous embeddings tied to a trigonometric impatience signal. PRE integrates seamlessly into standard Transformer architectures, providing stable length fidelity without degrading text accuracy under standard evaluation metrics. We further show that PRE generalizes well to unseen target lengths. Experiments on two widely used news-summarization benchmarks validate these findings.
• Abstract（参考訳）: 現代のニューラルネットワークモデルは、テキスト生成において高い精度を達成するが、生成時間に対する正確な制御は未開発のままである。 本稿では,Reverse Positional Embeddings (RPE) に基づく最近の長さ制御手法について検討し,トレーニング分布を超えて制御が要求される場合の限界を示す。 特に、絶対残っているトークン数に結びついた離散カウントダウン信号を使用することで不安定となる。 頑健な長さ制御を実現するため,三角波インピーダンス信号に結合した連続的な埋め込みとしてプログレッシブ比埋め込み(PRE)を導入する。 Preは標準的なTransformerアーキテクチャにシームレスに統合され、標準評価基準の下でテキストの精度を劣化させることなく、安定した長さの忠実度を提供する。 さらに、Preは未確認のターゲット長によく一般化することを示す。 広く使われている2つのニュース要約ベンチマークの実験は、これらの結果を検証する。

関連論文リスト

• SARNet: A Spike-Aware consecutive validation Framework for Accurate Remaining Useful Life Prediction [7.0741499054562995]
  SARNet(Spike-Aware Consecutive Validation Framework)を紹介する。 適応逐次閾値は、ノイズを抑えながら真のスパイクを検証する。 SARNetは、イベントトリガープロトコルの下でのベンチマークポートされたデータセット全体において、最近のベースラインと比較してエラーを一貫して低減する。
  論文  参考訳（メタデータ） (2025-10-27T03:23:11Z)
• Can We Predict Alignment Before Models Finish Thinking? Towards Monitoring Misaligned Reasoning Models [14.840508854268522]
  推論言語モデルは、長い思考の連鎖(CoT)を生成することによって、複雑なタスクにおけるパフォーマンスを改善する 我々は、CoTテキストまたはアクティベーションを用いて、様々なモニタリング手法を評価する。 CoTアクティベーションに基づいて訓練された単純な線形プローブは、最終応答が安全か安全でないかを予測する際に、テキストベースのベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-07-16T17:16:03Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• Test-Time Alignment for Large Language Models via Textual Model Predictive Control [63.508812485566374]
  Textual Model Predictive Control (TMPC) は、推論時に大規模言語モデルを調整するために適応された新しい予測計画フレームワークである。 TMPCは、談話レベル翻訳、長文応答生成、プログラム合成の3つの異なるセグメンテーション特性を持つタスクで評価される。 その結果、TMPCはパフォーマンスを継続的に改善し、一般性を強調している。
  論文  参考訳（メタデータ） (2025-02-28T07:24:33Z)
• A Decoding Algorithm for Length-Control Summarization Based on Directed Acyclic Transformers [32.53051395472311]
  長さ制御の要約は、長さ制限の範囲内で長いテキストを短いテキストに凝縮することを目的としている。 従来のアプローチでは、しばしば自己回帰(AR)モデルを使用し、長さ要件をソフト制約として扱う。 提案手法は,複数の可塑性配列フラグメントを許容し,それらを接続するエンフパスを予測する。
  論文  参考訳（メタデータ） (2025-02-06T22:12:55Z)
• Prompt-Based Length Controlled Generation with Multiple Control Types [45.202705040391734]
  そこで本稿では,異なる制御型で高精度な長さ制御生成を実現するためのプロンプトベース手法を提案する。 特に,ルールベース報酬モデルによって与えられる報酬信号を用いた強化学習(RL)とサンプルフィルタリングを採用する。 実験の結果,提案手法はCNNDMやNYTなどの一般的な要約データセットにおいて,プロンプトベース長制御の精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-06-12T01:49:54Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)
• Summarization with Precise Length Control [23.688834410051]
  本稿では,トークン数や文数を正確に指定した要約を生成するフレームワークを提案する。 モデルを協調訓練して長さを予測するので、最適な長さの要約を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T04:45:24Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。