論文の概要: Progress Ratio Embeddings: An Impatience Signal for Robust Length Control in Neural Text Generation

• arxiv url: http://arxiv.org/abs/2512.06938v1
• Date: Sun, 07 Dec 2025 17:43:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.597406
• Title: Progress Ratio Embeddings: An Impatience Signal for Robust Length Control in Neural Text Generation
• Title（参考訳）: プログレッシブ比埋め込み:ニューラルテキスト生成におけるロバスト長制御のインピーダンス信号
• Authors: Ivanhoé Botcazou, Tassadit Amghar, Sylvain Lamprier, Frédéric Saubion,
• Abstract要約: 三角波インピーダンス信号に結合した連続的な埋め込みとしてプログレッシブ比埋め込み(PRE)を導入する。 Preは標準のTransformerアーキテクチャにシームレスに統合され、テキストの精度を低下させることなく、安定した長さの忠実度を提供する。 広く使われている2つのニュース要約ベンチマークの実験は、これらの結果を検証する。
• 参考スコア（独自算出の注目度）: 9.619477106626286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern neural language models achieve high accuracy in text generation, yet precise control over generation length remains underdeveloped. In this paper, we first investigate a recent length control method based on Reverse Positional Embeddings (RPE) and show its limits when control is requested beyond the training distribution. In particular, using a discrete countdown signal tied to the absolute remaining token count leads to instability. To provide robust length control, we introduce Progress Ratio Embeddings (PRE), as continuous embeddings tied to a trigonometric impatience signal. PRE integrates seamlessly into standard Transformer architectures, providing stable length fidelity without degrading text accuracy under standard evaluation metrics. We further show that PRE generalizes well to unseen target lengths. Experiments on two widely used news-summarization benchmarks validate these findings.
• Abstract（参考訳）: 現代のニューラルネットワークモデルは、テキスト生成において高い精度を達成するが、生成時間に対する正確な制御は未開発のままである。 本稿では,Reverse Positional Embeddings (RPE) に基づく最近の長さ制御手法について検討し,トレーニング分布を超えて制御が要求される場合の限界を示す。 特に、絶対残っているトークン数に結びついた離散カウントダウン信号を使用することで不安定となる。 頑健な長さ制御を実現するため,三角波インピーダンス信号に結合した連続的な埋め込みとしてプログレッシブ比埋め込み(PRE)を導入する。 Preは標準的なTransformerアーキテクチャにシームレスに統合され、標準評価基準の下でテキストの精度を劣化させることなく、安定した長さの忠実度を提供する。 さらに、Preは未確認のターゲット長によく一般化することを示す。 広く使われている2つのニュース要約ベンチマークの実験は、これらの結果を検証する。

関連論文リスト

• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• OASIS-DC: Generalizable Depth Completion via Output-level Alignment of Sparse-Integrated Monocular Pseudo Depth [1.4896509623302834]
  最近の基礎モデルはゼロショット深度推定で優れているが、その出力はメートル法よりも本質的に相対的である。 比較的深度が大域的なレイアウトや境界を保っているという事実を活用し, 疎範囲測定で校正する。 精度の低いラベル付きサンプルから精度の高い測定値の予測が可能となるように,事前の信頼性に追従する改良ネットワークを設計する。
  論文  参考訳（メタデータ） (2026-02-01T14:57:33Z)
• Scaling Next-Brain-Token Prediction for MEG [0.10152838128195464]
  本稿では,ソース空間MEGに対する大規模な自己回帰モデルを提案する。 修正SEANetスタイルのベクトル量子化器は、マルチチャネルMEGをフラットなトークンストリームに還元する。 ホールドアウトされたMOUS上ですべての解析を行い、クロスデータセットの一般化を確立する。
  論文  参考訳（メタデータ） (2026-01-28T00:00:23Z)
• Length-Adaptive Interest Network for Balancing Long and Short Sequence Modeling in CTR Prediction [50.094751096858204]
  LAINは、長いシーケンスと短いシーケンスのモデリングのバランスをとるために、シーケンス長を条件信号として組み込んだプラグアンドプレイフレームワークである。 私たちの仕事は、シーケンシャルなレコメンデーションにおいて、長さによるバイアスを軽減する、汎用的で効率的でデプロイ可能なソリューションを提供します。
  論文  参考訳（メタデータ） (2026-01-27T03:14:20Z)
• Can LLMs Track Their Output Length? A Dynamic Feedback Mechanism for Precise Length Regulation [50.821215666749545]
  大きな言語モデル(LLM)は、しばしばその応答長を正確に測ることに失敗し、長さの制約に固執する。 生成中の動的長さフィードバックを組み込んだ新しい長さ制御手法を提案する。 要約タスクと伝記タスクの実験は、目標トークン、単語、文数を達成する際のトレーニング不要なアプローチにより、精度が大幅に向上することを示している。
  論文  参考訳（メタデータ） (2026-01-05T03:49:14Z)
• Towards Infinite Length Extrapolation: A Unified Approach [0.0]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、長いシーケンスを処理する能力は、訓練中のコンテキストウィンドウサイズによって根本的に制限されている。 我々は、注目スコアを乗法変換と加法バイアスに分解するものとして、位置符号化手法を再解釈する統一的なフレームワークを使用する。 我々の理論的解析は、無限コンテキスト外挿条件を確立し、ソフトマックスハンドリングが、長距離相関、エントロピー境界性、勾配位置感度を保ちながら、非有界列に対して適切に定義されていることを保証している。
  論文  参考訳（メタデータ） (2026-01-03T14:10:23Z)
• SARNet: A Spike-Aware consecutive validation Framework for Accurate Remaining Useful Life Prediction [7.0741499054562995]
  SARNet(Spike-Aware Consecutive Validation Framework)を紹介する。 適応逐次閾値は、ノイズを抑えながら真のスパイクを検証する。 SARNetは、イベントトリガープロトコルの下でのベンチマークポートされたデータセット全体において、最近のベースラインと比較してエラーを一貫して低減する。
  論文  参考訳（メタデータ） (2025-10-27T03:23:11Z)
• Can We Predict Alignment Before Models Finish Thinking? Towards Monitoring Misaligned Reasoning Models [14.840508854268522]
  推論言語モデルは、長い思考の連鎖(CoT)を生成することによって、複雑なタスクにおけるパフォーマンスを改善する 我々は、CoTテキストまたはアクティベーションを用いて、様々なモニタリング手法を評価する。 CoTアクティベーションに基づいて訓練された単純な線形プローブは、最終応答が安全か安全でないかを予測する際に、テキストベースのベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-07-16T17:16:03Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• Test-Time Alignment for Large Language Models via Textual Model Predictive Control [63.508812485566374]
  Textual Model Predictive Control (TMPC) は、推論時に大規模言語モデルを調整するために適応された新しい予測計画フレームワークである。 TMPCは、談話レベル翻訳、長文応答生成、プログラム合成の3つの異なるセグメンテーション特性を持つタスクで評価される。 その結果、TMPCはパフォーマンスを継続的に改善し、一般性を強調している。
  論文  参考訳（メタデータ） (2025-02-28T07:24:33Z)
• A Decoding Algorithm for Length-Control Summarization Based on Directed Acyclic Transformers [32.53051395472311]
  長さ制御の要約は、長さ制限の範囲内で長いテキストを短いテキストに凝縮することを目的としている。 従来のアプローチでは、しばしば自己回帰(AR)モデルを使用し、長さ要件をソフト制約として扱う。 提案手法は,複数の可塑性配列フラグメントを許容し,それらを接続するエンフパスを予測する。
  論文  参考訳（メタデータ） (2025-02-06T22:12:55Z)
• Prompt-Based Length Controlled Generation with Multiple Control Types [45.202705040391734]
  そこで本稿では,異なる制御型で高精度な長さ制御生成を実現するためのプロンプトベース手法を提案する。 特に,ルールベース報酬モデルによって与えられる報酬信号を用いた強化学習(RL)とサンプルフィルタリングを採用する。 実験の結果,提案手法はCNNDMやNYTなどの一般的な要約データセットにおいて,プロンプトベース長制御の精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-06-12T01:49:54Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)
• Summarization with Precise Length Control [23.688834410051]
  本稿では,トークン数や文数を正確に指定した要約を生成するフレームワークを提案する。 モデルを協調訓練して長さを予測するので、最適な長さの要約を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T04:45:24Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。