論文の概要: FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

• arxiv url: http://arxiv.org/abs/2609.27657v1
• Date: Wed, 23 Sep 2026 10:26:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.976529
• Title: FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation
• Title（参考訳）: FLEET: テキスト生成における論理エントロピーから拡張軌跡へ
• Abstract要約: 生成プロセスにメモリ機構を統合する新しい手法であるFLEETを紹介する。 ベンチマーク評価の結果、FLEETは繰り返しサンプリングベースラインと同じ精度で3倍の高速化を実現している。 ここで評価したgreedy-decoding設定では、アプローチは決定論的であり、単一のキャリブレーションパスを使用する。
• 参考スコア（独自算出の注目度）: 15.119045051735633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Solutions based on large language models (LLMs) often rely on temperature sampling to improve accuracy and stability by aggregating multiple samples from the completion distribution. However, this memoryless approach is inherently suboptimal: because it lacks awareness of prior generations and their evaluations, it produces an increasing proportion of semantically duplicate answers as more samples are drawn, leading to diminishing returns. To address this limitation, we introduce FLEET, a novel method that integrates a memory mechanism into the generation process. FLEET represents each generation as a sparse trajectory through states whose entropy exceeds a predefined threshold and uses these trajectories to infer per-token utility scores that adjust the logits. Benchmark evaluations demonstrate that FLEET achieves the same accuracy as the repeated sampling baseline, with a 3x speedup, and substantially improves accuracy on complex coding tasks (LiveCodeBench Pass@32 increases from 59.9% to 66.2%) under the same budget. Furthermore, in the greedy-decoding configuration evaluated here, the approach is deterministic and uses a single calibration pass to derive its principal hyperparameters, requiring only minimal modifications to existing LLM pipelines.
• Abstract（参考訳）: 大規模言語モデル (LLMs) に基づく解は、完結分布から複数のサンプルを集約することにより、精度と安定性を向上させるために温度サンプリングに依存することが多い。 しかし、この記憶のないアプローチは本質的には準最適であり、前世代の認識と評価が欠けているため、より多くのサンプルが引き出されるにつれて意味的に重複する回答の割合が増加し、リターンが減少する。 この制限に対処するために、メモリ機構を生成プロセスに統合する新しい方法であるFLEETを紹介する。 FLEETは、各世代を、エントロピーが予め定義された閾値を超える状態を通してスパース軌跡として表現し、これらの軌跡を使用して、ロジットを調整するトーケンのユーティリティスコアを推測する。 ベンチマーク評価の結果、FLEETは繰り返しサンプリングベースラインと同じ精度で3倍のスピードアップを実現し、同じ予算下で複雑なコーディングタスク(LiveCodeBench Pass@32は59.9%から66.2%に向上)の精度を大幅に向上することが示された。 さらに、ここで評価したgreedy-decoding設定では、アプローチは決定論的であり、単一のキャリブレーションパスを使用して主要なハイパーパラメータを導出し、既存のLLMパイプラインに最小限の変更しか必要としない。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Know When To Fold 'Em: Token-Efficient LLM Synthetic Data Generation via Multi-Stage In-Flight Rejection [3.1572670872557196]
  Multi-Stage In-Flight Rejection (MSIFR) は軽量でトレーニング不要なフレームワークで、完成前に低品質な世代軌道を終了する。 飛行中の拒否を逐次決定プロセスとして定式化し、非自明な破棄ポリシーが期待されるトークン消費を減少させることを示す。
  論文  参考訳（メタデータ） (2026-05-13T19:35:49Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling [43.822941944402544]
  ゼロ階最適化は、微調整された大規模言語モデルのための有望なメモリ効率のパラダイムを提供する。 しかし,壁面収差の緩やかな収束と高い推定分散により,その実用化は厳しく制約されている。 本稿では,適応層型ZO最適化フレームワークであるAdaLeZOを提案する。
  論文  参考訳（メタデータ） (2026-04-20T13:37:31Z)
• Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models [53.339700196282905]
  大きな言語モデル(dLLM)に強化学習を適用する上で重要な課題は、その可能性関数の抽出性である。 本稿では,ELBOに基づく目的の特別に構築された下界を最大化するメモリ効率のRLアルゴリズムを提案する。 実験によると、BGPOは数学の問題解決、コード生成、計画タスクにおいて、dLLMの以前のRLアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-10-13T17:47:50Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• LATTS: Locally Adaptive Test-Time Scaling [45.37857725357838]
  生成ステップ間で変数計算を割り当てるために,emphLocally Adaptive Test-Time Scaling (LATTS)を提案する。 LATTSは検証者ベースの受け入れ基準を用いて、生成プロセスを再サンプリング、バックトラック、再起動、または停止するかを決定する。 実験結果から, LATTS は標準検証手法と比較して, 高い精度で計算トレードオフを達成できることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T17:51:33Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
  IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。 本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。