論文の概要: Spectral Logit Sculpting: Adaptive Low-Rank Logit Transformation for Controlled Text Generation

• arxiv url: http://arxiv.org/abs/2509.25204v1
• Date: Fri, 19 Sep 2025 04:17:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 05:29:07.815563
• Title: Spectral Logit Sculpting: Adaptive Low-Rank Logit Transformation for Controlled Text Generation
• Title（参考訳）: スペクトルロジット計算:制御されたテキスト生成のための適応的低ランクロジット変換
• Authors: Jin Li, Zhebo Wang, Tianliang Lu, Mohan Li, Wenpeng Xing, Meng Han,
• Abstract要約: エントロピーに基づく推論手法は,Large Language Models (LLMs) の信頼性向上のために注目を集めている。 本稿では,近年のロジットのスペクトル特性とエントロピー特性を用いて,トークン分布を動的に変調する軽量な推論時間最適化手法であるSLSを提案する。 SLSは既存のベースライン法を一貫して上回り、数学的、コーディング、科学的推論のタスクにおいて優れた精度を達成している。
• 参考スコア（独自算出の注目度）: 21.76979685109612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entropy-based inference methods have gained traction for improving the reliability of Large Language Models (LLMs). However, many existing approaches, such as entropy minimization techniques, suffer from high computational overhead and fail to leverage historical token context effectively. To address these limitations, we propose Spectral Logit Sculpting (SLS), a lightweight inference-time optimization method that dynamically modulates token distributions using spectral and entropic properties of recent logits. SLS maintains a sliding buffer of top-K logits, performs on-the-fly Singular Value Decomposition (SVD) to identify dominant spectral directions, and adaptively rescales logits based on both entropy and logit gap statistics--only activating when uncertainty is high. Without updating any model parameters, SLS effectively sharpens the output distribution while preserving contextual consistency. Experimental results on multiple public benchmarks demonstrate that SLS consistently outperforms existing baseline methods, achieving superior accuracy in mathematical, coding, and scientific reasoning tasks.
• Abstract（参考訳）: エントロピーに基づく推論手法は,Large Language Models (LLMs) の信頼性向上のために注目を集めている。 しかし、エントロピー最小化技術のような既存の多くのアプローチは、高い計算オーバーヘッドに悩まされ、歴史的トークンコンテキストを効果的に活用できない。 これらの制約に対処するために,近年のロジットのスペクトル特性とエントロピー特性を用いて,トークン分布を動的に変調する軽量な推論時間最適化法であるSpectral Logit Sculpting (SLS)を提案する。 SLSは、トップKロジットのスライディングバッファを保持し、支配的なスペクトル方向を特定するためにオンザフライの特異値分解(SVD)を実行し、エントロピーとロジットギャップ統計の両方に基づいてロジットを適応的に再スケールする。 モデルパラメータを更新せずに、SLSはコンテキスト整合性を維持しながら出力分布を効果的にシャープする。 複数の公開ベンチマーク実験の結果、SLSは既存のベースライン法を一貫して上回り、数学的、コーディング、科学的推論タスクにおいて優れた精度を達成していることが示された。

関連論文リスト

• SPRINT: Stochastic Performative Prediction With Variance Reduction [18.735898645810405]
  Performative Prediction(PP)は、機械学習(ML)モデルのためのアルゴリズムフレームワークで、モデルのデプロイメントがトレーニングされたデータの分散に影響を与える。 本稿では,SSPS実験による性能予測という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-22T00:56:17Z)
• Beyond First-Order: Training LLMs with Stochastic Conjugate Subgradients and AdamW [2.028622227373579]
  勾配に基づく降下(SGD)は、長い間、大きな言語モデル(LLM)の訓練の中心であった。 本稿では,LLMを学習するための適応サンプリングとともに,共役下次法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T23:30:15Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Transformer-Driven Active Transfer Learning for Cross-Hyperspectral Image Classification [3.087068801861429]
  ハイパースペクトル画像(HSI)分類は、高スペクトル次元、重要な領域シフト、ラベル付きデータの可用性の制限による固有の課題を示す。 本稿では,空間スペクトル変換器(SST)のバックボーン上に構築された,新しいアクティブトランスファー学習(ATL)フレームワークを提案する。 このフレームワークは多段階移動学習と不確実性多様性駆動型能動学習機構を統合する。
  論文  参考訳（メタデータ） (2024-11-27T07:53:39Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。