論文の概要: Geometry-Aware Decoding with Wasserstein-Regularized Truncation and Mass Penalties for Large Language Models

• arxiv url: http://arxiv.org/abs/2602.10346v1
• Date: Tue, 10 Feb 2026 22:36:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.321516
• Title: Geometry-Aware Decoding with Wasserstein-Regularized Truncation and Mass Penalties for Large Language Models
• Title（参考訳）: Wasserstein-regularized TruncationとMass Penaltiesを用いた大規模言語モデルのための幾何学的認識復号法
• Authors: Arash Gholami Davoodi, Navid Rezazadeh, Seyed Pouyan Mousavi Davoudi, Pouya Pezeshkpour,
• Abstract要約: トップW(Top-W)は、トークン埋め込み幾何学上のワッサーシュタイン距離定義を用いた幾何対応トランケーション規則である。 我々は、Top-Wが、最先端のデコードアプローチにおいて、最大33.7%の改善を継続的に達成していることを示す。
• 参考スコア（独自算出の注目度）: 9.059725329168435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) must balance diversity and creativity against logical coherence in open-ended generation. Existing truncation-based samplers are effective but largely heuristic, relying mainly on probability mass and entropy while ignoring semantic geometry of the token space. We present Top-W, a geometry-aware truncation rule that uses Wasserstein distance-defined over token-embedding geometry-to keep the cropped distribution close to the original, while explicitly balancing retained probability mass against the entropy of the kept set. Our theory yields a simple closed-form structure for the fixed-potential subset update: depending on the mass-entropy trade-off, the optimal crop either collapses to a single token or takes the form of a one-dimensional prefix that can be found efficiently with a linear scan. We implement Top-W using efficient geometry-based potentials (nearest-set or k-NN) and pair it with an alternating decoding routine that keeps the standard truncation-and-sampling interface unchanged. Extensive experiments on four benchmarks (GSM8K, GPQA, AlpacaEval, and MT-Bench) across three instruction-tuned models show that Top-W consistently outperforms prior state-of-the-art decoding approaches achieving up to 33.7% improvement. Moreover, we find that Top-W not only improves accuracy-focused performance, but also boosts creativity under judge-based open-ended evaluation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、オープンエンド世代における論理的一貫性と多様性と創造性をバランスさせなければならない。 既存のトランケーションに基づくサンプリングは有効であるが、主に確率質量とエントロピーに依存し、トークン空間の意味幾何学を無視している。 トークン埋め込み幾何に対してワッサーシュタイン距離定義を用いた幾何対応トランケーション法であるTop-Wについて,保持された集合のエントロピーに対して保持された確率質量を明示的にバランスさせながら,収穫された分布を元の値に近づける。 質量エントロピーのトレードオフによって、最適な作物は1つのトークンに崩壊するか、線形スキャンで効率的に見つけることができる1次元プレフィックスの形を取る。 我々は、効率的な幾何ベースのポテンシャル(アレストセットまたはk-NN)を用いてTop-Wを実装し、標準のトランケーション・アンド・サンプリングインタフェースを変更せずに、それを交互に復号するルーチンと組み合わせる。 4つのベンチマーク(GSM8K、GPQA、AlpacaEval、MT-Bench)の3つの命令チューニングモデルに対する大規模な実験は、Top-Wが最先端のデコードアプローチを一貫して上回っており、最大33.7%の改善が達成されていることを示している。 さらに,Top-Wは精度を重視した性能を向上させるだけでなく,判断に基づくオープンエンド評価の下での創造性も向上させることがわかった。

関連論文リスト

• Tail-Aware Post-Training Quantization for 3D Geometry Models [58.79500829118265]
  ポストトレーニング量子化(PTQ)は、再トレーニングなしに効率的な推論を可能にする。 PTQは複雑な特徴分布と禁止キャリブレーションオーバーヘッドのために、3Dモデルに効果的に転送できない。 3次元幾何学学習のためのTail-Aware Post-Training Quantization PipelineであるTAPTQを提案する。
  論文  参考訳（メタデータ） (2026-02-02T07:21:15Z)
• Latent Geometry of Taste: Scalable Low-Rank Matrix Factorization for Recommender Systems [0.0]
  本研究は、MovieLens 32Mデータセットを用いて、ユーザの嗜好の潜時幾何学について検討する。 制約付き低ランクモデルはランク精度において高次元モデルよりも有意に優れていることを示す。 我々は,人気バイアスとパーソナライズされた親和性とのトレードオフを効果的に管理するための調整可能なスコアリングパラメータを導入し,コールドスタートシナリオにおけるシステムの実用性を検証する。
  論文  参考訳（メタデータ） (2026-01-06T23:42:40Z)
• Scaling Bidirectional Spans and Span Violations in Attention Mechanism [5.755498052202004]
  canonical $O(N2)$ Transformerは、シーケンスモデリングにおける経験的なパフォーマンスフロンティアのままである。 本研究では,非対称なプロジェクションを利用して後方方向の勾配を並列スパンに分解する最適化フレームワークを提案する。 我々はこれらのコンポーネントを選択的にスケーリングし、主に0分の1の双方向並列スパンにフォーカスすることで、最も効果的な学習信号が得られることを示した。
  論文  参考訳（メタデータ） (2025-12-15T07:03:24Z)
• Residual Primitive Fitting of 3D Shapes with SuperFrusta [33.835182155141695]
  本稿では,3次元形状を解析的プリミティブのコンパクトかつ編集可能なアセンブリに変換するフレームワークを提案する。 提案手法には,新しいプリミティブであるSuperFrustumと,反復的適合アルゴリズムResidual Primitive Fittingの2つの重要なコントリビューションが組み合わされている。
  論文  参考訳（メタデータ） (2025-12-09T23:58:51Z)
• Lotus-2: Advancing Geometric Dense Prediction with Powerful Image Generative Model [32.831576387973875]
  安定, 高精度, 微粒な幾何的密度予測のための2段階決定的フレームワークを提案する。 特に、第1段階では、コア予測器は、クリーンデータ目的の単一ステップ決定論的定式化を採用する。 第2段階では、ディテールシャープナーは、コア予測器によって定義される多様体内で制約付き多段階整流補正を行う。
  論文  参考訳（メタデータ） (2025-11-30T18:57:25Z)
• Light-SQ: Structure-aware Shape Abstraction with Superquadrics for Generated Meshes [60.92139345612904]
  我々は、新しいスーパークワッドリックベースの最適化フレームワークLight-SQを提案する。 本稿では,構造対応ボリューム分解によるブロック再配置戦略を提案する。 実験によると、Light-SQはスーパークワッドリックで効率よく、高忠実で、編集可能な形状の抽象化を可能にする。
  論文  参考訳（メタデータ） (2025-09-29T16:18:32Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• CWF: Consolidating Weak Features in High-quality Mesh Simplification [50.634070540791555]
  これらの要件をすべて同時に検討するスムーズな機能を提案する。 この官能基は、通常の異方性項と、セトロイド型ボロノイテッセルレーション(CVT)エネルギー項を含む。
  論文  参考訳（メタデータ） (2024-04-24T05:37:17Z)
• Canny-VO: Visual Odometry with RGB-D Cameras based on Geometric 3D-2D Edge Alignment [85.32080531133799]
  本稿では,自由形式の曲線登録に関する古典的な問題をレビューし,効率的なrgbdビジュアルオドメトリシステムcanny-voに適用する。 エッジ登録でよく用いられる距離変換の代替として、近似近接近傍場と配向近接近傍場という2つの方法が提案されている。 3D2Dエッジアライメントは、効率性と精度の両方の観点から、これらの代替製剤の恩恵を受けます。
  論文  参考訳（メタデータ） (2020-12-15T11:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。