論文の概要: Decoding in Geometry: Alleviating Embedding-Space Crowding for Complex Reasoning

• arxiv url: http://arxiv.org/abs/2601.22536v1
• Date: Fri, 30 Jan 2026 04:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.21422
• Title: Decoding in Geometry: Alleviating Embedding-Space Crowding for Complex Reasoning
• Title（参考訳）: 幾何学におけるデコード:複雑な推論のための埋め込み空間の群集を緩和する
• Authors: Yixin Yang, Qingxiu Dong, Zhifang Sui,
• Abstract要約: CraEGは、幾何学誘導再重み付けによる群集を緩和するプラグアンドプレイサンプリング手法である。 CraEGはトレーニングフリーで、シングルパスであり、標準サンプリング戦略と互換性がある。
• 参考スコア（独自算出の注目度）: 40.709853230796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling-based decoding underlies complex reasoning in large language models (LLMs), where decoding strategies critically shape model behavior. Temperature- and truncation-based methods reshape the next-token distribution through global probability reweighting or thresholding to balance the quality-diversity tradeoff. However, they operate solely on token probabilities, ignoring fine-grained relationships among tokens in the embedding space. We uncover a novel phenomenon, embedding-space crowding, where the next-token distribution concentrates its probability mass on geometrically close tokens in the embedding space. We quantify crowding at multiple granularities and find a statistical association with reasoning success in mathematical problem solving. Motivated by this finding, we propose CraEG, a plug-and-play sampling method that mitigates crowding through geometry-guided reweighting. CraEG is training-free, single-pass, and compatible with standard sampling strategies. Experiments on multiple models and benchmarks demonstrate improved generation performance, with gains in robustness and diversity metrics.
• Abstract（参考訳）: サンプリングベースのデコーディングは、大規模な言語モデル (LLM) において複雑な推論の基盤となり、デコーディング戦略はモデルの振る舞いを批判的に形作る。 温度およびトラルニケーションに基づく手法は、大域的確率再重み付けやしきい値付けを通じて次点分布を再形成し、品質と多様性のトレードオフをバランスさせる。 しかし、それらはトークン確率のみに作用し、埋め込み空間におけるトークン間のきめ細かい関係を無視している。 我々は、埋め込み空間における幾何学的に閉じたトークンに、次のトーケン分布がその確率質量に集中する新しい現象、埋め込み空間群を明らかにする。 複数の粒度の群集を定量化し、数学的問題解決における推論の成功と統計的関連性を見出す。 この発見に触発されて,幾何誘導再重み付けによる群集を緩和するプラグイン・アンド・プレイサンプリング法であるCraEGを提案する。 CraEGはトレーニングフリーで、シングルパスであり、標準サンプリング戦略と互換性がある。 複数のモデルとベンチマークの実験では、ロバストネスと多様性のメトリクスが向上し、世代パフォーマンスが改善された。

関連論文リスト

• Reasoning with Sampling: Your Base Model is Smarter Than You Think [52.639108524651846]
  本稿では,基本モデル自身の可能性を利用した単純な反復サンプリングアルゴリズムを提案する。 我々のアルゴリズムは、ほぼ一致し、RLのアルゴリズムよりも優れているという推論において、大幅に向上することを示した。 我々の方法は、トレーニング、キュレートされたデータセット、検証器を必要としない。
  論文  参考訳（メタデータ） (2025-10-16T17:18:11Z)
• Calibrating Biased Distribution in VFM-derived Latent Space via Cross-Domain Geometric Consistency [52.52950138164424]
  特徴抽出にオフザシェルフ(ビジョン)基礎モデルを利用する場合、特徴分布の幾何学的形状はドメインやデータセット間で顕著な伝達性を示す。 我々は,我々の幾何学的知識誘導分布キャリブレーションフレームワークを,フェデレーション学習とロングテール認識の2つの人気かつ挑戦的な設定で具体化する。 長期学習において、サンプル豊富なカテゴリから移動された幾何学的知識を利用して、サンプル・スカース・テールクラスの真の分布を復元する。
  論文  参考訳（メタデータ） (2025-08-19T05:22:59Z)
• Learning to sample fibers for goodness-of-fit testing [0.0]
  離散指数族モデルに対する完全適合性テストを構築することの問題点を考察する。 この問題をマルコフ決定プロセスに変換し、サンプリングのための「よい動きを学ぶための強化学習アプローチ」を示す。 提案アルゴリズムは,評価可能な収束性を持つアクタ・クリティカル・サンプリング方式に基づいている。
  論文  参考訳（メタデータ） (2024-05-22T19:33:58Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。