論文の概要: XTC: Head-Aware Sampling by Excluding Top Choices

• arxiv url: http://arxiv.org/abs/2608.22758v1
• Date: Mon, 24 Aug 2026 03:27:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.879744
• Title: XTC: Head-Aware Sampling by Excluding Top Choices
• Title（参考訳）: XTC:トップチョイスを除外したヘッドアウェアサンプリング
• Abstract要約: XTCは確率が絶対可算閾値を超えるトークンを$$で識別する。 確率$$で支配的な選択を排除し、再正規化の前に最も弱い選択肢のみを保持する。 XTCは38%、ラマ、ExLlamaV2、およびテキスト世代で採用されている。
• 参考スコア（独自算出の注目度）: 7.915227100714005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard decoding rules for autoregressive language models promote diversity by rescaling the full next-token distribution or truncating its low-probability tail. These strategies overlook a common regime of open-ended generation in which several continuations are plausible but too much probability mass remains concentrated on the most generic choice. We introduce XTC (Exclude Top Choices), a lightweight head-aware decoding operator that targets this regime directly. XTC identifies tokens whose probabilities exceed an absolute plausibility threshold $τ$: when at least two qualify, it removes the dominant eligible choices with probability $ρ$ and retains only the weakest plausible alternative before renormalization. Across 60 experiments on Gemma 3 27B Q4, Gemma 3 12B Q6, and DeepSeek R1 14B Q6, with scaling validation on Llama 3.3 70B Q4, XTC improves the diversity-repetition Pareto frontier. On creative generation, Distinct-2 increases by 11--15% and repeat trigrams decrease by 27--47% across the four models. Combined with temperature scaling, gains reach 38% in Distinct-2 and 71% in repeat-trigram reduction over baseline. A blinded Amazon Mechanical Turk study with 150 Master raters yields a 62.3% creativity preference for XTC ($p<10^{-4}$) without reduced fluency, while a GPT-4o control judge reproduces the Anthropic-judge direction on every measure. On IFEval with Llama 3.3 70B Q4, XTC preserves prompt-level strict accuracy within 1.7 percentage points of baseline while recovering most of the diversity gain; a temperature setting matched on Distinct-2 reduces IFEval by 8.8 points. The effect is additive with temperature and repetition penalties, robust across quantization levels and model families, and consistent across twelve prompt genres. XTC has been adopted by llama.cpp, ExLlamaV2, and text-generation-webui.
• Abstract（参考訳）: 自己回帰型言語モデルの標準デコーディングルールは、全次トーケン分布を再スケーリングしたり、低確率のテールを切断することで多様性を促進する。 これらの戦略は、いくつかの連続が可算であるが、多くの確率質量が依然として最も一般的な選択に集中しているような、オープンエンド生成の共通の状態を見落としている。 我々は,XTC(Exclude Top Choices)を導入し,この方式を直接ターゲットとした軽量なヘッドアウェア復号演算子を提案する。 XTC は確率が絶対確率閾値$τ$を超えているトークンを識別する:少なくとも2つの予選が成立すると、確率$ρ$で支配的な候補選択を除去し、再正規化の前に最も弱い候補のみを保持する。 Gemma 3 27B Q4、Gemma 3 12B Q6、DeepSeek R1 14B Q6の60以上の実験で、Llama 3.3 70B Q4のスケーリング検証により、XTCは多様性の繰り返しであるParetoフロンティアを改善した。 創造的生成では、Distinct-2は11-15%増加し、反復トリグラムは4つのモデルで27--47%減少する。 温度のスケーリングと組み合わせると、Distinct-2では38%、ベースラインよりもリピートトリグラム還元では71%に達する。 150マスターレーダによる盲目のアマゾン・メカニカル・トルコの研究では、XTC(p<10^{-4}$)のクリエイティビティが62.3%減少し、GPT-4oコントロール・ジャッジの審査員はすべての測定基準で人文・ジャッジの方向を再現する。 Llama 3.3 70B Q4 の IFEval では、XTC はベースラインの 1.7 パーセンテージの精度を保ち、ダイバーシティゲインの大半を回復させ、Distinct-2 で一致した温度設定は IFEval を8.8 ポイント削減する。 この効果は、温度と繰り返しの罰則を付加し、量子化レベルとモデルファミリーをまたいだ堅牢で、12の急進的なジャンルで一貫性がある。 XTCはllama.cpp、ExLlamaV2、およびテキストジェネレーションウェブイによって採用されている。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
  ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。 一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
  論文  参考訳（メタデータ） (2026-07-31T05:34:02Z)
• Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models [0.0]
  コンフォーマルリスク制御(CRC)は、禁忌を伴う選択的予測に対して厳格な限界リスク保証を与える。 グループ構成の微妙な変更により、標準CRCは最大47%の試験で予算に違反している。 ユーザ定義グループ階層のすべてのノードに対して同時リスク保証を実現するポストホックキャリブレーションフレームワークであるHG-CRCを提案する。
  論文  参考訳（メタデータ） (2026-07-27T15:31:59Z)
• DNA: Dual-stage Native Attribution for Generated Image Source Tracing [75.65470221927096]
  既存のプロアクティブな方法は、透かしの埋め込みやモデル修正に依存している。 DNAは、ニューラルネットワークのトレーニングを追加せずに、この階層に従う粗大なフレームワークである。 実験の結果、DNAは89.11%のエンドツーエンドの属性精度を達成している。
  論文  参考訳（メタデータ） (2026-07-15T10:27:52Z)
• Scaffold splits hide structural-frontier failures in ADMET models [25.408600489964726]
  我々は,最も広く,最も物理化学的に遠隔的な足場群を予約するラベルフリーな構造フロンティアスプリットを導入する。 ADMETタスクを6つの公開実験またはキュレートしたADMETタスクで評価した。
  論文  参考訳（メタデータ） (2026-07-12T12:25:50Z)
• Wrong Before Right: Late Rescue and Interface Failure in Aligned Language Models [2.1291393112295935]
  コーディネート言語モデル内での正確性について検討する。 極性制御された最小対上の層間差差分法(DiD)トラジェクトリを用いて、誤差を同定する。 このことは17モデル、3ファミリー、64倍スケール(0.5B-32B)のパッチスコープ型活性化移植による検証である。
  論文  参考訳（メタデータ） (2026-07-06T03:51:24Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering [0.0]
  量子化言語モデルは基本的なジレンマに直面し、低いサンプリング温度は繰り返しモード崩壊した出力を発生させ、一方高温(T > 2.0)は軌道分岐と意味的不整合を引き起こす。 隠れ状態軌跡を事前に計算した真性多様体にテザリングすることで、幻覚から出力エントロピーを分離するフレームワークであるHELIXを提案する。
  論文  参考訳（メタデータ） (2026-02-06T06:24:37Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)
• Robust Residual Finite Scalar Quantization for Neural Compression [46.574899938569125]
  有限スカラー量子化(FSQ)は、簡易なトレーニングを提供するが、多段階設定での残留等級劣化に悩まされる。 本稿では,2つの新しい条件付け手法を用いて,この基本的な制限に対処するロバスト残留有限スカラー量子化(RFSQ)を提案する。 RFSQの有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-20T15:18:59Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。