論文の概要: The End of Manual Decoding: Towards Truly End-to-End Language Models

• arxiv url: http://arxiv.org/abs/2510.26697v2
• Date: Fri, 31 Oct 2025 17:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 13:41:53.452186
• Title: The End of Manual Decoding: Towards Truly End-to-End Language Models
• Title（参考訳）: 手動デコーディングの終わり:真にエンドツーエンドの言語モデルを目指して
• Authors: Zhichao Wang, Dongyang Ma, Xinting Huang, Deng Cai, Tian Lan, Jiahao Xu, Haitao Mi, Xiaoying Tang, Yan Wang,
• Abstract要約: 本稿では,真の"エンドツーエンド"生成を可能にする新しいアーキテクチャであるAutoDecoを紹介する。 各ステップにおいて、コンテキスト固有の温度とトップpの値を動的に予測する軽量なヘッドで標準変換器を拡張する。 我々はAutoDecoがデフォルトのデコード戦略を著しく上回るだけでなく、オラクルで調整されたベースラインに匹敵するパフォーマンスも達成していることを示した。
• 参考スコア（独自算出の注目度）: 45.96704867353608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The "end-to-end" label for LLMs is a misnomer. In practice, they depend on a non-differentiable decoding process that requires laborious, hand-tuning of hyperparameters like temperature and top-p. This paper introduces AutoDeco, a novel architecture that enables truly "end-to-end" generation by learning to control its own decoding strategy. We augment the standard transformer with lightweight heads that, at each step, dynamically predict context-specific temperature and top-p values alongside the next-token logits. This approach transforms decoding into a parametric, token-level process, allowing the model to self-regulate its sampling strategy within a single forward pass. Through extensive experiments on eight benchmarks, we demonstrate that AutoDeco not only significantly outperforms default decoding strategies but also achieves performance comparable to an oracle-tuned baseline derived from "hacking the test set"-a practical upper bound for any static method. Crucially, we uncover an emergent capability for instruction-based decoding control: the model learns to interpret natural language commands (e.g., "generate with low randomness") and adjusts its predicted temperature and top-p on a token-by-token basis, opening a new paradigm for steerable and interactive LLM decoding.
• Abstract（参考訳）: LLM の "end-to-end" ラベルは誤記である。 実際には、温度やトップpのようなハイパーパラメータを手作業で調整する必要がある、微分不可能なデコーディングプロセスに依存しています。 本稿では,独自のデコード戦略を学習することで,真に"エンドツーエンド"な生成を可能にする,新しいアーキテクチャであるAutoDecoを紹介する。 軽量な頭部を持つ標準変圧器を各ステップで、次点のロジットとともに、コンテキスト固有の温度とトップp値を動的に予測する。 このアプローチはデコードをパラメトリックなトークンレベルプロセスに変換し、モデルが1つのフォワードパス内でサンプリング戦略を自己制御できるようにする。 8つのベンチマークの広範な実験を通して、AutoDecoはデフォルトのデコード戦略を著しく上回るだけでなく、「テストセットのハック」から派生したオラクルチューニングベースラインに匹敵するパフォーマンスを達成することを実証した。 このモデルは、自然言語コマンド(例えば、低ランダム性で生成する)を解釈し、予測温度とトップpをトークン単位で調整し、ステアブルでインタラクティブなLCMデコーディングのための新しいパラダイムを開放する。

関連論文リスト

• Test-Time Alignment for Large Language Models via Textual Model Predictive Control [63.508812485566374]
  Textual Model Predictive Control (TMPC) は、推論時に大規模言語モデルを調整するために適応された新しい予測計画フレームワークである。 TMPCは、談話レベル翻訳、長文応答生成、プログラム合成の3つの異なるセグメンテーション特性を持つタスクで評価される。 その結果、TMPCはパフォーマンスを継続的に改善し、一般性を強調している。
  論文  参考訳（メタデータ） (2025-02-28T07:24:33Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
  大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。 LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか? ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T11:18:22Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Direction is what you need: Improving Word Embedding Compression in Large Language Models [7.736463504706344]
  本稿では,AutoEncoderアーキテクチャを利用してトランスフォーマーモデルにトークン埋め込みを圧縮する新たな損失目標を提案する。 提案手法は,初期の言語モデルであるPerplexityにおいて,よく使われるSVDベースの行列分解手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-15T14:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。