論文の概要: Beyond Tokens: A Survey on Decoding Methods for Large Language and Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.14797v1
• Date: Fri, 14 Aug 2026 18:08:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.08517
• Title: Beyond Tokens: A Survey on Decoding Methods for Large Language and Vision-Language Models
• Title（参考訳）: Beyond Tokens: 大規模言語と視覚言語モデルのデコード方法に関する調査
• Abstract要約: 大規模言語モデル (LLM) と大規模視覚言語モデル (LVLM) は印象的な生成能力を示している。 アウトプットをユーザの意図と一致させることはまだ難しいです。 復号法のような推論時アプローチは、より効率的でスケーラブルなソリューションを提供する。
• 参考スコア（独自算出の注目度）: 63.149913132071966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) and large vision-language models (LVLMs) have demonstrated impressive generative capabilities, yet ensuring their outputs align with user intent is still challenging. While most existing approaches address this issue at the training stage, inference-time approaches like decoding methods offer a more efficient and scalable solution. Decoding methods control model generation by guiding token-level selection, performing sequence-level generation, or generating tokens in parallel to accelerate the process. In this survey, we identify three emerging paradigms from recent works on decoding methods for LLMs and LVLMs, provide a systematic review of these methods, highlight ongoing challenges, and discuss potential future research directions. Our goal is to underscore the efficiency and effectiveness of decoding methods and offer a practical view of their applications. Paper lists and more resources on decoding methods for LLMs and LVLMs can be found at https://github.com/wang2226/Awesome-LLM-Decoding.
• Abstract（参考訳）: 大規模言語モデル(LLM)と大規模視覚言語モデル(LVLM)は印象的な生成能力を誇示しているが、その出力がユーザ意図と一致することはまだ難しい。 既存のほとんどのアプローチでは、トレーニング段階でこの問題に対処していますが、デコードメソッドのような推論時のアプローチは、より効率的でスケーラブルなソリューションを提供します。 復号法は、トークンレベルの選択を誘導し、シーケンスレベルの生成を行うか、プロセスの高速化のためにトークンを並列に生成することによって、モデル生成を制御する。 本稿では,LLM と LVLM の復号法に関する最近の研究成果から,これらの手法の体系的なレビュー,進行中の課題の強調,今後の研究方向性について述べる。 私たちのゴールは、デコード手法の効率性と有効性を評価し、それらのアプリケーションの実用的なビューを提供することです。 LLM と LVLM の復号法に関する論文や資料は https://github.com/wang2226/Awesome-LLM-decoding にある。

関連論文リスト

• A Survey on Diffusion Language Models [30.00199970146068]
  拡散言語モデル(DLM)は、支配的な自己回帰(AR)パラダイムの代替である。 DLMは、推論遅延を減らし、双方向のコンテキストをキャプチャすることに固有の利点がある。 近年の進歩により、DLMは自己回帰に匹敵する性能を示すようになった。
  論文  参考訳（メタデータ） (2025-08-14T17:47:22Z)
• Prompt engineering and framework: implementation to increase code reliability based guideline for LLMs [0.0]
  生成されたコードスニペットの品質と正確性を改善するために,プロンプトテンプレートを導入する。 提案手法はPass@kメートル法においてゼロショット法やチェーン・オブ・ソート法(CoT)法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-19T18:33:08Z)
• Ensemble Learning for Large Language Models in Text and Code Generation: A Survey [6.041894045506043]
  本稿では,理解を深め,さらなる研究を奨励し,テキストおよびコード生成における実践的実装を促進するための,新たなアンサンブルアプローチについてレビューする。 大規模言語モデルは、重み付け、知識融合、エキスパートの混合、出力アンサンブル、ルーティング、カスケードの7つの主要な方法に分類する。 この結果から,多様性表現の改善,出力品質の向上,アプリケーション柔軟性の向上など,重要なメリットが浮かび上がっている。
  論文  参考訳（メタデータ） (2025-03-13T18:50:57Z)
• Large Language Models for Code Generation: A Comprehensive Survey of Challenges, Techniques, Evaluation, and Applications [0.9105696129628794]
  大規模言語モデル(LLM)は多くの分野においてその顕著な能力を示している。 この調査は、LLMがユーザに対して、技術的背景に関係なく、ヒューマン言語を使用して実行可能なコードを自動的に生成する方法に焦点を当てている。
  論文  参考訳（メタデータ） (2025-03-03T07:17:30Z)
• Detecting Knowledge Boundary of Vision Large Language Models by Sampling-Based Inference [82.557441484339]
  視覚大言語モデル(VLLM)の知識境界を検出する手法を提案する。 様々な種類の視覚質問応答データセットに対する実験結果から,本手法がVLLMの知識境界をうまく表現できることが判明した。
  論文  参考訳（メタデータ） (2025-02-25T09:32:08Z)
• Reasoning Over the Glyphs: Evaluation of LLM's Decipherment of Rare Scripts [0.6144680854063939]
  稀なスクリプトを含む言語パズルのマルチモーダルデータセットを構築するための新しいアプローチを提案する。 我々は,GPT-4o,Gemini,Claude 3.5 Sonnetといった著名なモデルを用いて,言語パズルに関する実験を行った。 言語解読における現在のAI手法の長所と短所を明らかにした。
  論文  参考訳（メタデータ） (2025-01-29T17:24:19Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• SED: Self-Evaluation Decoding Enhances Large Language Models for Better Generation [35.10931307279044]
  本稿では,モデル生成の高速化を目的とした自己評価復号法であるSEDを提案する。 推測と評価のステップをデコードプロセスに統合し、LCMがより慎重に決定できるようにします。
  論文  参考訳（メタデータ） (2024-05-26T12:43:18Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。