論文の概要: From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.16838v2
• Date: Wed, 20 Nov 2024 17:57:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:11:06.314194
• Title: From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models
• Title（参考訳）: 復号化からメタ生成へ:大規模言語モデルのための推論時間アルゴリズム
• Authors: Sean Welleck, Amanda Bertsch, Matthew Finlayson, Hailey Schoelkopf, Alex Xie, Graham Neubig, Ilia Kulikov, Zaid Harchaoui,
• Abstract要約: この調査は、推論中に計算をスケールするメリットに焦点を当てている。 我々はトークンレベルの生成アルゴリズム、メタジェネレーションアルゴリズム、効率的な生成という3つの領域を統一的な数学的定式化の下で探索する。
• 参考スコア（独自算出の注目度）: 63.188607839223046
• License:
• Abstract: One of the most striking findings in modern research on large language models (LLMs) is that scaling up compute during training leads to better results. However, less attention has been given to the benefits of scaling compute during inference. This survey focuses on these inference-time approaches. We explore three areas under a unified mathematical formalism: token-level generation algorithms, meta-generation algorithms, and efficient generation. Token-level generation algorithms, often called decoding algorithms, operate by sampling a single token at a time or constructing a token-level search space and then selecting an output. These methods typically assume access to a language model's logits, next-token distributions, or probability scores. Meta-generation algorithms work on partial or full sequences, incorporating domain knowledge, enabling backtracking, and integrating external information. Efficient generation methods aim to reduce token costs and improve the speed of generation. Our survey unifies perspectives from three research communities: traditional natural language processing, modern LLMs, and machine learning systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)に関する現代の研究で最も顕著な発見の1つは、トレーニング中の計算のスケールアップがより良い結果をもたらすことである。 しかし、推論中に計算をスケールする利点にはあまり注意が向けられていない。 この調査は、これらの推論時間アプローチに焦点を当てる。 我々はトークンレベルの生成アルゴリズム、メタジェネレーションアルゴリズム、効率的な生成という3つの領域を統一的な数学的定式化の下で探索する。 トークンレベルの生成アルゴリズムは、しばしば復号アルゴリズムと呼ばれ、一度に1つのトークンをサンプリングするか、トークンレベルの検索空間を構築して出力を選択する。 これらの手法は典型的には、言語モデルのロジット、次のトーケン分布、確率スコアへのアクセスを前提としている。 メタジェネレーションアルゴリズムは部分的または完全なシーケンスで動作し、ドメイン知識を取り入れ、バックトラックを可能にし、外部情報を統合する。 効率的な生成方法は、トークンコストを削減し、生成速度を向上することを目的としている。 我々の調査は、従来の自然言語処理、現代のLLM、機械学習システムという3つの研究コミュニティの視点を統一する。

関連論文リスト

• An Analysis under a Unified Fomulation of Learning Algorithms with Output Constraints [5.10832476049103]
  ニューラルネットワーク(NN)は様々なタスクでよく機能するが、時には人間に非意味な結果をもたらす。 トレーニング中に出力制約を減らして人間の知識を注入することで、モデルの性能を改善し、制約違反を減らすことができる。 メインタスクの情報と制約注入を統合化するための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-03T12:58:29Z)
• Executing Natural Language-Described Algorithms with Large Language Models: An Investigation [48.461999568129166]
  自然言語で概説したアルゴリズムを理解・実行するための,今日の大規模言語モデルの能力について検討する。 我々は、30個のアルゴリズムを選択し、300個のランダムサンプリングされたインスタンスを生成し、人気のあるLCMがこれらのアルゴリズムを理解し実行できるかを評価した。 この結果から,LLM,特にGPT-4は,重数値計算を伴わない限り,自然言語で記述されたプログラムを効果的に実行できることが判明した。
  論文  参考訳（メタデータ） (2024-02-23T05:31:36Z)
• Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models [17.059322033670124]
  本稿では,アルゴリズム的推論経路を通じて大規模言語モデルを促進する新しい手法を提案する。 この結果から,LLMをアルゴリズムを用いて指導すると,アルゴリズム自体よりも性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-20T22:36:23Z)
• Fast Quantum Algorithm for Attention Computation [18.44025861624981]
  大規模言語モデル(LLM)は、幅広いタスクで例外的なパフォーマンスを示している。 大規模言語モデル(LLM)のアーキテクチャにおけるアテンションスキームの役割 量子機械計算は古典機械と比較して一定の計算上の優位性を持っていることはよく知られている。
  論文  参考訳（メタデータ） (2023-07-16T14:00:42Z)
• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Exploring Representation-Level Augmentation for Code Search [50.94201167562845]
  我々は、データ処理やトレーニングを必要としない表現レベルでデータ(コードとクエリの両方)を増強する拡張手法について検討する。 大規模公開データセット上で,最先端のコード検索モデルを用いた表現レベル向上手法を実験的に評価した。
  論文  参考訳（メタデータ） (2022-10-21T22:47:37Z)
• The CLRS Algorithmic Reasoning Benchmark [28.789225199559834]
  アルゴリズムの学習表現は機械学習の新たな領域であり、ニューラルネットワークから古典的なアルゴリズムで概念をブリッジしようとしている。 本稿では,従来のアルゴリズムを包括するCLRS Algorithmic Reasoning Benchmarkを提案する。 我々のベンチマークは、ソート、探索、動的プログラミング、グラフアルゴリズム、文字列アルゴリズム、幾何アルゴリズムなど、様々なアルゴリズムの推論手順にまたがっている。
  論文  参考訳（メタデータ） (2022-05-31T09:56:44Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• A Systematic Characterization of Sampling Algorithms for Open-ended Language Generation [71.31905141672529]
  本稿では,自己回帰型言語モデルに広く採用されている祖先サンプリングアルゴリズムについて検討する。 エントロピー低減, 秩序保存, 斜面保全の3つの重要な特性を同定した。 これらの特性を満たすサンプリングアルゴリズムのセットが,既存のサンプリングアルゴリズムと同等に動作することがわかった。
  論文  参考訳（メタデータ） (2020-09-15T17:28:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。