論文の概要: Language Model Decoding as Likelihood-Utility Alignment

• arxiv url: http://arxiv.org/abs/2210.07228v1
• Date: Thu, 13 Oct 2022 17:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 14:20:43.665031
• Title: Language Model Decoding as Likelihood-Utility Alignment
• Title（参考訳）: 同義語としての言語モデルデコーディング
• Authors: Martin Josifoski, Maxime Peyrard, Frano Rajic, Jiheng Wei, Debjit Paul, Valentin Hartmann, Barun Patra, Vishrav Chaudhary, Emre K{\i}c{\i}man, Boi Faltings, Robert West
• Abstract要約: モデルの有効性がタスク固有の実用性の概念とどのように一致しているかについて、暗黙の仮定に基づいて、デコード戦略をグループ化する分類法を導入する。 具体的には、様々なタスクの集合における予測の可能性と有用性の相関を解析することにより、提案された分類を裏付ける最初の実証的証拠を提供する。
• 参考スコア（独自算出の注目度）: 54.70547032876017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A critical component of a successful language generation pipeline is the decoding algorithm. However, the general principles that should guide the choice of decoding algorithm remain unclear. Previous works only compare decoding algorithms in narrow scenarios and their findings do not generalize across tasks. To better structure the discussion, we introduce a taxonomy that groups decoding strategies based on their implicit assumptions about how well the model's likelihood is aligned with the task-specific notion of utility. We argue that this taxonomy allows a broader view of the decoding problem and can lead to generalizable statements because it is grounded on the interplay between the decoding algorithms and the likelihood-utility misalignment. Specifically, by analyzing the correlation between the likelihood and the utility of predictions across a diverse set of tasks, we provide the first empirical evidence supporting the proposed taxonomy, and a set of principles to structure reasoning when choosing a decoding algorithm. Crucially, our analysis is the first one to relate likelihood-based decoding strategies with strategies that rely on external information such as value-guided methods and prompting, and covers the most diverse set of tasks up-to-date.
• Abstract（参考訳）: 成功した言語生成パイプラインの重要なコンポーネントは復号化アルゴリズムである。 しかし、デコードアルゴリズムの選択を導くべき一般的な原則はいまだ不明である。 以前の研究は、狭いシナリオでデコーディングアルゴリズムを比較するのみであり、その発見はタスク間で一般化しない。 議論をよりよく構成するために,モデルの可能性がタスク固有の実用性の概念とどの程度一致しているかという暗黙の仮定に基づいて,戦略をデコードする分類法を提案する。 我々は、この分類法によってデコーディング問題のより広い視点が得られ、デコーディングアルゴリズムと確率的利用のミスアライメントの相互作用に基づいているため、一般化可能なステートメントに導くことができると主張している。 具体的には、様々なタスクの集合における予測の可能性と有用性の間の相関を解析することにより、提案された分類を裏付ける最初の実証的証拠と、復号アルゴリズムを選択する際の推論を構造化する一連の原則を提供する。 重要なことは、我々の分析は、可能性に基づく復号戦略と、価値誘導手法やプロンプトなどの外部情報に依存し、最新の最も多様なタスク群をカバーする戦略を関連付ける最初のものである。

関連論文リスト

• Thought-Path Contrastive Learning via Premise-Oriented Data Augmentation for Logical Reading Comprehension [9.67774998354062]
  これまでの研究は主に、Chain-of-Thought(CoT)やデータ拡張による論理的推論能力の向上に重点を置いてきた。 本稿では,CoTの論理式を生成するためのPODA(Premise-Oriented Data Augmentation)フレームワークを提案する。 また,本論文では,原案と反実例の推論経路を比較検討する新たな思考経路コントラスト学習手法についても紹介する。
  論文  参考訳（メタデータ） (2024-09-22T15:44:43Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• e-COP : Episodic Constrained Optimization of Policies [12.854752753529151]
  本稿では,制約付き強化学習(RL)のための第1ポリシー最適化アルゴリズムを提案する。 提案アルゴリズムは, エピソード設定に適応したSoTA (non-episodic) アルゴリズムと類似あるいは良好な性能を示す。
  論文  参考訳（メタデータ） (2024-06-13T20:12:09Z)
• A Framework for Guided Motion Planning [1.179253400575852]
  我々は、ガイド空間の概念を定義することにより、ガイド付き探索の概念を定式化する。 この新しい言語は、同じフレームワークの下で、明らかに異なる先行メソッドをカプセル化している。 本稿では,既知のアルゴリズムでテストした場合の直感と実験的に一致したガイダンスを評価するための情報理論手法を提案する。
  論文  参考訳（メタデータ） (2024-04-04T00:58:19Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Encoding Version History Context for Better Code Representation [13.045078976464307]
  本稿では,コードクローンを予測し,コード分類を行うために,バージョン履歴からコンテキスト情報を符号化することの潜在的な利点について,予備的な証拠を示す。 技術が一貫して機能するためには、コンテキスト、集約、モデルの異なる組み合わせを使用して、より大きなコードベースに関する包括的な調査を行う必要があります。
  論文  参考訳（メタデータ） (2024-02-06T07:35:36Z)
• Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding [46.485363806259265]
  投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。 復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。 本稿では,この有望な復号化パラダイムの概観と解析について述べる。
  論文  参考訳（メタデータ） (2024-01-15T17:26:50Z)
• Deep Graph Matching and Searching for Semantic Code Retrieval [76.51445515611469]
  本稿では,グラフニューラルネットワークに基づくエンドツーエンドのディープグラフマッチングと探索モデルを提案する。 まず、自然言語クエリテキストとプログラミング言語のコードスニペットをグラフ構造化データで表現する。 特に、DGMSは、個々のクエリテキストやコードスニペットのより構造的な情報をキャプチャするだけでなく、それらの微妙な類似性も学習する。
  論文  参考訳（メタデータ） (2020-10-24T14:16:50Z)
• Coordinated Reasoning for Cross-Lingual Knowledge Graph Alignment [74.0482641714311]
  本稿では,2つのコーディネート推論手法,すなわち Easy-to-Hardデコード戦略とジョイントエンティティアライメントアルゴリズムを導入する。 我々のモデルは最先端の性能を実現し,提案手法は既存のベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2020-01-23T18:41:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。