論文の概要: Characterizing Tradeoffs in Language Model Decoding with Informational Interpretations

• arxiv url: http://arxiv.org/abs/2311.10083v1
• Date: Thu, 16 Nov 2023 18:38:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 13:14:07.099890
• Title: Characterizing Tradeoffs in Language Model Decoding with Informational Interpretations
• Title（参考訳）: 情報解釈を用いた言語モデル復号におけるトレードオフの特徴付け
• Authors: Chung-Ching Chang, William W. Cohen, Yun-Hsuan Sung
• Abstract要約: 本稿では動的プログラミングと情報理論を用いた言語モデルデコーダアルゴリズムの定式化のための理論的枠組みを提案する。 復号化アルゴリズムは動作状態値関数の最適化の結果であることを示す。
• 参考スコア（独自算出の注目度）: 32.78287308229542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a theoretical framework for formulating language model decoder algorithms with dynamic programming and information theory. With dynamic programming, we lift the design of decoder algorithms from the logit space to the action-state value function space, and show that the decoding algorithms are consequences of optimizing the action-state value functions. Each component in the action-state value function space has an information theoretical interpretation. With the lifting and interpretation, it becomes evident what the decoder algorithm is optimized for, and hence facilitating the arbitration of the tradeoffs in sensibleness, diversity, and attribution.
• Abstract（参考訳）: 本稿では動的プログラミングと情報理論を用いた言語モデルデコーダアルゴリズムの定式化のための理論的枠組みを提案する。 動的プログラミングでは、ロジット空間からアクション状態値関数空間へのデコーダアルゴリズムの設計を解き、デコーダアルゴリズムが動作状態値関数の最適化の結果であることを示す。 作用状態値関数空間内の各成分は情報理論的解釈を持つ。 リフトと解釈により、デコーダアルゴリズムが何を最適化しているかが明らかになり、それによって、意味、多様性、帰属におけるトレードオフの仲裁が容易になる。

関連論文リスト

• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• Speculative Contrastive Decoding [55.378200871224074]
  大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。 投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
  論文  参考訳（メタデータ） (2023-11-15T14:15:30Z)
• Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders [5.037881619912574]
  本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。 具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。 我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
  論文  参考訳（メタデータ） (2023-11-14T22:47:23Z)
• Understanding Code Semantics: An Evaluation of Transformer Models in Summarization [0.0]
  関数と変数名を変更することで,コード要約の有効性を評価する。 3つのプログラミング言語にまたがってデッドコードやコメントコードのような敵を導入します。
  論文  参考訳（メタデータ） (2023-10-25T02:41:50Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation [77.44921096644698]
  本稿では,復号化アルゴリズムがLMフェアネスに与える影響を体系的に分析する。 公平さ、多様性、品質のトレードオフを分析します。
  論文  参考訳（メタデータ） (2022-10-07T21:33:34Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。