Fugu-MT 論文翻訳(概要): Lazy-k: Decoding for Constrained Token Classification

論文の概要: Lazy-k: Decoding for Constrained Token Classification

arxiv url: http://arxiv.org/abs/2312.03367v1
Date: Wed, 6 Dec 2023 09:08:32 GMT
ステータス: 処理完了
システム内更新日: 2023-12-07 15:34:30.204293
Title: Lazy-k: Decoding for Constrained Token Classification
Title（参考訳）: lazy-k:制約付きトークン分類のためのデコード
Authors: Arthur Hemmer, Micka\"el Coustaty, Nicola Bartolo, J\'er\^ome Brachat, Jean-Marc Ogier
Abstract要約: 情報抽出のためのトークン分類の文脈において,これらのモデルと制約付き復号法を組み合わせる。この結果から,制約付き復号化手法はモデルの性能を著しく向上させる可能性が示唆された。 Lazy-$kアプローチは、デコード時間と精度の間の柔軟性を高める。
参考スコア（独自算出の注目度）: 0.18101602392062094
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We explore the possibility of improving probabilistic models in structured prediction. Specifically, we combine the models with constrained decoding approaches in the context of token classification for information extraction. The decoding methods search for constraint-satisfying label-assignments while maximizing the total probability. To do this, we evaluate several existing approaches, as well as propose a novel decoding method called Lazy-$k$. Our findings demonstrate that constrained decoding approaches can significantly improve the models' performances, especially when using smaller models. The Lazy-$k$ approach allows for more flexibility between decoding time and accuracy. The code for using Lazy-$k$ decoding can be found here: https://github.com/ArthurDevNL/lazyk.
Abstract（参考訳）: 構造予測における確率モデルの改善の可能性を検討する。具体的には,情報抽出のためのトークン分類の文脈において,制約付き復号手法とモデルを組み合わせる。復号法は,全確率を最大化しながら,制約を満たすラベル割り当てを探索する。そこで我々は,いくつかの既存手法を評価し,Lazy-$k$という新しい復号法を提案する。以上の結果から,制約付き復号化手法はモデルの性能を著しく向上させる可能性が示唆された。 lazy-$k$アプローチは、デコーディング時間と精度の間の柔軟性を高める。 Lazy-$k$デコードを使用するコードは、https://github.com/ArthurDevNL/lazyk.comで参照できる。

関連論文リスト

Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
論文参考訳（メタデータ） (2024-10-23T11:06:36Z)
SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization [51.67317895094664]
本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
論文参考訳（メタデータ） (2024-01-26T09:23:27Z)
Multi-Candidate Speculative Decoding [82.05519287513444]
大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
論文参考訳（メタデータ） (2024-01-12T17:15:23Z)
SpecTr: Fast Speculative Decoding via Optimal Transport [30.18181671899423]
このアルゴリズムはデコーディングの高速化を図り、デコードされた出力に品質劣化がないことを保証します。提案手法は,最先端の大規模言語モデルに対して,標準的なベンチマーク上での投機的復号化よりもさらに1.37倍の高速化である2.13Xのウォールクロック高速化を実現することを実験的に実証した。
論文参考訳（メタデータ） (2023-10-23T17:47:34Z)
CodeExp: Explanatory Code Document Generation [94.43677536210465]
既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。タスクのための多段階微調整戦略とベースラインモデルを提案する。
論文参考訳（メタデータ） (2022-11-25T18:05:44Z)
Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文参考訳（メタデータ） (2022-07-22T17:52:30Z)
Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
論文参考訳（メタデータ） (2022-04-07T08:49:27Z)
How Optimal is Greedy Decoding for Extractive Question Answering? [18.658619268369232]
本稿では,この文脈で最も確率の高い解を効率よく発見する復号アルゴリズムである完全抽出を提案する。グリーディ復号法は、いくつかのトレーニング例の導入により、正確な抽出に収束することを示す。
論文参考訳（メタデータ） (2021-08-12T17:07:31Z)
Beta-CoRM: A Bayesian Approach for $n$-gram Profiles Analysis [0.0]
提案したモデリングの柔軟性により、生成モデルにおける特徴選択への簡単なアプローチを考えることができる。スライスサンプリングアルゴリズムは高速な推論手順のために導出され、合成および実データシナリオに適用される。
論文参考訳（メタデータ） (2020-11-23T17:12:34Z)
Dictionary Learning with Low-rank Coding Coefficients for Tensor Completion [33.068635237011236]
我々のモデルは、与えられた観測結果からデータ適応辞書を学習することである。完了過程において、符号化係数を含む各テンソルスライスの低ランク化を最小化する。
論文参考訳（メタデータ） (2020-09-26T02:43:43Z)
Learning Autoencoders with Relational Regularization [89.53065887608088]
データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
論文参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。