論文の概要: Lost in Space: Optimizing Tokens for Grammar-Constrained Decoding

• arxiv url: http://arxiv.org/abs/2502.14969v1
• Date: Thu, 20 Feb 2025 19:06:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:09:59.617324
• Title: Lost in Space: Optimizing Tokens for Grammar-Constrained Decoding
• Title（参考訳）: 宇宙で失う - 文法制約付きデコードのためのトークンの最適化
• Authors: Sil Hamilton, David Mimno,
• Abstract要約: 人間と意味的に類似した文法に体系的な違いがあるかどうかを問う。 4つのNLPベンチマークで5つのトークンフォーマットを持つ4つの人気のあるモデルファミリーをテストする。 すべてのモデルは、実数で分類するように指示されたときに最も正確に実行される。
• 参考スコア（独自算出の注目度）: 3.5757761767474876
• License:
• Abstract: General-purpose language models are trained to produce varied natural language outputs, but for some tasks like annotation or classification we need more specific output formats. LLM systems increasingly support structured output, sampling tokens according to a grammar, which enforces a format but which can also reduce performance. We ask whether there are systematic differences between grammars that appear semantically similar to humans. To answer this question, we test four popular model families with five token formats on four NLP benchmarks. All models perform most accurately when instructed to classify with real numbers. Performance also improves by 5%-10% when models are instructed to return tokens incorporating leading whitespace, which we find can help models avoid structural deficiencies in subword token representations. Format-based differences are largest for smaller models that are often used for local laptop-scale inference. We present best practices for researchers using language models as zero-shot classifiers with structured output.
• Abstract（参考訳）: 汎用言語モデルは、様々な自然言語出力を生成するために訓練されるが、アノテーションや分類のようなタスクには、より具体的な出力フォーマットが必要である。 LLMシステムは次第に構造化された出力をサポートし、文法に従ってトークンをサンプリングし、形式を強制するが性能も低下させる。 人間と意味的に類似した文法に体系的な違いがあるかどうかを問う。 この問いに答えるために、我々は4つのNLPベンチマークで5つのトークン形式を持つ4つの人気のあるモデルファミリをテストした。 すべてのモデルは、実数で分類するように指示されたときに最も正確に実行される。 また、主要なホワイトスペースを組み込んだトークンをモデルに返却するように指示された場合、性能は5%-10%向上する。 フォーマットベースの違いは、ローカルなラップトップスケールの推論によく使用される小さなモデルでは最大である。 構造化された出力を持つゼロショット分類器として言語モデルを用いた研究者のためのベストプラクティスを提案する。

関連論文リスト

• From Language Models over Tokens to Language Models over Characters [54.123846188068384]
  現代の言語モデルは、内部的、数学的には、エンファラクタ文字列ではなくトークン文字列上の分布である。 本稿では,トークンレベル言語モデルから文字レベル言語への変換アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-04T21:19:20Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Learning Mutually Informed Representations for Characters and Subwords [26.189422354038978]
  本稿では,文字とサブワードの言語モデルを組み合わせることを目的とした絡み合いモデルを提案する。 視覚言語モデルにインスパイアされた我々のモデルは、文字とサブワードを別のモダリティとして扱う。 テキスト分類、名前付きエンティティ認識、POSタグ付け、文字レベルのシーケンスラベリングについて評価を行った。
  論文  参考訳（メタデータ） (2023-11-14T02:09:10Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Models In a Spelling Bee: Language Models Implicitly Learn the Character Composition of Tokens [22.55706811131828]
  事前訓練された言語モデルの埋め込み層を探索する。 モデルが単語全体とサブワードトークンの内部文字構成を学習することを示す。
  論文  参考訳（メタデータ） (2021-08-25T11:48:05Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。