論文の概要: Learning the Error Patterns of Language Models

• arxiv url: http://arxiv.org/abs/2605.28328v1
• Date: Wed, 27 May 2026 11:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.006002
• Title: Learning the Error Patterns of Language Models
• Title（参考訳）: 言語モデルの誤りパターンを学習する
• Authors: Jinwoo Kim, Taylor Berg-KirkPatrick, Loris D'Antoni,
• Abstract要約: プレフィックスフィルタは, LLMの誤りパターンを定量的に解析するのに役立つ。 Palは、TypeScript生成におけるQwen2.5-1.5Bのコンパイル率を60%以上向上させ、Qwen2.5-1.5BがLlama3.1-8Bと同じパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 37.090659119764176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When generating outputs for domains with specific validity constraints (e.g., a program should compile), LLMs often fail in a small number of focused ways: for example, by using Python function names when generating TypeScript. We observe that these error patterns can be represented using a small number of constraints that can be learned in practice. We propose \emph{prefix filters}, which are per-domain-and-LLM symbolic functions, as objects to capture the error patterns, Palla as an algorithm to learn prefix filters efficiently in practice, and implement Palla. Prefix filters learned by Palla i) help us quantitatively analyze the error patterns of LLMs, and ii) can be used to constrain the outputs of a model via constrained sampling algorithms. For example, Palla boosts compile rates for Qwen2.5-1.5B on TypeScript generation, by over 60%, allowing Qwen2.5-1.5B to achieve similar performance to Llama3.1-8B unconstrained.
• Abstract（参考訳）: 特定の妥当性制約のあるドメイン(例えば、プログラムがコンパイルすべき)の出力を生成する場合、LLMは、TypeScriptの生成時にPython関数名を使用するなど、少数の集中的な方法で失敗することが多い。 これらのエラーパターンは,実際に学習可能な少数の制約を用いて表現可能であることを観察する。 本稿では,エラーパターンを捕捉するオブジェクトとしてドメイン単位とLLMのシンボル関数であるemph{prefix filters},実際にプレフィックスフィルタを効率よく学習するアルゴリズムとしてPallaを提案する。 Palla が学習したプレフィックスフィルタ 一 LLM の誤りパターンを定量的に分析し、 二 制約サンプリングアルゴリズムによりモデルの出力を制約するために使用することができる。 例えば、PallaはTypeScript生成におけるQwen2.5-1.5Bのコンパイル率を60%以上向上させ、Qwen2.5-1.5BはLlama3.1-8Bと同じパフォーマンスを実現する。

関連論文リスト

• Formalize, Don't Optimize: The Heuristic Trap in LLM-Generated Combinatorial Solvers [52.23061619664667]
  大規模言語モデル(LLM)は直接推論によって複雑な問題を解くのに苦慮しているため、近年のニューロシンボリックシステムは、それを実行可能な解法を合成するためにますます利用している。 我々は,100の問題をベンチマークしたCP-SynC-XL(4,577インスタンス)を導入し,ネイティブアルゴリズム検索(Python),PythonソルバAPI(Python + OR-Tools)による制約モデリング,宣言的制約モデリングという3つのコンストラクションパラダイムを評価した。
  論文  参考訳（メタデータ） (2026-05-12T17:15:45Z)
• Automated Type Annotation in Python Using Large Language Models [2.0686733932673604]
  我々はPythonで型アノテーションを生成するための生成チェック修復パイプラインを開発した。 ManyTypes4Pyベンチマークから6000のコードスニペット上で4つのLLM変種を評価する。 この結果から,汎用性および推論性に最適化されたLCMは一貫性のある型アノテーションを生成するのに有効であることが示された。
  論文  参考訳（メタデータ） (2025-08-01T08:24:14Z)
• GPT-4.1 Sets the Standard in Automated Experiment Design Using Novel Python Libraries [0.649540541957527]
  大規模言語モデル(LLM)は、科学研究におけるコード生成を自動化するツールとして急速に進歩してきた。 本研究では,関数型Pythonコードを生成する上で,最先端のLLMの選択を体系的にベンチマークする。 結果は、モデルの小さなサブセットだけが一貫して正しい実行可能なコードを生成することを示している。
  論文  参考訳（メタデータ） (2025-07-30T13:11:29Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• Type-Constrained Code Generation with Language Models [51.03439021895432]
  本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。 提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-12T15:03:00Z)
• ArthModel: Enhance Arithmetic Skills to Large Language Model [0.0]
  この作業は、さまざまな思考方法、トレーニング方法、言語モデルの使用方法を提供します。 コードとモデルはurlhttps://www.eteced.com/eteced/arithmetic_finetuning_v1でリリースされる。
  論文  参考訳（メタデータ） (2023-11-30T15:06:50Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。