論文の概要: Koa-action: Fast and Consistent Structured Decision Making with Generative LLMs

• arxiv url: http://arxiv.org/abs/2609.36115v1
• Date: Mon, 28 Sep 2026 18:49:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.958175
• Title: Koa-action: Fast and Consistent Structured Decision Making with Generative LLMs
• Title（参考訳）: Koa-action:ジェネレータによる高速かつ一貫性のある構造決定
• Abstract要約: Koa-actionは低レイテンシのアトミックアクションのためのフレームワークである。 本手法は,分類を決定論的一段階復号化問題に還元する。 生産意図付けベンチマークでは、Koa-actionは85.5%の精度に達する。
• 参考スコア（独自算出の注目度）: 8.442668981961834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Industry applications often demand low-latency classification, yet current large language model (LLM) approaches remain poorly suited for latency-critical applications. Existing prompting and constrained decoding produce verbose, multi-token outputs that require expensive token-by-token generation, while encoder-based models achieve faster inference but sacrifice task flexibility. We propose Koa-action, a framework for low-latency atomic actions -- fast, single-step decisions such as classification, semantic endpointing, Boolean checks, and scoring -- formulated as constrained generation with single-token outputs. By introducing atomic label tokens and applying supervised fine-tuning, our method reduces classification to a deterministic one-step decoding problem. Across standard benchmarks, Koa-action delivers competitive accuracy with consistently low and stable latency. On a production intent-routing benchmark, Koa-action reaches 85.5% accuracy -- competitive with the strongest frontier models (Claude-4.8-Opus, Gemini-Pro-3.1) and ahead of GPT-5 and Gemini-2.5-Pro -- while answering in about half a second, several-fold faster than every frontier model (up to ~7.5x at the median) under identical serving conditions. Against the dedicated single-token system Jev/TypeSafe, Koa-action is competitive on accuracy and faster at the median, while also handling multimodal inputs and multi-label outputs that single-label text systems do not.
• Abstract（参考訳）: 産業アプリケーションは低レイテンシの分類を必要とすることが多いが、現在の大規模言語モデル(LLM)アプローチはレイテンシクリティカルなアプリケーションには適していない。 既存のプロンプトと制約付き復号化は、高価なトークン・バイ・トーケン生成を必要とする冗長なマルチトークン出力を生成し、エンコーダベースのモデルはより高速な推論を実現するが、タスクの柔軟性を犠牲にする。 このフレームワークは、分類、セマンティックエンドポイント、ブールチェック、スコアリングなどの高速でシングルステップの意思決定を、単一トーケン出力で制約付き生成として定式化する。 原子ラベルトークンを導入し、教師付き微調整を適用することにより、分類を決定論的一段階復号化問題に還元する。 標準ベンチマーク全体では、Koa-actionは一貫して低レイテンシと安定したレイテンシで競合する精度を提供する。 生産意図のベンチマークでは、Koa-actionは85.5%の精度に達し、最強のフロンティアモデル(Claude-4.8-Opus、Gemini-Pro-3.1)と競合し、GPT-5とGemini-2.5-Proに先んじている。 専用のシングルトークンシステムであるJev/TypeSafeに対して、Koa-actionは、シングルラベルのテキストシステムではできないマルチモーダル入力とマルチラベル出力を処理しながら、中央値での精度と高速化に競争力がある。

関連論文リスト

• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification [29.426184837710952]
  投機的復号化は,複数のトークンを並列に起草することで,大規模言語モデルの推論を高速化する有効な手法である。 生成品質を保ちながら時間効率を向上させる緩やかな検証フレームワークである動的検証緩和投機復号法(DIVERSED)を提案する。 本研究では,DIVERSEDが標準的な投機的復号法に比べてかなり高い推論効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-08T21:52:32Z)
• Arbitrage: Efficient Reasoning via Advantage-Aware Speculation [71.45710345765528]
  投機的復号化は、高速だが不正確なドラフトモデルを用いて推論を加速し、自動回帰的にトークンを提案する。 しかし、意味論的に等価なステップにおけるトークンミスマッチによる不要な拒絶のため、従来のトークンレベルの投機的デコーディングは、タスクの推論に苦労する。 提案するArbitrageは,ドラフトモデルとターゲットモデルとの相対的優位性に基づいて動的に生成をルーティングする,新しいステップレベルの投機生成フレームワークである。
  論文  参考訳（メタデータ） (2025-12-04T17:50:53Z)
• Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
  階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。 HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-10-22T15:56:19Z)
• Modality Agnostic Efficient Long Range Encoder [14.705955027331674]
  汎用実装を用いた単一デバイス上での長文処理の課題に対処する。 これらの制約を克服するために、統一的で効率的なトランスアーキテクチャであるMAELREを提案する。 我々は、MAELREが既存の長文モデルと比較して計算コストを低減しつつ、優れた精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2025-07-25T16:19:47Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• AutoJudge: Judge Decoding Without Manual Annotation [13.451750613294054]
  AutoJudgeは大規模言語モデル(LLM)推論をタスク固有の損失投機的デコードで高速化する手法である。 提案手法は,ターゲットモデルとドラフトモデルとのミスマッチのどれを修正すべきかを,半グレディな探索アルゴリズムに頼っている。
  論文  参考訳（メタデータ） (2025-04-28T17:59:28Z)
• Fast and Robust Early-Exiting Framework for Autoregressive Language Models with Synchronized Parallel Decoding [43.659680579686544]
  本稿では,浅層深度モジュールと並列デコーディングを併用したFast and Robust Early-Exitingフレームワークを提案する。 我々のフレームワークは、既存のトークンの復号処理を、以前に積み重ねられた早期発行トークンと同期させることで、より高速な推論を可能にする。 並列デコーディングにより,浅層モデルと深部モデルの両方からの予測を観測できるので,新しい適応しきい値推定器を提案する。
  論文  参考訳（メタデータ） (2023-10-09T05:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。