論文の概要: Circuits of LLM Classifiers

• arxiv url: http://arxiv.org/abs/2610.30076v1
• Date: Wed, 21 Oct 2026 17:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.459445
• Title: Circuits of LLM Classifiers
• Title（参考訳）: LLM分類器の回路
• Abstract要約: 言語モデルは、サンプルでモデルに分類させるだけで、分類器を簡単に構築できる。 それらの予測は、決定論的でも、サンプル全体にわたって均一に信頼できるものでもない。 我々の目標は、平均的なクエリコストで、平均的な分類精度を最大化することです。
• 参考スコア（独自算出の注目度）: 10.529613304295735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models make it easy to build classifiers by simply prompting a model with the sample to classify. However, their predictions are neither deterministic nor uniformly reliable across samples. How can we combine predictions from different models to improve reliability? We view LLM classifiers as noisy measurement instruments of an underlying target label. Our goal is to maximize average classification accuracy at a given average query cost. To this end, we introduce circuits that organize LLM classifiers into an adaptive sequence of queries and decisions. We then characterize the optimal circuit, obtain the fundamental limits of achievable accuracy, and provide practical insights on realizing the optimal circuit. Across seven classification tasks spanning safety, health, political science, human preference, agent evaluation, decision-making and reasoning, our method improves the cost-accuracy frontier over routing and cascading baselines.
• Abstract（参考訳）: 言語モデルは、サンプルでモデルに分類させるだけで、分類器を簡単に構築できる。 しかし、それらの予測は決定論的でも、サンプル全体にわたって一様ではない。 異なるモデルの予測を組み合わせて信頼性を向上させるにはどうすればよいのか? 我々は、LLM分類器を、基礎となるターゲットラベルの雑音測定器とみなす。 我々の目標は、平均的なクエリコストで、平均的な分類精度を最大化することです。 この目的のために、LLM分類器を適応的なクエリと決定列に整理する回路を導入する。 次に、最適回路を特徴付け、達成可能な精度の基本的な限界を求め、最適回路を実現するための実践的な洞察を提供する。 安全・健康・政治科学・人選・エージェント評価・意思決定・推論を含む7つの分類課題にまたがって,本手法は,ルーティングとカスケードベースラインに対するコスト-正確性のフロンティアを改善する。

関連論文リスト

• Trustworthy Method Comparison with AI Judges: Estimation and Design under Order, Batch, and Aggregation Effects [8.169190629375342]
  大規模言語モデル(LLM)は、AIの自動評価のための判断として、ますます使われている。 我々は,LLM評価機構をマルコフ一般化線形混合モデルのクラスで近似できることを示した。 本稿では、AI判断者が2つのグラフィカルモデル推定手法を比較するアプリケーションにおけるアプローチについて説明する。
  論文  参考訳（メタデータ） (2026-10-06T04:53:14Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Unsupervised Confidence Calibration for Reasoning LLMs from a Single Generation [2.526814143603023]
  言語モデルの推論は、ますます複雑なタスクを解決することができるが、信頼性の高いデプロイメントに必要なキャリブレーションされた信頼推定を生成するのに苦労する。 推論時間に1世代しか利用できない場合,LLMを推論するための教師なし信頼度校正手法を提案する。 このアプローチでは、ラベル付きデータのオフラインサンプリングを使用して、自己整合性ベースのプロキシターゲットを導出し、この信号を軽量なデプロイメント時間信頼性予測器に蒸留する。
  論文  参考訳（メタデータ） (2026-04-21T13:25:25Z)
• Curate-Train-Refine: A Closed-Loop Agentic Framework for Zero Shot Classification [2.1937565888932653]
  大規模言語モデル(LLM)と高容量エンコーダは、ゼロと少数ショットの分類が進んでいるが、その推論コストと遅延は実際のデプロイを制限している。 LLMから動的に生成した教師による軽量テキスト分類器の訓練を提案する。 提案手法は, LLMがトレーニングデータをキュレートし, モデルの成功と失敗を分析し, 対象とするサンプルを合成し, 観測誤差に対処する反復的エージェントループを用いる。
  論文  参考訳（メタデータ） (2026-01-23T08:04:09Z)
• PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training [9.093854840532062]
  PITAはLLMのトークン生成に直接好みフィードバックを統合する新しいフレームワークである。 PITAは、微調整をせずに、推論時にトークン確率を変更するための、小さな嗜好に基づくガイダンスポリシーを学習する。 我々は,数学的推論や感情分類など,多種多様なタスクにまたがるPITAを評価する。
  論文  参考訳（メタデータ） (2025-07-26T21:46:32Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。