論文の概要: HARISSA: Inference-Time Self-Checks for Efficient and Safe Local Language Model Deployment

• arxiv url: http://arxiv.org/abs/2609.38006v1
• Date: Tue, 29 Sep 2026 16:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.762222
• Title: HARISSA: Inference-Time Self-Checks for Efficient and Safe Local Language Model Deployment
• Title（参考訳）: HARISSA: 効率的で安全なローカル言語モデルのデプロイのための推論時間自己チェック
• Abstract要約: 言語モデルの実行は、プライバシ、レイテンシ、コストの面でメリットがあります。 どちらの決定もモデル自身の隠された状態から行うことができることを示す。 HarISSAは、両方の州が正当性を予測できるようにモデルを微調整する。
• 参考スコア（独自算出の注目度）: 45.739586250885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Running a language model locally offers advantages in privacy, latency, and cost, but local hardware fits only small models, which are less capable than frontier models. The usual remedy for a hard query, escalating it to a cloud model, gives up the privacy and cost advantages of running locally. A deployment that stays local faces two decisions for hard queries instead. First, it can spend more computation on a query, e.g., reasoning before answering, which raises accuracy at a cost in latency, so it must decide which queries are worth the extra computation (efficiency). Second, some queries are beyond the local model, and delivering a wrong answer is worse than deferring the query to a human in the loop, so it must decide which answers are safe to deliver (safety). We show that both decisions can be made from the model's own hidden states. The prefill state, computed before any token is generated, predicts whether the model will answer correctly, and the answer state, at the end of the generated answer, predicts whether that answer is correct. HARISSA fine-tunes the model so that both states predict correctness, then makes both decisions with one policy that cascades through the ways of answering from cheapest to most expensive, skipping a way the prefill state predicts will fail and deferring the query when the answer it stops with is predicted wrong. On a device running a single model, HARISSA is within one accuracy point of chain-of-thought at 2.7 times lower latency. On a server holding four sizes of one model, HARISSA is more accurate than the FrugalGPT and Self-REF cascades at the same latency, and at the same deferral rate the answer state leaves fewer wrong answers than the standard confidence signals in five of six task and setting pairs.
• Abstract（参考訳）: 言語モデルをローカルに実行すると、プライバシ、レイテンシ、コストの面でメリットがあるが、ローカルハードウェアは、フロンティアモデルよりも能力の低い小さなモデルにのみ適合する。 クラウドモデルにエスカレーションすることで、ローカルで実行する際のプライバシとコストのアドバンテージが向上する。 ローカルに留まるデプロイメントは、代わりにハードクエリの2つの決定に直面します。 まず、クエリにより多くの計算、例えば、応答前の推論に費やすことができ、レイテンシーのコストで精度を上げるため、どのクエリが余分な計算(効率)に価値があるかを判断する必要があります。 第二に、いくつかのクエリはローカルモデルを超えていて、間違った回答を提供するのは、ループ内の人間にクエリを延期するよりも悪いため、どの回答が安全な(安全)かを判断する必要があります。 どちらの決定もモデル自身の隠された状態から行うことができることを示す。 任意のトークンが生成される前に計算されたプリフィル状態は、モデルが正しく答えるかどうかを予測し、生成された回答の最後には、その答えが正しいかどうかを予測する。 HARISSAは、両方の州が正当性を予測できるようにモデルを微調整し、次に、最も安いものから最も高価なものへの回答方法を通じてカスケードする1つのポリシーで、両方の決定を行う。 単一のモデルを実行するデバイスでは、HARISSAは2.7倍のレイテンシでチェーンの1つの精度ポイント内にある。 1つのモデルの4つのサイズを持つサーバでは、HARISSAは同じレイテンシでFrugalGPTとSelf-REFのカスケードよりも正確であり、同じ遅延レートで解答状態は6つのタスクのうち5つのタスクとセットペアの標準信頼信号よりも誤答が少ない。

関連論文リスト

• Calibration, Not Answer Selection: Distilling Internal Confidence in Reasoning Models [34.46304985255693]
  言語化された自信は、モデルが答えにコミットする意思があるかを追跡します。 実際の質問応答では、思考の連鎖と答えの間の隠れ状態に対する線形プローブは、かなりよく校正されている。 Probe-SDは、モデル自身のサンプルトレースをプローブでスコアし、各トレース状態の信頼性を上書きし、同じファミリーのベースチェックポイントを微調整する。
  論文  参考訳（メタデータ） (2026-09-27T06:52:17Z)
• Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact [0.0]
  大規模言語モデルは、データベースに対する自然言語インターフェースを新たに信頼できるものにしたが、キャリブレーションされたテキストから集約されたシステムは、デプロイメントにおいて重要な方法で失敗している。 本稿では、生成シェルを持つ信頼カーネルである、そのようなシステムのためのアーキテクチャパターンを1つの不変量に基づいて提案する。 生成シェルは入力とフレーズの応答を解釈し、決定論的カーネルは、完全に指定された質問と解答可能な質問形状の有界集合とを一致させる。 この2つは、ユーザが何らかの値が計算される前に読む確認で一致し、カーネルが表現できない要求は、近似されるよりも減少する。
  論文  参考訳（メタデータ） (2026-08-14T03:53:21Z)
• Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving [69.5155152169752]
  大規模言語モデル(LLM)のための2段階カスケードソリューションを提案する。 ステージ1は、受信するクエリをクラスタ化し、各クラスタを最もコスト効率の良いモデルに割り当てる。 ステージ2は品質推定(QE)カスケードを追加し、ステージ1からの出力が低品質であると判断されると、クエリはより強力なモデルにエスカレーションされる。 テストデータセットでは、カスケードシステムは最強モデルの精度の97-99%を保持し、TPOT(Time Per Output Token)を削減している。 タスクの正確性ラベルのみを必要とし、手動で再構成することなくモデルプールの変更に適応する。
  論文  参考訳（メタデータ） (2026-06-25T18:29:24Z)
• Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models [2.5782420501870296]
  大規模な言語モデルは、不確実な場合には控えるよりも、自信があるが誤った答えを生成することが多い。 マルチチョイス質問応答(MCQA)における抑止のための軽量かつパラメータフリーなプロンプト手法である_Second Guess_を提案する。 第2ギースは10.81%の複合リスク改善を達成している。
  論文  参考訳（メタデータ） (2026-05-25T03:38:54Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)
• Measuring short-form factuality in large language models [50.15055025275888]
  本稿では,言語モデルが短い事実探索質問に答える能力を評価するベンチマークであるSimpleQAを提案する。 SimpleQAはGPT-4応答に対して逆向きに収集される。 SimpleQAの各回答は、正しいか、間違っているか、試みられていないかのどちらかとしてランク付けされる。
  論文  参考訳（メタデータ） (2024-11-07T01:58:42Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。