論文の概要: IntroLM: Introspective Language Models via Prefilling-Time Self-Evaluation

• arxiv url: http://arxiv.org/abs/2601.03511v1
• Date: Wed, 07 Jan 2026 01:48:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.112178
• Title: IntroLM: Introspective Language Models via Prefilling-Time Self-Evaluation
• Title（参考訳）: IntroLM:プリフィル時間自己評価によるイントロスペクティブ言語モデル
• Authors: Hossein Hosseini Kasnavieh, Gholamreza Haffari, Chris Leckie, Adel N. Toosi,
• Abstract要約: IntroLMは,前処理フェーズにおける因果言語モデルによる出力品質の予測を可能にする手法である。 IntroLMはより優れたコストパフォーマンストレードオフを実現し、レイテンシを最大33プレセント、モデル使用率を最大50プレセントまで削減する。
• 参考スコア（独自算出の注目度）: 32.43655444873685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A major challenge for the operation of large language models (LLMs) is how to predict whether a specific LLM will produce sufficiently high-quality output for a given query. Existing approaches rely on external classifiers, most commonly BERT based models, which suffer from limited context windows, constrained representational capacity, and additional computational overhead. We propose IntroLM, a method that enables causal language models to predict their own output quality during the prefilling phase without affecting generation using introspective tokens. By introducing token conditional LoRA that activates only for the introspective token, the model learns to predict the output quality for a given query while preserving the original backbone behavior and avoiding external evaluators. On question answering benchmarks, IntroLM applied to Qwen3 8B achieves a ROC AUC of 90 precent for success prediction, outperforming a DeBERTa classifier by 14 precent. When integrated into multi model routing systems, IntroLM achieves superior cost performance tradeoffs, reducing latency by up to 33 precent and large model usage by up to 50 precent at matched reliability.
• Abstract（参考訳）: 大規模言語モデル(LLM)の運用における大きな課題は、特定のLLMが与えられたクエリに対して十分な高品質な出力を生成するかどうかを予測することである。 既存のアプローチは外部分類器(一般にBERTベースのモデル)に依存しており、コンテキストウィンドウの制限、表現能力の制限、計算オーバーヘッドの増大に悩まされている。 IntroLMは,イントロスペクティブトークンの生成に影響を与えることなく,前処理フェーズにおける因果言語モデルによる出力品質の予測を可能にする手法である。 イントロスペクティブトークンのみをアクティベートするトークン条件付きLoRAを導入することで、元のバックボーンの挙動を保ちながら外部評価子を避けるとともに、所定のクエリの出力品質を予測することができる。 質問応答ベンチマークでは、Qwen3 8Bに適用されたIntroLMは成功予測のために90のROC AUCを達成し、DeBERTa分類器を14の精度で上回っている。 マルチモデルルーティングシステムに統合されると、IntroLMはより優れたコストパフォーマンストレードオフを達成し、最大33の事前および大規模モデルの使用を最大50の信頼性で削減する。

関連論文リスト

• Clotho: Measuring Task-Specific Pre-Generation Test Adequacy for LLM Inputs [6.862079218077768]
  特定のタスクで大規模言語モデルをテストするのは難しくてコストがかかります。 重要な課題は、タスクの要求を反映した方法で入力精度を評価することである。 タスク固有のプレジェネレーションアプライバシ尺度であるCLOTHOを導入する。
  論文  参考訳（メタデータ） (2025-09-22T02:34:09Z)
• The LLM Already Knows: Estimating LLM-Perceived Question Difficulty via Hidden Representations [33.65540900920885]
  大規模言語モデル(LLM)によって知覚される入力質問の難しさを推定することは、正確な性能評価と適応推論に不可欠である。 本稿では,LLMが生成する隠れ表現のみを利用する難易度推定手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T09:38:41Z)
• Text Generation Beyond Discrete Token Sampling [74.06071135207635]
  入力の混合(Mixture of Inputs, MoI)は、自動回帰生成のためのトレーニング不要な方法である。 MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善している。
  論文  参考訳（メタデータ） (2025-05-20T18:41:46Z)
• Noiser: Bounded Input Perturbations for Attributing Large Language Models [17.82404809465846]
  本稿では,各入力埋め込みに有界雑音を課す摂動型FA法であるノイズ器を紹介する。 ノイズは、信頼度と応答性の両方の観点から、既存の勾配、注意に基づく、摂動に基づくFA法を一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2025-04-03T10:59:37Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [75.1351701045874]
  Best-of-N selectionは、Large Language Models(LLMs)の推論性能を改善するための重要なテクニックである。 本稿では, LLM出力の固有確率分布を利用して, 外部報酬モデルを必要としない応答品質を推定する, 新規で効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。