論文の概要: LENS: Learning Ensemble Confidence from Neural States for Multi-LLM Answer Integration

• arxiv url: http://arxiv.org/abs/2507.23167v1
• Date: Thu, 31 Jul 2025 00:35:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:08.917408
• Title: LENS: Learning Ensemble Confidence from Neural States for Multi-LLM Answer Integration
• Title（参考訳）: LENS: マルチLLM回答統合のためのニューラルネットワーク状態からの信頼度を学習する
• Authors: Jizhou Guo,
• Abstract要約: 大きな言語モデル(LLM)は、様々なタスクで素晴らしいパフォーマンスを示しています。 LENS(Learning ENsemble confidence from Neural States)は、内部表現を分析してモデル信頼度を推定する新しい手法である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive performance across various tasks, with different models excelling in distinct domains and specific abilities. Effectively combining the predictions of multiple LLMs is crucial for enhancing system robustness and performance. However, existing ensemble methods often rely on simple techniques like voting or logits ensembling, which overlook the varying confidence and reliability of models in different contexts. In this work, we propose LENS (Learning ENsemble confidence from Neural States), a novel approach that learns to estimate model confidence by analyzing internal representations. For each LLM, we train a lightweight linear confidence predictor that leverages layer-wise hidden states and normalized probabilities as inputs. This allows for more nuanced weighting of model predictions based on their context-dependent reliability. Our method does not require modifying the model parameters and requires negligible additional computation. Experimental results on multiple-choice and boolean question-answering tasks demonstrate that LENS outperforms traditional ensemble methods by a substantial margin. Our findings suggest that internal representations provide valuable signals for determining model confidence and can be effectively leveraged for ensemble learning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなタスクにまたがって印象的なパフォーマンスを示しており、異なるモデルは異なるドメインと特定の能力に優れています。 複数のLSMの予測を効果的に組み合わせることは、システムの堅牢性と性能を向上させるために重要である。 しかし、既存のアンサンブル法は投票やロジットのアンサンブルのような単純な手法に依存しており、異なる文脈におけるモデルの信頼性や信頼性を軽視している。 本研究では,LENS(Learning ENsemble confidence from Neural States)を提案する。 各LSMに対して、階層的に隠された状態と正規化確率を入力として利用する軽量線形信頼予測器を訓練する。 これにより、コンテキスト依存の信頼性に基づいたモデル予測のより微妙な重み付けが可能になる。 我々の手法はモデルパラメータを変更する必要はなく、無視可能な追加計算を必要とする。 LENSは従来のアンサンブル法よりもかなり優れていることを示す。 実験の結果,内部表現はモデルの信頼度を決定する上で有用な信号であり,アンサンブル学習に効果的に活用できることが示唆された。

関連論文リスト

• An Information-Theoretic Perspective on Multi-LLM Uncertainty Estimation [7.018119896897734]
  大規模言語モデル(LLM)は入力間で矛盾なく振る舞うことが多く、不確実性を示し、その定量化の必要性を高レベルな設定で動機付けている。 本稿では,MUSE(Multi-LLM Uncertainty via Subset Ensembles)を提案する。 二分予測タスクの実験では、単一モデルとナイーブアンサンブルベースラインと比較してキャリブレーションと予測性能が改善された。
  論文  参考訳（メタデータ） (2025-07-09T19:13:25Z)
• Statistical Runtime Verification for LLMs via Robustness Estimation [0.0]
  ランタイムクリティカルなアプリケーションにLLM(Large Language Models)を安全にデプロイするためには、逆の堅牢性検証が不可欠である。 ブラックボックス配置環境におけるLCMのオンライン実行時ロバスト性モニタとしての可能性を評価するために,RoMA統計検証フレームワークを適応・拡張するケーススタディを提案する。
  論文  参考訳（メタデータ） (2025-04-24T16:36:19Z)
• xIDS-EnsembleGuard: An Explainable Ensemble Learning-based Intrusion Detection System [7.2738577621227085]
  我々は、先進的な説明可能な侵入検知システム(xIDS)を設計することで、ネットワーク内の悪意ある攻撃を検出することの課題に対処することに注力する。 既存の機械学習とディープラーニングアプローチには、予測の潜在的なバイアス、解釈可能性の欠如、トレーニングデータに過度に適合するリスクなど、目に見えない制限がある。 本稿では,これらの課題を克服するためのアンサンブル学習手法"EnsembleGuard"を提案する。
  論文  参考訳（メタデータ） (2025-03-01T20:49:31Z)
• Graph-based Confidence Calibration for Large Language Models [22.394717844099684]
  本稿では,大規模言語モデルによって生成された複数の出力の自己整合性に基づいて,応答正当性を評価するための補助学習モデルを提案する。 提案手法は,複数応答間の一致を表現するために整合性グラフを構築し,グラフニューラルネットワーク(GNN)を用いて各応答の正しさを推定する。
  論文  参考訳（メタデータ） (2024-11-03T20:36:44Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets [46.19529338280716]
  言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感である。 入力摂動が言語モデルにどう影響するかを,様々な尺度で検討する手法を提案する。 複数の摂動に対するロバスト性に対処するための3つの異なる微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-15T02:59:10Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。