論文の概要: Max-pooling Network Revisited: Analyzing the Role of Semantic Probability in Multiple Instance Learning for Hallucination Detection

• arxiv url: http://arxiv.org/abs/2605.08863v2
• Date: Wed, 13 May 2026 05:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 17:13:58.822002
• Title: Max-pooling Network Revisited: Analyzing the Role of Semantic Probability in Multiple Instance Learning for Hallucination Detection
• Title（参考訳）: 最大プールネットワーク再考:幻覚検出のための複数インスタンス学習における意味確率の役割の分析
• Authors: Shota Fujikawa, Issei Sato,
• Abstract要約: 幻覚検出は、大規模言語モデルの信頼性を向上させるためにますます重要になっている。 近年,MIL(Multiple Instance Learning)による内部モデル状態とセマンティック一貫性を組み合わせたHaMIのようなハイブリッドアプローチが,最先端のパフォーマンスを実現している。 本研究では,まず,決定マージンの観点からHaMIの理論的解析を行い,内部状態を意味的整合性で拡張すると決定マージンが大きくなることを示した。
• 参考スコア（独自算出の注目度）: 31.935824861650005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucination detection has become increasingly important for improving the reliability of large language models (LLMs). Recently, hybrid approaches such as HaMI, which combine semantic consistency with internal model states via Multiple Instance Learning (MIL), have achieved state-of-the-art performance. However, these methods incur substantial computational overhead due to repeated sampling and costly semantic similarity computations. In this work, we first provide a theoretical analysis of HaMI in terms of decision margins, revealing that scaling internal states with semantic consistency leads to an enlarged decision margin. Motivated by this insight, we revisit classical sentence classification models from a margin enlargement perspective, aggregating token-level features via max pooling and directly estimating sentence scores using a lightweight MLP. Without requiring semantic consistency computations, our approach achieves substantial efficiency improvements while maintaining competitive performance with state-of-the-art baselines through adaptive aggregation of internal feature representations. Code is available at https://github.com/FUJI1229/Hallucination_Detection.
• Abstract（参考訳）: 大型言語モデル (LLM) の信頼性向上のために, 幻覚検出がますます重要になっている。 近年,MIL(Multiple Instance Learning)による内部モデル状態とセマンティック一貫性を組み合わせたHaMIのようなハイブリッドアプローチが,最先端のパフォーマンスを実現している。 しかし、これらの手法は繰り返しサンプリングとコストのかかる意味的類似性計算によってかなりの計算オーバーヘッドを発生させる。 本研究では,まず,決定マージンの観点からHaMIの理論的解析を行い,内部状態を意味的整合性で拡張すると決定マージンが大きくなることを示した。 この知見により,従来の文分類モデルをマージン拡大の観点から再検討し,最大プール化によるトークンレベルの特徴の集約と,軽量MLPを用いた文スコアの直接推定を行う。 セマンティック一貫性計算を必要とせず、内部特徴表現の適応的集約により、最先端のベースラインとの競合性能を維持しつつ、大幅な効率向上を実現している。 コードはhttps://github.com/FUJI1229/Hallucination_Detectionで入手できる。

関連論文リスト

• Mixture-of-Experts Models in Vision: Routing, Optimization, and Generalization [0.0]
  画像分類設定におけるMoEの挙動について検討し、予測性能、専門家の活用、一般化に着目した。 我々は、CIFAR10データセット上の密度、SoftMoE、SparseMoE分類器を、同等のモデルキャパシティで比較する。 どちらのMoE変種も、正規化によるバランスの取れた専門家の利用を維持しながら、密度の高いベースラインよりもわずかに高い検証精度を達成する。 DenseとSparseMoEは、全てのモデルが同等の一般化性能を達成しているにもかかわらず、同様の曲率状態にあるのに対して、SoftMoEはこれらの指標によってよりシャープさを示す。
  論文  参考訳（メタデータ） (2026-01-21T14:22:25Z)
• Multiscale Aggregated Hierarchical Attention (MAHA): A Game Theoretic and Optimization Driven Approach to Efficient Contextual Modeling in Large Language Models [0.0]
  マルチスケール集約階層的注意(MAHA)は、階層的分解と数学的に厳密な集約を通じて注意機構を再構築する新しいアーキテクチャフレームワークである。 MAHAは、入力シーケンスを学習可能なダウンサンプリング演算子を介して階層スケールに動的に分割する。 実験的なFLOP解析により,4096のシークエンス長で計算コストが81%削減されたことが確認された。
  論文  参考訳（メタデータ） (2025-12-16T21:27:21Z)
• MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
  大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。 textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。 実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
  論文  参考訳（メタデータ） (2025-10-10T11:40:27Z)
• WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
  本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。 WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。 私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-23T16:02:06Z)
• InverseScope: Scalable Activation Inversion for Interpreting Large Language Models [5.670123459649656]
  InverseScopeは、入力インバージョンを介して神経活性化を解釈するための仮定ライトでスケーラブルなフレームワークである。 高次元空間におけるサンプリングの非効率性に対処するために,新しい条件生成アーキテクチャを提案する。 また,サンプル入力上で計算された特徴整合率を用いて,解釈可能性仮説をテストする定量的評価プロトコルを導入する。
  論文  参考訳（メタデータ） (2025-06-09T03:59:28Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Learning Multiscale Consistency for Self-supervised Electron Microscopy Instance Segmentation [48.267001230607306]
  本稿では,EMボリュームのマルチスケール一貫性を高める事前学習フレームワークを提案する。 当社のアプローチでは,強力なデータ拡張と弱いデータ拡張を統合することで,Siameseネットワークアーキテクチャを活用している。 効果的にボクセルと機能の一貫性をキャプチャし、EM分析のための転送可能な表現を学習する。
  論文  参考訳（メタデータ） (2023-08-19T05:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。