論文の概要: Beyond Token Probes: Hallucination Detection via Activation Tensors with ACT-ViT

• arxiv url: http://arxiv.org/abs/2510.00296v1
• Date: Tue, 30 Sep 2025 21:37:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.26475
• Title: Beyond Token Probes: Hallucination Detection via Activation Tensors with ACT-ViT
• Title（参考訳）: Token Probes:ACT-ViTを用いたアクティベーションテンソルによる幻覚検出
• Authors: Guy Bar-Shalom, Fabrizio Frasca, Yaniv Galron, Yftah Ziser, Haggai Maron,
• Abstract要約: 両軸におけるアクティベーションデータの自然な逐次構造の上に構築する。 画像に類似したフルアクティベーションテンソルの治療を提唱する。 アーキテクチャがマルチLLMトレーニングから大きくメリットがあることを示します。
• 参考スコア（独自算出の注目度）: 30.106500467531873
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Detecting hallucinations in Large Language Model-generated text is crucial for their safe deployment. While probing classifiers show promise, they operate on isolated layer-token pairs and are LLM-specific, limiting their effectiveness and hindering cross-LLM applications. In this paper, we introduce a novel approach to address these shortcomings. We build on the natural sequential structure of activation data in both axes (layers $\times$ tokens) and advocate treating full activation tensors akin to images. We design ACT-ViT, a Vision Transformer-inspired model that can be effectively and efficiently applied to activation tensors and supports training on data from multiple LLMs simultaneously. Through comprehensive experiments encompassing diverse LLMs and datasets, we demonstrate that ACT-ViT consistently outperforms traditional probing techniques while remaining extremely efficient for deployment. In particular, we show that our architecture benefits substantially from multi-LLM training, achieves strong zero-shot performance on unseen datasets, and can be transferred effectively to new LLMs through fine-tuning. Full code is available at https://github.com/BarSGuy/ACT-ViT.
• Abstract（参考訳）: 大規模言語モデル生成テキストにおける幻覚の検出は、その安全な配置に不可欠である。 Probing Classifiersは将来性を示すが、分離されたレイヤツーケンペアで動作し、LLM固有のもので、その有効性を制限し、クロスLLMアプリケーションを妨げる。 本稿では,これらの問題点に対処するための新しいアプローチを提案する。 我々は、両方の軸(層$\times$トークン)におけるアクティベーションデータの自然な逐次構造の上に構築し、画像に似たフルアクティベーションテンソルの扱いを提唱する。 我々は、アクティベーションテンソルに効果的かつ効率的に適用できるビジョントランスフォーマーにインスパイアされたモデルであるACT-ViTを設計し、複数のLSMからのデータのトレーニングを同時にサポートする。 多様なLLMやデータセットを含む総合的な実験を通じて、ACT-ViTが従来の探索手法を一貫して上回りながら、デプロイに極めて効率的であることを実証した。 特に、我々のアーキテクチャはマルチLLMトレーニングから大きく恩恵を受け、目に見えないデータセット上で強力なゼロショット性能を達成し、微調整によって新しいLCMに効果的に転送できることを示す。 完全なコードはhttps://github.com/BarSGuy/ACT-ViT.comで入手できる。

関連論文リスト

• A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
  我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。 本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。 層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
  論文  参考訳（メタデータ） (2025-11-19T04:13:36Z)
• Beyond CNNs: Efficient Fine-Tuning of Multi-Modal LLMs for Object Detection on Low-Data Regimes [0.0]
  我々は,画像中の人工テキストオーバーレイ検出の課題に対して,従来のCNN,ゼロショット事前訓練型マルチモーダルLLM,微調整型マルチモーダルLLMを比較した。 本研究の重要な貢献は,LLMを極めて限られたデータで効果的に微調整し,最大36%の精度向上を達成できることである。 私たちの研究は、ビジョンと言語をブリッジし、効率的なクロスモーダル学習戦略に関する新たな洞察を提供するという、より広範な取り組みに寄与します。
  論文  参考訳（メタデータ） (2025-10-03T18:53:18Z)
• Enhancing Cross-task Transfer of Large Language Models via Activation Steering [75.41750053623298]
  クロスタスク・イン・コンテキスト学習はタスク間で知識を伝達する直接的なソリューションを提供する。 パラメータ更新や入力拡張を伴わずに、潜時空間ステアリングによりクロスタスク転送を実現することができるかを検討する。 本稿では,モデルの内部アクティベーション状態を操作することで,効率的な転送を可能にするクロスタスク・アクティベーション・ステアリング・トランスファー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-17T15:47:22Z)
• SAILViT: Towards Robust and Generalizable Visual Backbones for MLLMs via Gradual Feature Refinement [11.815369617016174]
  視覚変換器(ViT)は,マルチモーダル大言語モデル(MLLM)の視覚的理解能力を確立する上で,基礎的バックボーンとして不可欠である 本稿では,MLLMの複雑なマルチモーダルインタラクションにおける性能ボトルネックを突破するための,段階的特徴学習型ViTを提案する。
  論文  参考訳（メタデータ） (2025-07-02T12:17:23Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• BANER: Boundary-Aware LLMs for Few-Shot Named Entity Recognition [12.57768435856206]
  本稿では,Few-Shot Named Entity Recognition のための境界認識 LLM という手法を提案する。 一般化されたエンティティスパンに対するエンティティ境界を知覚するLLMの能力を高めるために,境界対応のコントラスト学習戦略を導入する。 ターゲットドメインからソースドメインに情報をアライメントするためにLoRAHubを使用し、適応型クロスドメイン分類機能を強化する。
  論文  参考訳（メタデータ） (2024-12-03T07:51:14Z)
• Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [66.04061083611863]
  既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。 DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。 DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
  論文  参考訳（メタデータ） (2024-11-29T11:24:23Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。