論文の概要: Invoke Interfaces Only When Needed: Adaptive Invocation for Large Language Models in Question Answering

• arxiv url: http://arxiv.org/abs/2505.02311v1
• Date: Mon, 05 May 2025 01:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.541885
• Title: Invoke Interfaces Only When Needed: Adaptive Invocation for Large Language Models in Question Answering
• Title（参考訳）: 必要なときのみ呼び出しインタフェース:質問応答における大規模言語モデルの適応的呼び出し
• Authors: Jihao Zhao, Chunlai Zhou, Biao Qin,
• Abstract要約: 本研究では,AttenHScoreと呼ばれる実用的な呼び出し評価指標を提案する。 小さなLMの生成過程における幻覚の蓄積と伝播を計算する。 検出しきい値を動的に調整することにより、大きなLMのより正確なリアルタイム実行を実現する。
• 参考スコア（独自算出の注目度）: 5.100085108873068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The collaborative paradigm of large and small language models (LMs) effectively balances performance and cost, yet its pivotal challenge lies in precisely pinpointing the moment of invocation when hallucinations arise in small LMs. Previous optimization efforts primarily focused on post-processing techniques, which were separate from the reasoning process of LMs, resulting in high computational costs and limited effectiveness. In this paper, we propose a practical invocation evaluation metric called AttenHScore, which calculates the accumulation and propagation of hallucinations during the generation process of small LMs, continuously amplifying potential reasoning errors. By dynamically adjusting the detection threshold, we achieve more accurate real-time invocation of large LMs. Additionally, considering the limited reasoning capacity of small LMs, we leverage uncertainty-aware knowledge reorganization to assist them better capture critical information from different text chunks. Extensive experiments reveal that our AttenHScore outperforms most baseline in enhancing real-time hallucination detection capabilities across multiple QA datasets, especially when addressing complex queries. Moreover, our strategies eliminate the need for additional model training and display flexibility in adapting to various transformer-based LMs.
• Abstract（参考訳）: 大小言語モデル(LM)の協調パラダイムは、性能とコストを効果的にバランスさせるが、その重要な課題は、小さなLMで幻覚が発生したときの呼び出しのタイミングを正確に特定することである。 従来の最適化の取り組みは、主に後処理技術に重点を置いており、これはLMの推論プロセスとは別物であり、計算コストが高く、有効性が限られていた。 本稿では,小さなLMの生成過程における幻覚の蓄積と伝播を計算し,潜在的な推論誤差を継続的に増幅する,AttenHScoreと呼ばれる実用的な起動評価指標を提案する。 検出しきい値を動的に調整することにより、大きなLMのより正確なリアルタイム実行を実現する。 さらに,小さいLMの推論能力の限界を考慮すると,不確実性を認識した知識の再編成を活用して,テキストチャンクから重要な情報をよりよく取得するのに役立つ。 大規模な実験により、AttenHScoreは複数のQAデータセット、特に複雑なクエリに対処する際の、リアルタイム幻覚検出能力の向上において、ほとんどのベースラインを上回ります。 さらに,本手法では,様々なトランスフォーマーベースのLMに適応する際の追加モデルトレーニングや表示柔軟性の必要性を排除している。

関連論文リスト

• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models [0.0]
  事実的に誤ったコンテンツの生成である幻覚は、大規模言語モデルにおいてますます困難になっている。 本稿では,このギャップに対処する統合フレームワークとライブラリであるTHaMESを紹介する。 THaMES は LLM における幻覚の評価と緩和のためのエンドツーエンドのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-17T16:55:25Z)
• Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
  パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。 幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。 我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
  論文  参考訳（メタデータ） (2024-03-05T18:22:33Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。