論文の概要: Small Encoders Can Rival Large Decoders in Detecting Groundedness

• arxiv url: http://arxiv.org/abs/2506.21288v1
• Date: Thu, 26 Jun 2025 14:09:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.11885
• Title: Small Encoders Can Rival Large Decoders in Detecting Groundedness
• Title（参考訳）: 小さなエンコーダは、接地度を検出するために大きなデコーダを無効化できる
• Authors: Istabrak Abbes, Gabriele Prato, Quentin Fournier, Fernando Rodriguez, Alaa Boukhary, Adam Elwood, Sarath Chandar,
• Abstract要約: 大規模言語モデル(LLM)を外部コンテキストで拡張することで、自然言語処理(NLP)タスクのパフォーマンスが大幅に向上する。 本研究は,LLMによるコストのかかる回答生成の前に,与えられたクエリがコンテキストで提供されるドキュメントにグラウンドドされているかを検出することに焦点を当てる。 我々は,RoBERTa や NomicBERT などの軽量なタスク固有エンコーダモデルにおいて,キュレートされたデータセットを微調整することで,最先端の LLM に匹敵する精度が得られることを示す。
• 参考スコア（独自算出の注目度）: 45.13986921082049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Augmenting large language models (LLMs) with external context significantly improves their performance in natural language processing (NLP) tasks. However, LLMs struggle to answer queries reliably when the provided context lacks information, often resorting to ungrounded speculation or internal knowledge. Groundedness - generating responses strictly supported by the context - is essential for ensuring factual consistency and trustworthiness. This study focuses on detecting whether a given query is grounded in a document provided in context before the costly answer generation by LLMs. Such a detection mechanism can significantly reduce both inference time and resource consumption. We show that lightweight, task specific encoder models such as RoBERTa and NomicBERT, fine-tuned on curated datasets, can achieve accuracy comparable to state-of-the-art LLMs, such as Llama3 8B and GPT4o, in groundedness detection while reducing inference latency by orders of magnitude. The code is available at : https://github.com/chandarlab/Hallucinate-less
• Abstract（参考訳）: 大規模言語モデル(LLM)を外部コンテキストで拡張することで、自然言語処理(NLP)タスクのパフォーマンスが大幅に向上する。 しかし、LLMは、提供されたコンテキストに情報がなく、しばしば根拠のない憶測や内部知識に頼って、クエリに確実に答えることに苦労する。 現実的な一貫性と信頼性を確保するためには、基盤性 – コンテキストによって厳密にサポートされた応答を生成する – が不可欠です。 本研究は,LLMによるコストのかかる回答生成の前に,与えられたクエリがコンテキストで提供されるドキュメントにグラウンドドされているかを検出することに焦点を当てる。 このような検出機構は、推論時間とリソース消費の両方を著しく削減することができる。 計算データセットを微調整したRoBERTaやNomicBERTのような軽量なタスク固有エンコーダモデルでは,Llama3 8BやGPT4oのような最先端のLLMに匹敵する精度を達成でき,精度は桁違いの推論遅延を低減できることを示す。 コードはhttps://github.com/chandarlab/Hallucinate-lessで入手できる。

関連論文リスト

• END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。 我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
  論文  参考訳（メタデータ） (2025-02-26T08:07:17Z)
• Enhancing LLM's Ability to Generate More Repository-Aware Unit Tests Through Precise Contextual Information Injection [4.367526927436771]
  プロンプトエンジニアリングによって導かれる大規模言語モデル(LLM)は、幅広いタスクを扱う能力に注目を集めている。 LLMは、プロジェクトのグローバルな文脈に対する認識の欠如により、焦点メソッドや関数の単体テストを生成する際に幻覚を示す可能性がある。 我々は,レポジトリ対応の単体テストを生成するLLMの能力を向上するRATesterを提案する。
  論文  参考訳（メタデータ） (2025-01-13T15:43:36Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• Rolling the DICE on Idiomaticity: How LLMs Fail to Grasp Context [12.781022584125925]
  我々は、LLMが文脈を効果的に利用して慣用的意味を曖昧にすることができるかどうかをテストするために設計された、新しい対照データセットを構築した。 以上の結果から, LLMは周囲の状況に適応する必要がある場合, 慣用性の解決に失敗することが多いことが判明した。 コードとデータセットを公開しています。
  論文  参考訳（メタデータ） (2024-10-21T14:47:37Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。