論文の概要: SelfElicit: Your Language Model Secretly Knows Where is the Relevant Evidence

• arxiv url: http://arxiv.org/abs/2502.08767v1
• Date: Wed, 12 Feb 2025 20:13:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:33.523692
• Title: SelfElicit: Your Language Model Secretly Knows Where is the Relevant Evidence
• Title（参考訳）: SelfElicit:あなたの言語モデルは、関連するエビデンスを秘密裏に知る
• Authors: Zhining Liu, Rana Ali Amjad, Ravinarayana Adkathimar, Tianxin Wei, Hanghang Tong,
• Abstract要約: SelfElicitは、自己ガイドによる明示的なハイライトを通じて、LMが重要な文脈的エビデンスに集中するのに役立つ推論時アプローチである。 我々は、SelfElicitが複数のエビデンスベースのQAタスクに一貫性と大幅な改善をもたらすことを実証する。
• 参考スコア（独自算出の注目度）: 43.136091203995925
• License:
• Abstract: Providing Language Models (LMs) with relevant evidence in the context (either via retrieval or user-provided) can significantly improve their ability to provide factually correct grounded responses. However, recent studies have found that LMs often struggle to fully comprehend and utilize key evidence from the context, especially when it contains noise and irrelevant information - an issue common in real-world scenarios. To address this, we propose SelfElicit, an inference-time approach that helps LMs focus on key contextual evidence through self-guided explicit highlighting. By leveraging the inherent evidence-finding capabilities of LMs using the attention scores of deeper layers, our method automatically identifies and emphasizes key evidence within the input context, facilitating more accurate and factually grounded responses without additional training or iterative prompting. We demonstrate that SelfElicit brings consistent and significant improvement on multiple evidence-based QA tasks for various LM families while maintaining computational efficiency. Our code and documentation are available at https://github.com/ZhiningLiu1998/SelfElicit.
• Abstract（参考訳）: 言語モデル(LM)をコンテキストに関連した証拠(検索またはユーザ提供)を提供することで、現実的に正しい応答を提供する能力を大幅に向上させることができる。 しかし、最近の研究では、特にノイズや無関係な情報を含む場合、LMは文脈から重要な証拠を十分に理解し活用するのに苦労していることがしばしば見出されている。 これを解決するために、自己ガイドによる明示的なハイライトを通じて、LMが重要な文脈的エビデンスに焦点を合わせるのに役立つ推論時アプローチであるSelfElicitを提案する。 本手法は,より深いレイヤの注意点を用いて,LMの本質的なエビデンスフィリング機能を活用することにより,入力コンテキスト内の重要なエビデンスを自動的に識別し,強調することにより,追加のトレーニングや反復的なプロンプトを伴わずに,より正確で現実的な応答を容易にする。 我々は、SelfElicitが、計算効率を維持しつつ、様々なLMファミリーに対して複数のエビデンスベースのQAタスクを一貫した、重要な改善をもたらすことを実証した。 私たちのコードとドキュメントはhttps://github.com/ZhiningLiu1998/SelfElicit.comで公開されています。

関連論文リスト

• Model Tells Itself Where to Attend: Faithfulness Meets Automatic Attention Steering [108.2131720470005]
  大規模言語モデル(LLM)は、様々な現実世界のタスクで顕著なパフォーマンスを示している。 彼らはしばしば、入力コンテキストを完全に理解し、効果的に利用するのに苦労し、不信または幻覚的な反応をもたらす。 本稿では,重要な文脈情報を自動的に識別し,LLMの注意点を制御して強調する手法であるAutoPASTAを提案する。
  論文  参考訳（メタデータ） (2024-09-16T23:52:41Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Towards LLM-based Autograding for Short Textual Answers [4.853810201626855]
  この写本は、自動階調のための大きな言語モデルの評価である。 のLCMは貴重なツールであるが、独立した自動グルーピングのための準備がまだ進行中であることを示唆している。
  論文  参考訳（メタデータ） (2023-09-09T22:25:56Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking [10.046323978189847]
  本稿では,命令追従言語モデルと外部エビデンス検索を併用して,ファクトチェック性能を向上させることを提案する。 我々のアプローチは、与えられた入力クレームに関する適切な証拠を検索するために検索エンジンを活用することである。 そして、この証拠を用いて、LLaMAと呼ばれるオープンソースの言語モデルを作成し、入力クレームの正確性をより正確に予測できるようにする。
  論文  参考訳（メタデータ） (2023-09-01T04:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。