論文の概要: FacLens: Transferable Probe for Foreseeing Non-Factuality in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.05328v2
• Date: Mon, 07 Oct 2024 03:06:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:42:40.350450
• Title: FacLens: Transferable Probe for Foreseeing Non-Factuality in Large Language Models
• Title（参考訳）: FacLens:大規模言語モデルにおける非ファクチュアリティの予測可能なプローブ
• Authors: Yanling Wang, Haoyang Li, Hao Zou, Jing Zhang, Xinlei He, Qi Li, Ke Xu,
• Abstract要約: 本研究は,非実効性予測(NFP)について検討し,LLMが質問に対する非実効性応答を生成するかどうかを予測することを目的とした。 本研究では,NFPタスクの隠れ表現を効果的に探索するFacLensという軽量なNFPモデルを提案する。
• 参考スコア（独自算出の注目度）: 34.985758097434946
• License:
• Abstract: Despite advancements in large language models (LLMs), non-factual responses remain prevalent. Unlike extensive studies on post-hoc detection of such responses, this work studies non-factuality prediction (NFP), aiming to predict whether an LLM will generate a non-factual response to a question before the generation process. Previous efforts on NFP have demonstrated LLMs' awareness of their internal knowledge, but they still face challenges in efficiency and transferability. In this work, we propose a lightweight NFP model named Factuality Lens (FacLens), which effectively probes hidden representations of questions for the NFP task. Besides, we discover that hidden question representations sourced from different LLMs exhibit similar NFP patterns, which enables the transferability of FacLens across LLMs to reduce development costs. Extensive experiments highlight FacLens's superiority in both effectiveness and efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩にもかかわらず、非実効応答は依然として一般的である。 このような反応のポストホック検出に関する広範な研究とは異なり、この研究は非実効性予測(NFP)を研究し、LLMが生成プロセスの前に質問に対する非実効性応答を生成するかどうかを予測することを目的としている。 NFPに対する以前の取り組みは、LLMが自身の内部知識を認識していることを示してきたが、効率性や伝達可能性の課題に直面している。 本研究では,FacLens(FacLens)と呼ばれる軽量なNFPモデルを提案する。 さらに,LLM間のFacLensの転送性が向上し,開発コストの低減を図るため,異なるLLMから得られた隠れ質問表現が類似したNFPパターンを示すことが判明した。 大規模な実験は、FacLensの効率性と効率性の両方における優位性を強調している。

関連論文リスト

• Transforming Scholarly Landscapes: Influence of Large Language Models on Academic Fields beyond Computer Science [77.31665252336157]
  大規模言語モデル (LLM) は自然言語処理 (NLP) において転換期を迎えた。 本研究は,NLP以外の分野におけるLLMの影響と利用について実験的に検討する。
  論文  参考訳（メタデータ） (2024-09-29T01:32:35Z)
• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [89.9648814145473]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• Defining Boundaries: A Spectrum of Task Feasibility for Large Language Models [6.008311204104302]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示しているが、多くの場合、その知識や能力を超えるクエリを処理できない。 本稿では,LLMが能力を超えるために必要なスキルのために,実用不可能なタスクを認識し,拒否する必要性に対処する。
  論文  参考訳（メタデータ） (2024-08-11T22:58:23Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• LLMs for Generating and Evaluating Counterfactuals: A Comprehensive Study [2.7731115923558143]
  大規模言語モデル (LLM) は, NLP タスクにおいて顕著な性能を示したが, 高品質な対実数 (CF) の生成における有効性はいまだ不明である。 我々は、いくつかの共通LCMを比較し、そのCFを評価し、本質的なメトリクスとこれらのCFがデータ拡張に与える影響を評価した。 その結果, LLMは流動性CFを生成するが, 誘導される変化を最小限に抑えるのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-04-26T11:57:21Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Are Large Language Models Good Fact Checkers: A Preliminary Study [26.023148371263012]
  大規模言語モデル(LLM)は、その卓越した推論能力と広範な知識リポジトリによって、大きな注目を集めている。 本研究の目的は,特定のファクトチェックサブタスクに対処する上で,様々なLSMを包括的に評価することである。
  論文  参考訳（メタデータ） (2023-11-29T05:04:52Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Prompting Large Language Models for Counterfactual Generation: An Empirical Study [13.506528217009507]
  大規模言語モデル(LLM)は、幅広い自然言語理解と生成タスクにおいて顕著な進歩を遂げている。 本稿では,様々な種類のNLUタスクに対する総合的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:44:32Z)
• Rethinking with Retrieval: Faithful Large Language Model Inference [91.66406351103484]
  我々は検索(RR)で再考する新しいポストプロセッシング手法を提案する。 RRは、チェーン・オブ・シークレット・プロンプトから得られた推論ステップに基づいて、関連する外部知識を検索する。 複雑な3つの推論課題に対する GPT-3 を用いた広範囲な実験により RR の有効性を評価する。
  論文  参考訳（メタデータ） (2022-12-31T22:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。