論文の概要: Characterizing Attribution and Fluency Tradeoffs for Retrieval-Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2302.05578v2
• Date: Tue, 14 Feb 2023 23:53:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 11:34:20.926870
• Title: Characterizing Attribution and Fluency Tradeoffs for Retrieval-Augmented Large Language Models
• Title（参考訳）: 検索拡張大言語モデルにおける属性と周波数トレードオフの特徴付け
• Authors: Renat Aksitov, Chung-Ching Chang, David Reitter, Siamak Shakeri, Yunhsuan Sung
• Abstract要約: 本研究では, 大規模言語モデルにおけるフラレンシと帰属の関係について検討した。 より大きなモデルは、流布と帰属の両方において、より優れた結果をもたらす傾向があることを示す。 そこで本研究では,より小さなモデルで大きなモデルとのギャップを埋めることと,トップk検索のメリットを両立できるレシピを提案する。
• 参考スコア（独自算出の注目度）: 6.425088990363101
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite recent progress, it has been difficult to prevent semantic hallucinations in generative Large Language Models. One common solution to this is augmenting LLMs with a retrieval system and making sure that the generated output is attributable to the retrieved information. Given this new added constraint, it is plausible to expect that the overall quality of the output will be affected, for example, in terms of fluency. Can scaling language models help? Here we examine the relationship between fluency and attribution in LLMs prompted with retrieved evidence in knowledge-heavy dialog settings. Our experiments were implemented with a set of auto-metrics that are aligned with human preferences. They were used to evaluate a large set of generations, produced under varying parameters of LLMs and supplied context. We show that larger models tend to do much better in both fluency and attribution, and that (naively) using top-k retrieval versus top-1 retrieval improves attribution but hurts fluency. We next propose a recipe that could allow smaller models to both close the gap with larger models and preserve the benefits of top-k retrieval while avoiding its drawbacks.
• Abstract（参考訳）: 近年の進歩にもかかわらず、生成型大規模言語モデルにおける意味幻覚の予防は困難である。 これに対する一般的な解決策の1つは、LLMを検索システムで拡張し、生成した出力が検索された情報に起因することを確かめることである。 この新たな制約が加わったことを考えると、アウトプットの全体的な品質が、例えばフルーエンシ(fluency)に関して影響を受けると期待できる。 言語モデルのスケーリングは有効か? 本稿では,LLMにおけるフラレンシと帰属の関係について検討し,知識重大なダイアログ設定における証拠を抽出した。 提案実験は,人間の嗜好に合わせた一連の自動測定値を用いて実施した。 これらは、様々なパラメータのllmと供給されたコンテキストの下で生成される、大きな世代の集合を評価するために使用された。 より大規模なモデルでは,流布度と帰属度の両方が向上する傾向にあり,(特に)トップk検索とトップ1検索では帰属率が向上するが,流布度は低下することを示した。 次に,大型モデルとのギャップを縮小し,その欠点を回避しつつ,トップk検索のメリットを保ちながら,より小型モデルを可能にする手法を提案する。

関連論文リスト

• LargePiG: Your Large Language Model is Secretly a Pointer Generator [15.248956952849259]
  本稿では,Large Language Models (LLMs) に基づく問合せ生成による幻覚問題の新しいタイプとして,関連性幻覚と事実性幻覚を導入する。 LLM生成クエリの形式からコンテンツを切り離す効果的な方法を提案し、入力から抽出・統合された事実知識を保存し、LLMの強力な言語機能を用いて関数語を含む構文構造をコンパイルする。
  論文  参考訳（メタデータ） (2024-10-15T07:41:40Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Efficient Long-range Language Modeling with Self-supervised Causal Retrieval [39.24972628990943]
  Grouped Cross-Attentionは、レトリバーと因果LMの協調事前トレーニングを可能にする新しいモジュールである。 トップ$kの検索を統合することで、コンテキスト長を最大64Kのトークンでスクラッチから効率的に事前トレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2024-10-02T15:18:34Z)
• Can We Use Large Language Models to Fill Relevance Judgment Holes? [9.208308067952155]
  ホールを埋めるためにLarge Language Models(LLM)を利用することで、既存のテストコレクションを拡張するための最初のステップを取ります。 人間+自動判断を用いた場合, 相関関係は著しく低くなる。
  論文  参考訳（メタデータ） (2024-05-09T07:39:19Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Compressing Sentence Representation with maximum Coding Rate Reduction [0.0]
  ほとんどの自然言語推論問題では、文表現は意味検索タスクに必要である。 スペースとハードウェアの制限のため、より小さなモデルを使用する場合には、同等の結果を得る必要がある。 複雑性と文埋め込みサイズを低減した新しい言語モデルは,セマンティック検索ベンチマークにおいて同等の結果が得られることを実証した。
  論文  参考訳（メタデータ） (2023-04-25T09:23:43Z)
• On the Generalization Ability of Retrieval-Enhanced Transformers [1.0552465253379135]
  トレーニング可能な重みから検索データベースへのオフロードメモリは、言語モデリングを大幅に改善することができる。 この性能向上の少なくとも一部は、モデル重みと検索の両方に基づく非自明な一般化によるものであることが示唆されている。 検索結果から得られる性能は,データベースとテストデータの間に重複するトークンが主な原因であることが判明した。
  論文  参考訳（メタデータ） (2023-02-23T16:11:04Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。