論文の概要: Reliable, Adaptable, and Attributable Language Models with Retrieval

• arxiv url: http://arxiv.org/abs/2403.03187v1
• Date: Tue, 5 Mar 2024 18:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 13:39:01.444228
• Title: Reliable, Adaptable, and Attributable Language Models with Retrieval
• Title（参考訳）: 検索可能な信頼性、適応性、帰属可能な言語モデル
• Authors: Akari Asai, Zexuan Zhong, Danqi Chen, Pang Wei Koh, Luke Zettlemoyer, Hannaneh Hajishirzi, Wen-tau Yih
• Abstract要約: パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。 幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。 我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
• 参考スコア（独自算出の注目度）: 144.26890121729514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parametric language models (LMs), which are trained on vast amounts of web data, exhibit remarkable flexibility and capability. However, they still face practical challenges such as hallucinations, difficulty in adapting to new data distributions, and a lack of verifiability. In this position paper, we advocate for retrieval-augmented LMs to replace parametric LMs as the next generation of LMs. By incorporating large-scale datastores during inference, retrieval-augmented LMs can be more reliable, adaptable, and attributable. Despite their potential, retrieval-augmented LMs have yet to be widely adopted due to several obstacles: specifically, current retrieval-augmented LMs struggle to leverage helpful text beyond knowledge-intensive tasks such as question answering, have limited interaction between retrieval and LM components, and lack the infrastructure for scaling. To address these, we propose a roadmap for developing general-purpose retrieval-augmented LMs. This involves a reconsideration of datastores and retrievers, the exploration of pipelines with improved retriever-LM interaction, and significant investment in infrastructure for efficient training and inference.
• Abstract（参考訳）: 大量のWebデータに基づいてトレーニングされたパラメトリック言語モデル(LM)は、目覚ましい柔軟性と能力を示している。 しかし、幻覚、新しいデータ分布への適応の困難、妥当性の欠如といった実践的な課題に直面している。 本稿では,次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提案する。 推論中に大規模なデータストアを組み込むことで、検索強化されたLMはより信頼性が高く、適応可能で、帰属可能である。 特に、現在の検索強化LMは、質問応答のような知識集約的なタスクを超えて有用なテキストを活用するのに苦労しており、検索とLMコンポーネント間の相互作用が限られており、スケーリングのインフラが欠如している。 そこで本研究では,汎用検索拡張LMの開発ロードマップを提案する。 これには、データストアとレトリバーの再検討、レトリバー-lmインタラクションの改善によるパイプラインの探索、効率的なトレーニングと推論のためのインフラストラクチャへの多大な投資が含まれる。

関連論文リスト

• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• FedPT: Federated Proxy-Tuning of Large Language Models on Resource-Constrained Edge Devices [10.01451891927236]
  textbfFederated textbfProxy-textbfTuning (FedPT)は、ブラックボックス大型LMのファインチューニングのための新しいフレームワークである。 FedPTは、競合性能を維持しながら、計算、通信、メモリオーバーヘッドを大幅に削減できる。
  論文  参考訳（メタデータ） (2024-10-01T03:20:39Z)
• Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
  低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
  論文  参考訳（メタデータ） (2024-08-23T00:59:38Z)
• Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
  本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。 このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。 様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T09:09:36Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• RRAML: Reinforced Retrieval Augmented Machine Learning [10.94680155282906]
  我々はReinforced Retrieval Augmented Machine Learning (RRAML)と呼ばれる新しいフレームワークを提案する。 RRAMLは、大規模な言語モデルの推論機能と、巨大なユーザが提供するデータベースから目的に構築された検索者によって取得された情報を統合する。 この論文で概説された研究課題は、AIの分野に大きな影響を与える可能性があると信じている。
  論文  参考訳（メタデータ） (2023-07-24T13:51:19Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)
• In-Context Retrieval-Augmented Language Models [28.23702459322163]
  In-Context RALMは市販の汎用検索機を利用して、モデルサイズや多様なコーパスに対して驚くほど大きなLMゲインを提供する。 In-Context RALM は LM の接地頻度を増大させる可能性があると結論付けている。
  論文  参考訳（メタデータ） (2023-01-31T20:26:16Z)
• When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories [58.3421305091187]
  本稿では,事実知識を記憶する上でのLMの強みと限界を理解することを目的とする。 LMは、あまり一般的でない事実知識に苦しむと同時に、長期にわたる事実知識の記憶力向上に失敗する。 我々は、必要時にのみ非パラメトリックメモリを検索する、強力かつ効率的な検索拡張LMの簡易かつ効果的な手法を考案する。
  論文  参考訳（メタデータ） (2022-12-20T18:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。