論文の概要: In-Context Retrieval-Augmented Language Models
- arxiv url: http://arxiv.org/abs/2302.00083v1
- Date: Tue, 31 Jan 2023 20:26:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 18:28:37.903040
- Title: In-Context Retrieval-Augmented Language Models
- Title(参考訳): 文脈内検索型言語モデル
- Authors: Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua,
Kevin Leyton-Brown, Yoav Shoham
- Abstract要約: In-context RALM はLMアーキテクチャを変更せず、基盤となる文書を入力に保存する。
市販汎用レトリバーを用いたインコンテキストALMは,モデルサイズや多種多様なコーパスに対して驚くほど大きなLMゲインを提供する。
本研究は,テキスト内ALMがLM接地率を増大させる可能性を秘めていると結論付けた。
- 参考スコア(独自算出の注目度): 28.23702459322163
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Retrieval-Augmented Language Modeling (RALM) methods, that condition a
language model (LM) on relevant documents from a grounding corpus during
generation, have been shown to significantly improve language modeling while
also providing a natural source attribution mechanism. Existing RALM approaches
focus on modifying the LM architecture in order to facilitate the incorporation
of external information, significantly complicating deployment. This paper
proposes an under-explored alternative, which we dub In-Context RALM: leaving
the LM architecture unchanged and prepending grounding documents to the input.
We show that in-context RALM which uses off-the-shelf general purpose
retrievers provides surprisingly large LM gains across model sizes and diverse
corpora. We also demonstrate that the document retrieval and ranking mechanism
can be specialized to the RALM setting to further boost performance. We
conclude that in-context RALM has considerable potential to increase the
prevalence of LM grounding, particularly in settings where a pretrained LM must
be used without modification or even via API access. To that end, we make our
code publicly available.
- Abstract(参考訳): Retrieval-Augmented Language Modeling (RALM) 法では、生成中の接地コーパスから関連文書の言語モデル(LM)を条件として、自然言語の帰属機構を提供しながら言語モデリングを大幅に改善することが示されている。
既存のRALMアプローチでは、外部情報の取り込みを容易にするため、LMアーキテクチャの変更に重点を置いている。
本稿では, LMアーキテクチャをそのままにして, 基礎となる文書を入力に残すという, 未探索の代替案を提案する。
市販汎用レトリバーを用いたインコンテキストALMは,モデルサイズや多様なコーパスに対して驚くほど大きなLMゲインを提供する。
また,文書検索とランキング機構をralm設定に特化することで,さらなる性能向上が期待できることを示す。
In-context RALM は、特に、事前訓練された LM を変更せずに使用し、API アクセスを介して使用する必要がある設定において、LM の接地率を高める可能性があると結論付けている。
そのために、コードを公開しています。
関連論文リスト
- Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。
幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。
我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
論文 参考訳(メタデータ) (2024-03-05T18:22:33Z) - Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Self-Retrieval: Building an Information Retrieval System with One Large
Language Model [102.78988790457004]
Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。
本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-02-23T18:45:35Z) - Lost in the Source Language: How Large Language Models Evaluate the
Quality of Machine Translation [68.43666295024714]
大規模言語モデル (LLM) は機械翻訳評価タスクにおいて顕著な成果を上げている。
本研究は,LLMが翻訳評価においてソース情報と参照情報をどのように活用するかを検討することを目的とする。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - Effective Large Language Model Adaptation for Improved Grounding and
Citation Generation [46.15893715475059]
本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。
我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。
我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
論文 参考訳(メタデータ) (2023-11-16T03:22:25Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - LMDX: Language Model-based Document Information Extraction and
Localization [15.686075399512534]
大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらした
本稿では,文書情報の抽出に任意の LLM を適用する手法である LMDX を紹介する。
論文 参考訳(メタデータ) (2023-09-19T22:32:56Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳(メタデータ) (2023-02-15T18:25:52Z) - On Language Model Integration for RNN Transducer based Speech
Recognition [49.84285563767935]
共通RNN-Tフレームワークで構成された様々なILM補正に基づくLM積分法について検討する。
ILM補正による性能改善の2つの主な理由を復号化解釈する。
また,ハイブリッド自己回帰変換器の証明を拡張することで,正確なILMトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-13T16:30:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。