論文の概要: Understanding Synthetic Context Extension via Retrieval Heads

• arxiv url: http://arxiv.org/abs/2410.22316v1
• Date: Tue, 29 Oct 2024 17:55:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:40:53.820404
• Title: Understanding Synthetic Context Extension via Retrieval Heads
• Title（参考訳）: 検索ヘッドによる合成文脈拡張の理解
• Authors: Xinyu Zhao, Fangcong Yin, Greg Durrett,
• Abstract要約: 本稿では,検索と推論を必要とする3つの長文タスクに対する合成データの微調整について検討する。 合成データに基づいてトレーニングされたモデルは、実際のデータには及ばないが、驚くべきことに、ミスマッチを解釈できる。 我々の結果は、合成データの微調整性能の解釈方法と、長期にわたる実世界の能力学習のためのより良いデータ作成方法に光を当てた。
• 参考スコア（独自算出の注目度）: 51.8869530817334
• License:
• Abstract: Long-context LLMs are increasingly in demand for applications such as retrieval-augmented generation. To defray the cost of pretraining LLMs over long contexts, recent work takes an approach of synthetic context extension: fine-tuning LLMs with synthetically generated long-context data in a post-training stage. However, it remains unclear how and why this synthetic context extension imparts abilities for downstream long-context tasks. In this paper, we investigate fine-tuning on synthetic data for three long-context tasks that require retrieval and reasoning. We vary the realism of "needle" concepts to be retrieved and diversity of the surrounding "haystack" context, from using LLMs to construct synthetic documents to using templated relations and creating symbolic datasets. We find that models trained on synthetic data fall short of the real data, but surprisingly, the mismatch can be interpreted and even predicted in terms of a special set of attention heads that are responsible for retrieval over long context: retrieval heads (Wu et al., 2024). The retrieval heads learned on synthetic data are mostly subsets of the retrieval heads learned on real data, and there is a strong correlation between the recall of heads learned and the downstream performance of a model. Furthermore, with attention knockout and activation patching, we mechanistically show that retrieval heads are necessary and explain model performance, although they are not totally sufficient. Our results shed light on how to interpret synthetic data fine-tuning performance and how to approach creating better data for learning real-world capabilities over long contexts.
• Abstract（参考訳）: 長いコンテキストのLLMは、検索拡張生成のようなアプリケーションに対してますます需要が高まっている。 長期学習におけるLLMの事前学習のコストを抑えるため、最近の研究は、合成文脈拡張(synthetic context extension: syntheticly generated long-context data in a-training stage)のアプローチを採っている。 しかし、この合成文脈拡張が下流の長文タスクにどのように機能を与えるのか、なぜなのかははっきりしない。 本稿では,検索と推論を必要とする3つの長文タスクの合成データの微調整について検討する。 我々は、LLMを用いて合成文書を構築することから、テンプレート化された関係を利用して、シンボリックデータセットを作成することまで、検索すべき"needle"概念のリアリズムと周囲の"haystack"コンテキストの多様性を変化させる。 合成データに基づいてトレーニングされたモデルは、実際のデータには及ばないが、驚くべきことに、長いコンテキストで検索する特別な注意点の組である、検索ヘッド(Wu et al , 2024)について、ミスマッチを解釈し、予測することができる。 合成データに基づいて学習した検索ヘッドは、主に実データに基づいて学習した検索ヘッドのサブセットであり、学習したヘッドのリコールとモデルの下流性能との間には強い相関関係がある。 さらに,アテンションノックアウトやアクティベーションパッチでは,検索ヘッドが必須であることが機械的に示され,モデル性能を説明できるが,完全ではない。 我々の結果は、合成データの微調整性能の解釈方法と、長期にわたる実世界の能力学習のためのより良いデータ作成方法に光を当てた。

関連論文リスト

• FactCG: Enhancing Fact Checkers with Graph-Based Multi-Hop Data [13.108807408880645]
  本稿では,文書から抽出したコンテキストグラフのマルチホップ推論を利用した合成データ生成手法であるCG2Cを提案する。 我々のファクトチェッカーモデルであるFactCGは、同じバックボーンモデルを用いて、より接続された推論によるパフォーマンスの向上を示す。
  論文  参考訳（メタデータ） (2025-01-28T18:45:07Z)
• A Reality Check on Context Utilisation for Retrieval-Augmented Generation [44.54803681476863]
  DRUID (Dataset of Retrieved Untrieved Unliable, Insufficient and Difficult-to-understand contexts) を導入し、実世界のクエリやコンテキストを手動でアノテートする。 このデータセットは、現実世界の証拠の自動検索が不可欠である自動クレーム検証のタスクに基づいている。 合成データセットは、実検索データで稀な文脈特性を誇張し、拡張された文脈利用結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-12-22T14:16:38Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• ACER: Automatic Language Model Context Extension via Retrieval [36.40066695682234]
  現在のオープンウェイト・ジェネリリストのロングコンテキストモデルは、実用的ロングコンテキスト処理タスクにはまだ欠けている。 短文LMを用いて,この処理を模倣するテキスト自動データ合成パイプラインを構築した。 短文LMは、タスク固有の長文機能を得るために、これらの自己生成データを使ってさらに調整される。
  論文  参考訳（メタデータ） (2024-10-11T17:57:06Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• JOBSKAPE: A Framework for Generating Synthetic Job Postings to Enhance Skill Matching [18.94748873243611]
  JobSkapeは、スキル・ツー・タコノミーマッチングのための合成データを生成するフレームワークである。 このフレームワーク内では、ジョブ投稿の包括的な合成データセットであるSkillSkapeを作成します。 本稿では,大規模言語モデルを用いたスキル抽出とマッチングタスクのための多段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-02-05T17:57:26Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。