論文の概要: SAIL: Search-Augmented Instruction Learning

• arxiv url: http://arxiv.org/abs/2305.15225v2
• Date: Sun, 25 Jun 2023 17:56:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 22:41:44.271322
• Title: SAIL: Search-Augmented Instruction Learning
• Title（参考訳）: SAIL: 検索強化型インストラクション学習
• Authors: Hongyin Luo, Yung-Sung Chuang, Yuan Gong, Tianhua Zhang, Yoon Kim, Xixin Wu, Danny Fox, Helen Meng, James Glass
• Abstract要約: 大規模言語モデル(LLM)は、命令の微調整によって大幅に改善されているが、透明性と最新の知識と情報を活用する能力が欠けている。 本研究では,社内および外部検索エンジンが生成する複雑な検索結果に基づいて,言語生成と命令追従能力の基盤となる検索強化命令学習(SAIL)を提案する。 実験により、細調整されたSAIL-7Bモデルは、強い指示追従能力を有し、透明性に敏感なタスクにおいて著しく優れた性能を示すことが示された。
• 参考スコア（独自算出の注目度）: 46.821992689688514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have been significantly improved by instruction fine-tuning, but still lack transparency and the ability to utilize up-to-date knowledge and information. In this work, we propose search-augmented instruction learning (SAIL), which grounds the language generation and instruction following abilities on complex search results generated by in-house and external search engines. With an instruction tuning corpus, we collect search results for each training case from different search APIs and domains, and construct a new search-grounded training set containing \textit{(instruction, grounding information, response)} triplets. We then fine-tune the LLaMA-7B model on the constructed training set. Since the collected results contain unrelated and disputing languages, the model needs to learn to ground on trustworthy search results, filter out distracting passages, and generate the target response. The search result-denoising process entails explicit trustworthy information selection and multi-hop reasoning, since the retrieved passages might be informative but not contain the instruction-following answer. Experiments show that the fine-tuned SAIL-7B model has a strong instruction-following ability, and it performs significantly better on transparency-sensitive tasks, including open-ended question answering and fact checking.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、命令の微調整によって大幅に改善されているが、透明性と最新の知識と情報を活用する能力が欠けている。 本研究では,社内および外部検索エンジンが生成する複雑な検索結果に対して,言語生成と命令追従能力を前提とした検索学習(sail)を提案する。 命令チューニングコーパスを用いて、異なる検索APIやドメインから各トレーニングケースの検索結果を収集し、\textit{(instruction, grounding information, response)}三つ組を含む新しい検索グラウンドトレーニングセットを構築する。 次に、構築したトレーニングセット上でLLaMA-7Bモデルを微調整する。 収集された結果には無関係な言語と否定的な言語が含まれているため、モデルは信頼できる検索結果を基礎にし、注意をそらし、ターゲットの応答を生成することを学ぶ必要がある。 検索結果のデノゲーションプロセスは、検索されたパスは情報的かもしれないが、指示追従応答を含まないため、明確な信頼できる情報選択とマルチホップ推論を必要とする。 実験により、細調整されたSAIL-7Bモデルは、強い指示追従能力を有し、オープンな質問応答や事実チェックなど、透明性に敏感なタスクにおいて、大幅に向上することが示された。

関連論文リスト

• Stream of Search (SoS): Learning to Search in Language [29.841835308845948]
  本稿では,言語における探索の過程をフラットな文字列として表現することで,言語モデルがどのように学習するかを示す。 本稿では,複数のシンボル検索戦略を抽出する統一言語を提案する。 この結果から,言語モデルでは,探索による問題解決や,異なる探索戦略を柔軟に活用する自己改善,新たな探索手法の発見などが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-01T06:50:52Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Helping Language Models Learn More: Multi-dimensional Task Prompt for Few-shot Tuning [36.14688633670085]
  本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。 提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
  論文  参考訳（メタデータ） (2023-12-13T10:00:44Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• I3: Intent-Introspective Retrieval Conditioned on Instructions [83.91776238599824]
  I3は,タスク固有の訓練を使わずに,インストラクションに条件付けられた様々なタスクに対して,インテント・イントロスペクティブ検索を行う統合検索システムである。 I3は、特定の検索意図を理解するために、パラメータ分離された方法でプラグ可能なイントロスペクタを組み込む。 LLM生成データを利用してI3フェーズ・バイ・フェイズを訓練し、プログレッシブ・ストラクチャー・プルーニングとドローバック・ベースのデータリファインメントという2つの重要な設計を具現化した。
  論文  参考訳（メタデータ） (2023-08-19T14:17:57Z)
• SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
  本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。 提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
  論文  参考訳（メタデータ） (2023-07-02T13:36:36Z)
• Boosting Search Engines with Interactive Agents [25.89284695491093]
  本稿では,文脈的クエリ改善のためのメタストラテジーを学習するエージェントの設計における第一歩について述べる。 エージェントには単純だが効果的な検索操作者がいて、クエリや検索結果のきめ細やかで透明な制御を行う。
  論文  参考訳（メタデータ） (2021-09-01T13:11:57Z)
• Unsupervised Text Generation by Learning from Search [86.51619839836331]
  TGLSは、教師なしテキスト生成のための新しいフレームワークである。 実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
  論文  参考訳（メタデータ） (2020-07-09T04:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。