論文の概要: Self-QA: Unsupervised Knowledge Guided Language Model Alignment
- arxiv url: http://arxiv.org/abs/2305.11952v1
- Date: Fri, 19 May 2023 18:26:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 01:42:51.733154
- Title: Self-QA: Unsupervised Knowledge Guided Language Model Alignment
- Title(参考訳): Self-QA: 教師なし知識ガイド言語モデルアライメント
- Authors: Xuanyu Zhang and Qing Yang
- Abstract要約: 本稿では,従来の命令シードの実践を,膨大な量の教師なし知識で置き換えるセルフQAを紹介する。
提案手法の有効性は, 各種ドメインの教師なしコーパスを用いて実験を行い, 提案手法の有効性を実証した。
- 参考スコア(独自算出の注目度): 17.436587487811387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale language models like ChatGPT and GPT-4 have gained attention for
their impressive conversational and generative capabilities. However, the
creation of supervised paired question-answering data for instruction tuning
presents formidable challenges. This endeavor necessitates substantial human
effort for data annotation and wrestles with issues concerning data quality,
diversity, accuracy, and other related factors. To overcome these obstacles, we
introduce an innovative framework named Self-QA, which replaces the traditional
practice of human-written instruction seeds with a vast amount of unsupervised
knowledge, enabling the model to generate a larger quantity of correct and
domain-specific instruction data. The effectiveness of our proposed method is
demonstrated through experiments conducted on unsupervised corpora from various
domains.
- Abstract(参考訳): ChatGPTやGPT-4のような大規模言語モデルは、その印象的な会話と生成能力で注目を集めている。
しかし、指導指導のための教師付き質問応答データの作成は、非常に困難な課題である。
この取り組みは、データアノテーションと、データ品質、多様性、正確性、その他の関連する要因に関する問題に対する、かなりの人間の努力を必要とします。
これらの障害を克服するために,従来の命令シードの実践を膨大な量の教師なしの知識に置き換える,Self-QAという斬新なフレームワークを導入し,モデルが大量の正しい命令データとドメイン固有の命令データを生成することを可能にする。
提案手法の有効性は, 各種ドメインの教師なしコーパスを用いて実験を行った。
関連論文リスト
- CAUS: A Dataset for Question Generation based on Human Cognition Leveraging Large Language Models [4.962252439662465]
本稿では,大規模言語モデル,特に GPT-4 を用いて,不確実性を解決するための認知過程をエミュレートするためのCAUSデータセットを提案する。
我々のアプローチは、推論とクエリの生成を刺激するために、不確実性に埋め込まれたシーン記述を提供することである。
以上の結果から, GPT-4は, 適切な文脈や指示が与えられた場合に, 適切な質問を効果的に生成し, そのニュアンスを把握できることが示唆された。
論文 参考訳(メタデータ) (2024-04-18T01:31:19Z) - Towards Model-Based Data Acquisition for Subjective Multi-Task NLP
Problems [12.38430125789305]
マルチタスクシナリオにおける各テキストに対して個別にアノテートされたタスクの選択を可能にする新しいモデルベースアプローチを提案する。
3つのデータセット、数十のNLPタスク、数千のアノテーションによる実験により、我々の手法は、知識の喪失を無視できるアノテーションの数を最大40%削減できることを示した。
論文 参考訳(メタデータ) (2023-12-13T15:03:27Z) - Can Foundation Models Watch, Talk and Guide You Step by Step to Make a
Cake? [62.59699229202307]
AIの進歩にもかかわらず、インタラクティブなタスクガイダンスシステムの開発は依然として大きな課題である。
我々は、人間のユーザと人間のインストラクターとの自然なインタラクションに基づいて、新しいマルチモーダルベンチマークデータセット、ウォッチ、トーク、ガイド(WTaG)を作成しました。
いくつかの基礎モデルを活用して、これらのモデルが認識可能なタスクガイダンスに迅速に適応できるかを調査した。
論文 参考訳(メタデータ) (2023-11-01T15:13:49Z) - Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。
そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文 参考訳(メタデータ) (2023-10-03T00:57:26Z) - Diverse Offline Imitation Learning [25.957862896834545]
教師なしスキル発見のための原則付きオフラインアルゴリズムを提案する。
私たちの主な分析的貢献は、フェンシェルの双対性、強化学習、教師なしスキル発見を結びつけることです。
標準オフラインベンチマークD4RLにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2023-07-21T06:12:39Z) - Utilizing Background Knowledge for Robust Reasoning over Traffic
Situations [63.45021731775964]
我々は、インテリジェントトランスポーテーションの補完的な研究側面である交通理解に焦点を当てる。
本研究は,豊富なコモンセンス知識を前提として,テキストベースの手法とデータセットを対象とする。
交通状況に対するゼロショットQAには3つの知識駆動アプローチを採用しています。
論文 参考訳(メタデータ) (2022-12-04T09:17:24Z) - Few-shot Named Entity Recognition with Cloze Questions [3.561183926088611]
本稿では,クローゼクエスト機構とファインチューニングを併用した数ショット学習手法であるPET(Pattern-Exploiting Training)の簡易かつ直感的な適応を提案する。
提案手法は,他の数発のベースラインに対して,標準的な微調整や同等あるいは改良された結果よりもはるかに優れた性能を実現する。
論文 参考訳(メタデータ) (2021-11-24T11:08:59Z) - Knowledge-driven Data Construction for Zero-shot Evaluation in
Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。
言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。
個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文 参考訳(メタデータ) (2020-11-07T22:52:21Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z) - Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。
Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。
本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文 参考訳(メタデータ) (2020-09-19T02:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。