Fugu-MT 論文翻訳(概要): Self-QA: Unsupervised Knowledge Guided Language Model Alignment

論文の概要: Self-QA: Unsupervised Knowledge Guided Language Model Alignment

arxiv url: http://arxiv.org/abs/2305.11952v1
Date: Fri, 19 May 2023 18:26:26 GMT
ステータス: 処理完了
システム内更新日: 2023-05-24 01:42:51.733154
Title: Self-QA: Unsupervised Knowledge Guided Language Model Alignment
Title（参考訳）: Self-QA: 教師なし知識ガイド言語モデルアライメント
Authors: Xuanyu Zhang and Qing Yang
Abstract要約: 本稿では,従来の命令シードの実践を,膨大な量の教師なし知識で置き換えるセルフQAを紹介する。提案手法の有効性は, 各種ドメインの教師なしコーパスを用いて実験を行い, 提案手法の有効性を実証した。
参考スコア（独自算出の注目度）: 17.436587487811387
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large-scale language models like ChatGPT and GPT-4 have gained attention for their impressive conversational and generative capabilities. However, the creation of supervised paired question-answering data for instruction tuning presents formidable challenges. This endeavor necessitates substantial human effort for data annotation and wrestles with issues concerning data quality, diversity, accuracy, and other related factors. To overcome these obstacles, we introduce an innovative framework named Self-QA, which replaces the traditional practice of human-written instruction seeds with a vast amount of unsupervised knowledge, enabling the model to generate a larger quantity of correct and domain-specific instruction data. The effectiveness of our proposed method is demonstrated through experiments conducted on unsupervised corpora from various domains.
Abstract（参考訳）: ChatGPTやGPT-4のような大規模言語モデルは、その印象的な会話と生成能力で注目を集めている。しかし、指導指導のための教師付き質問応答データの作成は、非常に困難な課題である。この取り組みは、データアノテーションと、データ品質、多様性、正確性、その他の関連する要因に関する問題に対する、かなりの人間の努力を必要とします。これらの障害を克服するために,従来の命令シードの実践を膨大な量の教師なしの知識に置き換える,Self-QAという斬新なフレームワークを導入し,モデルが大量の正しい命令データとドメイン固有の命令データを生成することを可能にする。提案手法の有効性は, 各種ドメインの教師なしコーパスを用いて実験を行った。

関連論文リスト

KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
論文参考訳（メタデータ） (2024-11-22T08:21:03Z)
SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文参考訳（メタデータ） (2024-08-28T06:33:03Z)
Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文参考訳（メタデータ） (2024-06-26T05:30:21Z)
CAUS: A Dataset for Question Generation based on Human Cognition Leveraging Large Language Models [4.962252439662465]
本稿では,Curious About Uncertain Sceneデータセットを導入し,大規模言語モデルを用いて人間の認知過程をエミュレートし,不確実性を解決する。我々のアプローチは、推論とクエリの生成を刺激するために、不確実性に埋め込まれたシーン記述を提供することである。以上の結果から, GPT-4は, 適切な文脈や指示が与えられた場合に, 適切な質問を効果的に生成し, そのニュアンスを把握できることが示唆された。
論文参考訳（メタデータ） (2024-04-18T01:31:19Z)
Towards Model-Based Data Acquisition for Subjective Multi-Task NLP Problems [12.38430125789305]
マルチタスクシナリオにおける各テキストに対して個別にアノテートされたタスクの選択を可能にする新しいモデルベースアプローチを提案する。 3つのデータセット、数十のNLPタスク、数千のアノテーションによる実験により、我々の手法は、知識の喪失を無視できるアノテーションの数を最大40%削減できることを示した。
論文参考訳（メタデータ） (2023-12-13T15:03:27Z)
Can Foundation Models Watch, Talk and Guide You Step by Step to Make a Cake? [62.59699229202307]
AIの進歩にもかかわらず、インタラクティブなタスクガイダンスシステムの開発は依然として大きな課題である。我々は、人間のユーザと人間のインストラクターとの自然なインタラクションに基づいて、新しいマルチモーダルベンチマークデータセット、ウォッチ、トーク、ガイド(WTaG)を作成しました。いくつかの基礎モデルを活用して、これらのモデルが認識可能なタスクガイダンスに迅速に適応できるかを調査した。
論文参考訳（メタデータ） (2023-11-01T15:13:49Z)
Offline Diversity Maximization Under Imitation Constraints [23.761620064055897]
教師なしスキル発見のための原則付きオフラインアルゴリズムを提案する。私たちの主な分析的貢献は、フェンシェルの双対性、強化学習、教師なしスキル発見を結びつけることです。標準オフラインベンチマークD4RLにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2023-07-21T06:12:39Z)
Few-shot Named Entity Recognition with Cloze Questions [3.561183926088611]
本稿では,クローゼクエスト機構とファインチューニングを併用した数ショット学習手法であるPET(Pattern-Exploiting Training)の簡易かつ直感的な適応を提案する。提案手法は,他の数発のベースラインに対して,標準的な微調整や同等あるいは改良された結果よりもはるかに優れた性能を実現する。
論文参考訳（メタデータ） (2021-11-24T11:08:59Z)
Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文参考訳（メタデータ） (2020-11-07T22:52:21Z)
InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。