論文の概要: Standardize: Aligning Language Models with Expert-Defined Standards for
Content Generation
- arxiv url: http://arxiv.org/abs/2402.12593v1
- Date: Mon, 19 Feb 2024 23:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 17:46:05.534353
- Title: Standardize: Aligning Language Models with Expert-Defined Standards for
Content Generation
- Title(参考訳): 標準化: 専門家によるコンテンツ生成の基準付き言語モデル
- Authors: Joseph Marvin Imperial, Gail Forey, Harish Tayyar Madabushi
- Abstract要約: 専門家が定義した標準に合わせるために,大規模な言語モデルをガイドする,検索スタイルのインコンテキスト学習ベースのフレームワークであるStandardizeを導入する。
その結果,Llama2とGPT-4の精度は40%から100%向上した。
- 参考スコア(独自算出の注目度): 4.1205832766381985
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Domain experts across engineering, healthcare, and education follow strict
standards for producing quality content such as technical manuals, medication
instructions, and children's reading materials. However, current works in
controllable text generation have yet to explore using these standards as
references for control. Towards this end, we introduce Standardize, a
retrieval-style in-context learning-based framework to guide large language
models to align with expert-defined standards. Focusing on English language
standards in the education domain as a use case, we consider the Common
European Framework of Reference for Languages (CEFR) and Common Core Standards
(CCS) for the task of open-ended content generation. Our findings show that
models can gain 40% to 100% increase in precise accuracy for Llama2 and GPT-4,
respectively, demonstrating that the use of knowledge artifacts extracted from
standards and integrating them in the generation process can effectively guide
models to produce better standard-aligned content.
- Abstract(参考訳): 工学、医療、教育の分野の専門家は、技術マニュアル、医薬品の指示、児童の読書資料などの質の高いコンテンツを作るための厳格な基準に従っている。
しかし、制御可能なテキスト生成における現在の研究は、制御のための参照としてこれらの標準を使用することをまだ検討していない。
そこで本研究では,大規模言語モデルをエキスパート定義標準に適合させるための,検索スタイルのインコンテキスト学習ベースのフレームワークであるStandardizeを紹介する。
教育領域における英語の標準をユースケースとして、オープンエンドコンテンツ生成の課題として、CEFR(Common European Framework of Reference for Languages)とCCS(Common Core Standards)を考察する。
その結果、llama2とgpt-4の精度は40%から100%向上し、標準から抽出した知識アーティファクトを生成プロセスに統合することで、より優れた標準整合コンテンツを生成するためのモデルを効果的に誘導できることが示されている。
関連論文リスト
- Flesch or Fumble? Evaluating Readability Standard Alignment of
Instruction-Tuned Language Models [4.867923281108005]
各種のオープンソース・クローズド・ソース・インストラクション・チューニング言語モデルを選択し、ストーリー・コンプリートの作成や物語の簡略化におけるそれらの性能について検討する。
以上の結果から,ChatGPTのような世界規模で認識されているモデルがより効果的であり,これらの生成タスクに対してより洗練されたプロンプトを必要とする可能性が示唆された。
論文 参考訳(メタデータ) (2023-09-11T13:50:38Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - CPL-NoViD: Context-Aware Prompt-based Learning for Norm Violation
Detection in Online Communities [23.163120183136783]
我々は,ノルム振動検出のための文脈認識型プロンプト学習(CPL-NoViD)を紹介する。
CPL-NoViDは、自然言語のプロンプトを通じてコンテキストを組み込むことでベースラインを上回ります。
標準違反検出における新たな最先端技術を確立し、既存のベンチマークを上回っている。
論文 参考訳(メタデータ) (2023-05-16T23:27:59Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-05-16T03:38:06Z) - Controllable Text Generation with Language Constraints [39.741059642044874]
本稿では,自然言語に制約のある言語モデルにおけるテキスト生成の課題について考察する。
私たちのベンチマークには、WordnetやWikidataといったデータベースから得られる知識集約的な制約が含まれています。
本稿では,言語モデルの内部知識を活用して生成をガイドする手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T17:39:21Z) - A Machine Learning Approach to Classifying Construction Cost Documents
into the International Construction Measurement Standard [0.0]
原価文書で提供される自然言語記述を分類する最初の自動モデル「Bills of Quantities」を紹介した。
英国中の24の大規模なインフラ建設プロジェクトから収集された5万件以上の項目のデータセットから学習する。
論文 参考訳(メタデータ) (2022-10-24T11:35:53Z) - Stylized Knowledge-Grounded Dialogue Generation via Disentangled
Template Rewriting [55.10977824136768]
我々は、Stylized Knowledge-Grounded Dialogue Generationという新しい問題を研究する。
SKDGモデルのトレーニング方法: コンテキスト、知識、スタイル化された応答が不要な場合。
本稿では, アンタングル型テンプレートとコンテンツテンプレートを組み合わせて応答を生成する, アンタングル型テンプレート書き換え(DTR)手法を提案する。
論文 参考訳(メタデータ) (2022-04-12T08:17:21Z) - CUGE: A Chinese Language Understanding and Generation Evaluation
Benchmark [144.05723617401674]
汎用言語インテリジェンス評価は、自然言語処理の長年の目標である。
汎用言語インテリジェンス評価には,ベンチマーク自体が包括的で体系的なものである必要がある,と我々は主張する。
以下に示す機能を備えた中国語理解・生成評価ベンチマークであるCUGEを提案する。
論文 参考訳(メタデータ) (2021-12-27T11:08:58Z) - Unveiling Relations in the Industry 4.0 Standards Landscape based on
Knowledge Graph Embeddings [10.098126048053384]
産業4.0(I4.0)標準と標準化フレームワークは、スマートファクトリの相互運用性を推進すべく提案されている。
本研究では,コミュニティ分析に基づく標準とフレームワークの関連性について検討し,標準間の相互運用性の対立に対処するための知識を明らかにする。
論文 参考訳(メタデータ) (2020-06-03T17:37:08Z) - SPECTER: Document-level Representation Learning using Citation-informed
Transformers [51.048515757909215]
SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。
SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
論文 参考訳(メタデータ) (2020-04-15T16:05:51Z) - Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。
本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T03:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。