論文の概要: Standardize: Aligning Language Models with Expert-Defined Standards for Content Generation
- arxiv url: http://arxiv.org/abs/2402.12593v2
- Date: Fri, 04 Oct 2024 11:28:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 18:20:20.358311
- Title: Standardize: Aligning Language Models with Expert-Defined Standards for Content Generation
- Title（参考訳）: 標準化: 専門家によるコンテンツ生成の標準化による言語モデルの調整
- Authors: Joseph Marvin Imperial, Gail Forey, Harish Tayyar Madabushi,
- Abstract要約: 専門家が定義した標準に合わせるために,大規模な言語モデルをガイドする,検索スタイルのインコンテキスト学習ベースのフレームワークであるStandardizeを導入する。
その結果,オープンおよび商用LCMの精度が45%から100%向上する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 3.666326242924816
- License:
- Abstract: Domain experts across engineering, healthcare, and education follow strict standards for producing quality content such as technical manuals, medication instructions, and children's reading materials. However, current works in controllable text generation have yet to explore using these standards as references for control. Towards this end, we introduce Standardize, a retrieval-style in-context learning-based framework to guide large language models to align with expert-defined standards. Focusing on English language standards in the education domain as a use case, we consider the Common European Framework of Reference for Languages (CEFR) and Common Core Standards (CCS) for the task of open-ended content generation. Our findings show that models can gain a 45% to 100% increase in precise accuracy across open and commercial LLMs evaluated, demonstrating that the use of knowledge artifacts extracted from standards and integrating them in the generation process can effectively guide models to produce better standard-aligned content.
- Abstract（参考訳）: 工学、医療、教育の分野の専門家は、技術マニュアル、医薬品の指示、児童の読書資料などの質の高いコンテンツを作るための厳格な基準に従っている。
しかし、制御可能なテキスト生成における現在の研究は、制御のための参照としてこれらの標準を使用することをまだ検討していない。
そこで本研究では,大規模言語モデルをエキスパート定義標準に適合させるための,検索スタイルのインコンテキスト学習ベースのフレームワークであるStandardizeを紹介する。
教育領域における英語の標準をユースケースとして、オープンエンドコンテンツ生成の課題として、CEFR(Common European Framework of Reference for Languages)とCCS(Common Core Standards)を考察する。
その結果,オープンおよび商用LCMの精度が45%から100%向上し,標準から抽出した知識アーティファクトを生成プロセスに組み込むことで,より優れた標準整合性コンテンツを生成するためのモデルを効果的に導出できることが示唆された。
関連論文リスト
- Controllable Text Generation for Large Language Models: A Survey [27.110528099257156]
本稿では,大規模言語モデルにおける制御可能なテキスト生成の最近の進歩を体系的にレビューする。
我々はCTGタスクをコンテンツ制御と制御の2つの主要なタイプに分類する。
現在の研究における重要な課題には、流用率の低減や実用性といった課題に対処する。
論文 参考訳（メタデータ） (2024-08-22T17:59:04Z) - LLMCRIT: Teaching Large Language Models to Use Criteria [38.12026374220591]
本稿では,大規模言語モデル (LLM) がタスク実行に対する自然言語フィードバックの提供において,タスクの包括的基準を利用できるフレームワークを提案する。
特に,各基準に対する異なる記述タスクのガイドラインとコンテクスト内デモの構成から,半自動で基準を導出するモデル・イン・ザ・ループ・フレームワークを提案する。
その結果, 基準と実演を取り入れることによるきめ細かい効果を明らかにし, 基準をより効果的に活用するためのLLMの教え方に関する貴重な知見を提供することができた。
論文 参考訳（メタデータ） (2024-03-02T02:25:55Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。
まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳（メタデータ） (2023-10-09T11:45:59Z) - Flesch or Fumble? Evaluating Readability Standard Alignment of
Instruction-Tuned Language Models [4.867923281108005]
各種のオープンソース・クローズド・ソース・インストラクション・チューニング言語モデルを選択し、ストーリー・コンプリートの作成や物語の簡略化におけるそれらの性能について検討する。
以上の結果から,ChatGPTのような世界規模で認識されているモデルがより効果的であり,これらの生成タスクに対してより洗練されたプロンプトを必要とする可能性が示唆された。
論文 参考訳（メタデータ） (2023-09-11T13:50:38Z) - KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。
人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。
私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
論文 参考訳（メタデータ） (2023-06-15T17:20:46Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳（メタデータ） (2023-06-04T15:44:51Z) - CPL-NoViD: Context-Aware Prompt-based Learning for Norm Violation Detection in Online Communities [28.576099654579437]
我々は,ノルム振動検出のための文脈認識型プロンプト学習(CPL-NoViD)を紹介する。
CPL-NoViDは、自然言語のプロンプトを通じてコンテキストを組み込むことでベースラインを上回ります。
標準違反検出における新たな最先端技術を確立し、既存のベンチマークを上回っている。
論文 参考訳（メタデータ） (2023-05-16T23:27:59Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-05-16T03:38:06Z) - Controllable Text Generation with Language Constraints [39.741059642044874]
本稿では,自然言語に制約のある言語モデルにおけるテキスト生成の課題について考察する。
私たちのベンチマークには、WordnetやWikidataといったデータベースから得られる知識集約的な制約が含まれています。
本稿では,言語モデルの内部知識を活用して生成をガイドする手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T17:39:21Z) - Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。
本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T03:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。