論文の概要: A Comprehensive Evaluation of Constrained Text Generation for Large
Language Models
- arxiv url: http://arxiv.org/abs/2310.16343v1
- Date: Wed, 25 Oct 2023 03:58:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 16:45:30.296306
- Title: A Comprehensive Evaluation of Constrained Text Generation for Large
Language Models
- Title(参考訳): 大言語モデルにおける制約付きテキスト生成の包括的評価
- Authors: Xiang Chen and Xiaojun Wan
- Abstract要約: 本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。
本稿では,ChatGPT や GPT-4 など複数の LLM について検討し,制約を語彙型,構造型,関係型に分類する。
この研究は、LLMが制約に準拠する範囲など、いくつかの重要な研究課題に対処する。
- 参考スコア(独自算出の注目度): 58.761655924438585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advancements in natural language generation (NLG) and large language models
(LLMs) have led to proficient text generation in various tasks. However,
integrating intricate constraints into neural text generation, due to LLMs'
opacity, remains challenging. This study investigates constrained text
generation for LLMs, where predefined constraints are applied during LLM's
generation process. Our research examines multiple LLMs, including ChatGPT and
GPT-4, categorizing constraints into lexical, structural, and relation-based
types. We also present various benchmarks to facilitate fair evaluation. The
study addresses some key research questions, including the extent of LLMs'
compliance with constraints. Results illuminate LLMs' capacity and deficiency
to incorporate constraints and provide insights for future developments in
constrained text generation. Codes and datasets will be released upon
acceptance.
- Abstract(参考訳): 自然言語生成(NLG)と大規模言語モデル(LLM)の進歩は、様々なタスクにおいて有能なテキスト生成につながっている。
しかし、LLMの不透明さのため、複雑な制約をニューラルネットワークに組み込むことは依然として困難である。
本研究では, LLMの生成過程において事前定義された制約を適用したLLMの制約付きテキスト生成について検討する。
本研究は,chatgpt や gpt-4 を含む複数の llm について検討し,制約を語彙型,構造型,関係型に分類する。
公平な評価を容易にするためのベンチマークも提示する。
この研究は、LLMが制約に準拠する範囲など、いくつかの重要な研究課題に対処する。
その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
コードとデータセットは受け入れ次第リリースされる。
関連論文リスト
- Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - Benchmarking Large Language Models on Controllable Generation under
Diversified Instructions [34.89012022437519]
大型言語モデル (LLM) は命令追従能力に優れていた。
様々な命令に関係のある明示的な制約にどの程度対応できるかは、いまだに不明である。
命令に対するLLMの応答を様々な制約で評価する新しいベンチマークであるCoDI-Evalを提案する。
論文 参考訳(メタデータ) (2024-01-01T07:35:31Z) - How You Prompt Matters! Even Task-Oriented Constraints in Instructions
Affect LLM-Generated Text Detection [44.118047780553006]
タスク指向の制約 -- 命令に自然に含まれ、検出回避とは無関係な制約 -- でさえ、既存の検出器は検出性能に大きなばらつきを持つ。
実験の結果,命令を複数回生成したり,命令を言い換えたりすることで,命令によって生成されたテキストの標準偏差(SD)が有意に大きい(SDは14.4F1スコアまで)ことがわかった。
論文 参考訳(メタデータ) (2023-11-14T18:32:52Z) - FollowBench: A Multi-level Fine-grained Constraints Following Benchmark
for Large Language Models [82.27118457984812]
FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。
本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。
FollowBench 上での10 つの LLM の評価により,LLM の弱さを強調し,今後の研究への道のりを示唆する。
論文 参考訳(メタデータ) (2023-10-31T12:32:38Z) - Prompting Large Language Models for Counterfactual Generation: An
Empirical Study [13.506528217009507]
大規模言語モデル(LLM)は、幅広い自然言語理解と生成タスクにおいて顕著な進歩を遂げている。
本稿では,様々な種類のNLUタスクに対する総合的な評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-24T06:44:32Z) - MEGA: Multilingual Evaluation of Generative AI [23.109803506475174]
生成AIモデルは、多くの自然言語処理タスクで素晴らしいパフォーマンスを示している。
LLMのほとんどの研究は英語に限られている。
これらのモデルが、他の言語でのテキストの理解と生成にどの程度の能力があるかは定かではない。
論文 参考訳(メタデータ) (2023-03-22T13:03:10Z) - The Science of Detecting LLM-Generated Texts [47.49470179549773]
大型言語モデル(LLMs)の出現は、人間によって書かれたテキストとほとんど区別できないテキストの作成につながった。
このことが、誤報の拡散や教育制度の混乱など、このようなテキストの誤用の可能性への懸念を引き起こしている。
本研究の目的は,既存のLLM生成テキスト検出技術の概要を提供し,言語生成モデルの制御と制御を強化することである。
論文 参考訳(メタデータ) (2023-02-04T04:49:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。