論文の概要: Towards Consistent Language Models Using Declarative Constraints
- arxiv url: http://arxiv.org/abs/2312.15472v1
- Date: Sun, 24 Dec 2023 12:53:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 18:05:47.983940
- Title: Towards Consistent Language Models Using Declarative Constraints
- Title(参考訳): 宣言的制約を用いた一貫性言語モデルに向けて
- Authors: Jasmin Mousavi and Arash Termehchy
- Abstract要約: 大規模言語モデルは、言語的に一貫性があり、構文的に正しい自然言語出力を生成する上で、前例のない能力を示している。
彼らはしばしば、入力された質問に対して不正確で矛盾した回答を返す。
正確で一貫した結果を提供するような言語モデルを変更するのは難しい。
- 参考スコア(独自算出の注目度): 4.218866843626937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models have shown unprecedented abilities in generating
linguistically coherent and syntactically correct natural language output.
However, they often return incorrect and inconsistent answers to input
questions. Due to the complexity and uninterpretability of the internally
learned representations, it is challenging to modify language models such that
they provide correct and consistent results. The data management community has
developed various methods and tools for providing consistent answers over
inconsistent datasets. In these methods, users specify the desired properties
of data in a domain in the form of high-level declarative constraints. This
approach has provided usable and scalable methods to delivering consistent
information from inconsistent datasets. We aim to build upon this success and
leverage these methods to modify language models such that they deliver
consistent and accurate results. We investigate the challenges of using these
ideas to obtain consistent and relevant answers from language models and report
some preliminary empirical studies.
- Abstract(参考訳): 大きな言語モデルは、言語的に一貫性があり、構文的に正しい自然言語出力を生成する前例のない能力を示している。
しかし、しばしば入力質問に対する不正確で一貫性のない回答を返す。
内部学習された表現の複雑さと非解釈性のため、言語モデルを変更することは困難であり、正確で一貫した結果を提供する。
データ管理コミュニティは、一貫性のないデータセットに対して一貫性のある回答を提供する様々な方法とツールを開発した。
これらの方法では、ユーザは高レベルの宣言的制約によってドメイン内のデータの所望のプロパティを指定する。
このアプローチは、一貫性のないデータセットから一貫性のある情報を提供するために、使用可能でスケーラブルな方法を提供する。
この成功の上に構築し、これらの手法を活用して、一貫性のある正確な結果を提供するように言語モデルを変更することを目指している。
本稿では,これらのアイデアを言語モデルから一貫した,関連する回答を得るための課題について検討し,予備的な実証研究について報告する。
関連論文リスト
- Learning Phonotactics from Linguistic Informants [54.086544221761486]
本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。
提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
論文 参考訳(メタデータ) (2024-05-08T00:18:56Z) - Large Language Models Can Be Easily Distracted by Irrelevant Context [29.315230178997002]
本研究では,モデル解の精度が無関係な文脈によってどのように影響されるかを検討する。
我々は,大規模言語モデルにおける最先端のプロンプト手法の散らかしやすさをベンチマークで測定する。
論文 参考訳(メタデータ) (2023-01-31T20:48:57Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳(メタデータ) (2022-10-14T02:35:19Z) - Probing via Prompting [71.7904179689271]
本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。
我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。
次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
論文 参考訳(メタデータ) (2022-07-04T22:14:40Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - How Does Data Corruption Affect Natural Language Understanding Models? A
Study on GLUE datasets [4.645287693363387]
モデルが微調整されたり、破損したデータでテストされた場合、ほとんどのGLUEタスクのパフォーマンスは高いままである。
提案したデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する範囲を評価するための診断ツールとして利用することができる。
論文 参考訳(メタデータ) (2022-01-12T13:35:53Z) - Language Model Evaluation in Open-ended Text Generation [0.76146285961466]
本研究では,機械生成テキストの品質,多様性,一貫性を評価するために提案されている評価指標について検討する。
そこで我々は,オープン・エンド・ジェネレーション・タスクにおいて,言語モデルを評価するための実用的なパイプラインを提案する。
論文 参考訳(メタデータ) (2021-08-08T06:16:02Z) - Measuring and Improving Consistency in Pretrained Language Models [40.46184998481918]
予測言語モデル(PLM)は、事実的知識に関して一貫性があるか?
ParaRel を用いて、我々が実験したすべての PLM の整合性は貧弱であるが、関係のばらつきは高い。
論文 参考訳(メタデータ) (2021-02-01T17:48:42Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳(メタデータ) (2020-04-29T04:07:12Z) - Unnatural Language Processing: Bridging the Gap Between Synthetic and
Natural Language Data [37.542036032277466]
本稿では,言語理解問題における-simulation-to-real'転送手法を提案する。
我々のアプローチは、いくつかのドメインで自然言語データに基づいて訓練された最先端のモデルと一致または性能を向上する。
論文 参考訳(メタデータ) (2020-04-28T16:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。