論文の概要: Towards Consistent Language Models Using Declarative Constraints
- arxiv url: http://arxiv.org/abs/2312.15472v1
- Date: Sun, 24 Dec 2023 12:53:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 18:05:47.983940
- Title: Towards Consistent Language Models Using Declarative Constraints
- Title（参考訳）: 宣言的制約を用いた一貫性言語モデルに向けて
- Authors: Jasmin Mousavi and Arash Termehchy
- Abstract要約: 大規模言語モデルは、言語的に一貫性があり、構文的に正しい自然言語出力を生成する上で、前例のない能力を示している。
彼らはしばしば、入力された質問に対して不正確で矛盾した回答を返す。
正確で一貫した結果を提供するような言語モデルを変更するのは難しい。
- 参考スコア（独自算出の注目度）: 4.218866843626937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models have shown unprecedented abilities in generating
linguistically coherent and syntactically correct natural language output.
However, they often return incorrect and inconsistent answers to input
questions. Due to the complexity and uninterpretability of the internally
learned representations, it is challenging to modify language models such that
they provide correct and consistent results. The data management community has
developed various methods and tools for providing consistent answers over
inconsistent datasets. In these methods, users specify the desired properties
of data in a domain in the form of high-level declarative constraints. This
approach has provided usable and scalable methods to delivering consistent
information from inconsistent datasets. We aim to build upon this success and
leverage these methods to modify language models such that they deliver
consistent and accurate results. We investigate the challenges of using these
ideas to obtain consistent and relevant answers from language models and report
some preliminary empirical studies.
- Abstract（参考訳）: 大きな言語モデルは、言語的に一貫性があり、構文的に正しい自然言語出力を生成する前例のない能力を示している。
しかし、しばしば入力質問に対する不正確で一貫性のない回答を返す。
内部学習された表現の複雑さと非解釈性のため、言語モデルを変更することは困難であり、正確で一貫した結果を提供する。
データ管理コミュニティは、一貫性のないデータセットに対して一貫性のある回答を提供する様々な方法とツールを開発した。
これらの方法では、ユーザは高レベルの宣言的制約によってドメイン内のデータの所望のプロパティを指定する。
このアプローチは、一貫性のないデータセットから一貫性のある情報を提供するために、使用可能でスケーラブルな方法を提供する。
この成功の上に構築し、これらの手法を活用して、一貫性のある正確な結果を提供するように言語モデルを変更することを目指している。
本稿では,これらのアイデアを言語モデルから一貫した,関連する回答を得るための課題について検討し,予備的な実証研究について報告する。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models [0.0]
本稿では,トークンベースおよび文ベースの拡張手法を用いて,対実文ペアを生成する手法を提案する。
提案手法は,NLIモデルの性能とロバスト性を向上させることができることを示す。
論文 参考訳（メタデータ） (2024-10-28T03:43:25Z) - Is It Good Data for Multilingual Instruction Tuning or Just Bad Multilingual Evaluation for Large Language Models? [17.011882550422452]
命令データの性質がモデル出力に影響を及ぼすかどうかは不明である。
翻訳されたテストセットがそのようなニュアンスをキャプチャできるかどうかは疑わしい。
ネイティブまたはジェネレーションベンチマークでは、ネイティブとトランスポートされたインストラクションデータの間に顕著な違いがあることが示されている。
論文 参考訳（メタデータ） (2024-06-18T17:43:47Z) - Learning Phonotactics from Linguistic Informants [54.086544221761486]
本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。
提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
論文 参考訳（メタデータ） (2024-05-08T00:18:56Z) - We're Calling an Intervention: Exploring the Fundamental Hurdles in Adapting Language Models to Nonstandard Text [8.956635443376527]
非標準テキストへの言語モデル適応の根底にある課題を理解するための一連の実験を提示する。
我々は、言語モデルの既存バイアスとの相互作用と、いくつかの種類の言語的変動を近似する介入を設計する。
学習データのサイズや性質の異なる言語モデル適応時の介入を適用することで、知識伝達がいつ成功するかについて重要な洞察を得ることができる。
論文 参考訳（メタデータ） (2024-04-10T18:56:53Z) - Large Language Models Can Be Easily Distracted by Irrelevant Context [29.315230178997002]
本研究では,モデル解の精度が無関係な文脈によってどのように影響されるかを検討する。
我々は,大規模言語モデルにおける最先端のプロンプト手法の散らかしやすさをベンチマークで測定する。
論文 参考訳（メタデータ） (2023-01-31T20:48:57Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Probing via Prompting [71.7904179689271]
本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。
我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。
次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
論文 参考訳（メタデータ） (2022-07-04T22:14:40Z) - How Does Data Corruption Affect Natural Language Understanding Models? A
Study on GLUE datasets [4.645287693363387]
モデルが微調整されたり、破損したデータでテストされた場合、ほとんどのGLUEタスクのパフォーマンスは高いままである。
提案したデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する範囲を評価するための診断ツールとして利用することができる。
論文 参考訳（メタデータ） (2022-01-12T13:35:53Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳（メタデータ） (2020-04-29T04:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。