論文の概要: Empirically Exploring How Novices Write Software Models in Alloy
- arxiv url: http://arxiv.org/abs/2402.06624v1
- Date: Fri, 9 Feb 2024 18:56:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 15:38:25.511074
- Title: Empirically Exploring How Novices Write Software Models in Alloy
- Title(参考訳): 初心者が合金でソフトウェアモデルを書く方法の実証的研究
- Authors: Ana Jovanovic and Allison Sullivan
- Abstract要約: 本稿では, 初心者がアロイを学習しようとする場合, 97,000モデル以上のモデルについて実証的研究を行った。
本研究では,ユーザが将来使用するための総合的なベンチマークを作成するために,正しいモデルと間違ったモデルの両方を記述する方法を検討する。
- 参考スコア(独自算出の注目度): 0.76146285961466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Writing declarative models has numerous benefits, ranging from automated
reasoning and correction of design-level properties before systems are built,
to automated testing and debugging of their implementations after they are
built. Alloy is a declarative modeling language that is well-suited for
verifying system designs. A key strength of Alloy is its scenario-finding
toolset, the Analyzer, which allows users to explore all valid scenarios that
adhere to the model's constraints up to a user-provided scope. However, even
with visualized scenarios, it is difficult to write correct Alloy models. To
address this, a growing body of work explores different techniques for
debugging Alloy models. In order to develop and evaluate these techniques in an
effective manor, this paper presents an empirical study of over 97,000 models
written by novice users trying to learn Alloy. We investigate how users write
both correct and incorrect models in order to produce a comprehensive benchmark
for future use as well as a series of observations to guide debugging and
educational efforts for Alloy model development.
- Abstract(参考訳): 宣言型モデルの記述には,システム構築前の自動推論や設計レベルのプロパティの修正,ビルド後の実装の自動テストとデバッグなど,数多くのメリットがある。
alloyは宣言型モデリング言語であり、システム設計の検証に適しています。
アロイの主な強みはシナリオ発見ツールセットであるアナライザであり、ユーザーはモデルの制約に従うすべての有効なシナリオをユーザーが提供するスコープまで探索することができる。
しかし、視覚化されたシナリオであっても、正しい合金モデルを書くのは難しい。
これを解決するために、成長する研究機関は、アロイモデルをデバッグするための様々なテクニックを探求する。
そこで本研究では,アロイを学習しようとする初心者が作成した97,000以上のモデルについて,実証的研究を行った。
我々は,将来の使用のための包括的なベンチマークの作成と,アロイモデル開発のためのデバッグと教育活動のガイドとなる一連の観察を行うために,ユーザが正しいモデルと間違ったモデルの両方を書く方法を検討する。
関連論文リスト
- Explaining Pre-Trained Language Models with Attribution Scores: An
Analysis in Low-Resource Settings [32.03184402316848]
我々は,素早いモデルから抽出した帰属スコアの妥当性と忠実度を分析した。
プロンプトパラダイムを用いることで、低リソース環境下でモデルを微調整するよりも、より妥当な説明が得られます。
論文 参考訳(メタデータ) (2024-03-08T14:14:37Z) - Collaborative decoding of critical tokens for boosting factuality of
large language models [57.504894664689]
微調整および整列モデルでは、命令追従と安全な生成の能力が改善されている。
世代ごとのサンプリングの一般的な実践は、幻覚の確率を増大させる。
我々は、クリティカルトークンの概念を通じて、事前訓練されたモデル内の高い事実性を活用するための協調的復号化フレームワークを導入する。
論文 参考訳(メタデータ) (2024-02-28T01:53:37Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Towards an Automatic Optimisation Model Generator Assisted with
Generative Pre-trained Transformer [0.0]
本稿では,事前学習した生成変換器を用いて最適化モデルを生成するフレームワークを提案する。
このフレームワークは、最適化モデルが持つべき機能を定義し、言語モデルを使用してモデルの初期バージョンを生成する。
論文 参考訳(メタデータ) (2023-05-09T23:51:14Z) - What is the best recipe for character-level encoder-only modelling? [2.792030485253753]
本稿では,文字レベルで文脈化された表現を出力する言語理解モデルの最近の進歩をベンチマークすることを目的とする。
我々は,同一データ上で同じ設定でトレーニングされたトークンベースのモデルの性能より,最も優れたキャラクタレベルのモデルの方が優れていることを発見した。
本稿は,多言語表現のための文字レベルモデルの即興性を実証し,NLP実践者がトークンベースモデルのドロップイン代替として試すことを推奨するものである。
論文 参考訳(メタデータ) (2023-05-09T14:00:15Z) - Assessing Out-of-Domain Language Model Performance from Few Examples [38.245449474937914]
ドメイン外性能(OOD)を数ショットで予測するタスクに対処する。
数ショットの例でモデル精度をみると、このタスクのパフォーマンスをベンチマークする。
帰属に基づく要因がOODの相対モデルの性能のランク付けに有効であることを示す。
論文 参考訳(メタデータ) (2022-10-13T04:45:26Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:34:22Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳(メタデータ) (2020-09-24T07:21:14Z) - Incorporating Joint Embeddings into Goal-Oriented Dialogues with
Multi-Task Learning [8.662586355051014]
本稿では,知識グラフとコーパスの結合埋め込みを入力としてトレーニングしたRNNベースのエンド・ツー・エンド・エンド・エンコーダ・デコーダアーキテクチャを提案する。
このモデルは、マルチタスク学習パラダイムでトレーニングされたテキスト生成とともに、ユーザ意図のさらなる統合を提供する。
論文 参考訳(メタデータ) (2020-01-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。