論文の概要: Comprehension vs. Adoption: Evaluating a Language Workbench Through a Family of Experiments

• arxiv url: http://arxiv.org/abs/2601.20394v1
• Date: Wed, 28 Jan 2026 09:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.858928
• Title: Comprehension vs. Adoption: Evaluating a Language Workbench Through a Family of Experiments
• Title（参考訳）: 包括的対養子縁組:実験の家族を通して言語ワークベンチを評価する
• Authors: Giovanna Broccia, Maurice H. ter Beek, Walter Cazzola, Luca Favalli, Francesco Bertolotti, Alessio Ferrari,
• Abstract要約: 本稿では,Neverlangのメタ言語の理解度を評価するために,メソッド評価モデル(MEM)の調整版を採用する。 また、使いやすさ、有用性、使用意図の認識の観点から、利用者の受け入れを調査する。 意外なことに、理解性とユーザ受け入れの間に有意な相関は見つからない。
• 参考スコア（独自算出の注目度）: 12.601523755289051
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language workbenches are tools that enable the definition, reuse, and composition of programming languages and their ecosystems, aiming to streamline language development. To facilitate their adoption by language designers, the comprehensibility of the language used to define other languages is an important aspect to evaluate. Moreover, considering that language workbenches are relatively new tools, user acceptance emerges as a crucial factor to be accounted for during their assessment. Current literature often neglects user-centred aspects like comprehensibility and acceptance in the assessment of this breed of tools. This paper addresses this gap through a family of experiments assessing Neverlang, a modular language workbench. The study adopts a tailored version of the Method Evaluation Model (MEM) to evaluate the comprehensibility of Neverlang's meta-language and programs, as well as user acceptance in terms of perceived ease of use, perceived usefulness, and intention to use. It also investigates the relationships among these dimensions. The experiments were conducted in three iterations involving participants from academia. The results reveal that users demonstrate sufficient comprehension of Neverlang's meta-language, particularly concerning its syntax, express a favourable perception of its usefulness, and indicate their intention to use it. However, the results also indicate that Neverlang's ease of use remains a challenge. Additionally, variations in the perceived ease of use and perceived usefulness, whether low or high, influence the users' intention to use the tool. Surprisingly, no significant correlation is found between comprehensibility and user acceptance. Notably, higher comprehensibility of the meta-language does not necessarily translate into greater acceptance, underscoring the complex interplay between comprehension and adoption.
• Abstract（参考訳）: 言語ワークベンチ(Language workbench)は、プログラミング言語とそのエコシステムの定義、再利用、構成を可能にするツールである。 言語設計者による導入を促進するために、他の言語を定義するのに使用される言語の理解性は、評価する上で重要な側面である。 さらに、言語ワークベンチが比較的新しいツールであることを考えると、ユーザ受け入れは、評価中に考慮すべき重要な要素として現れます。 現在の文献は、この種のツールの評価において、理解性や受け入れといったユーザー中心の側面を無視することが多い。 本稿では,モジュール型言語ワークベンチであるNeverlangを評価する一連の実験を通じて,このギャップに対処する。 本研究は,Neverlangのメタ言語とプログラムの理解度を評価するため,Message Evaluation Model (MEM) の調整版を採用し,使いやすさ,有用性,使用意図の知覚の観点からユーザ受け入れた。 また、これらの次元間の関係についても検討する。 実験は、学界の参加者を含む3つのイテレーションで実施された。 その結果,Neverlangのメタ言語,特に構文について十分な理解を示し,その有用性に対する好意的な認識を示し,使用意図を示した。 しかし、Neverlangの使いやすさは依然として課題であることを示している。 さらに、使用の容易さや有用性に対する認識の変化は、低か高かにかかわらず、利用者のツール使用意図に影響を及ぼす。 意外なことに、理解性とユーザ受け入れの間に有意な相関は見つからない。 特に、メタ言語のより高い理解性は、必ずしもより大きな受容に変換されず、理解と採用の間の複雑な相互作用を暗示している。

関連論文リスト

• ImpScore: A Learnable Metric For Quantifying The Implicitness Level of Sentence [40.4052848203136]
  インプシット言語は, 自然言語処理システムにおいて, 正確なテキスト理解を実現し, ユーザとの自然な対話を促進するために不可欠である。 本稿では,外部参照に頼ることなく,言語の暗黙度を定量化するスカラー計量を開発した。 InmpScoreのユーザによる評価を,アウト・オブ・ディストリビューションデータに基づく人間による評価と比較することで検証する。
  論文  参考訳（メタデータ） (2024-11-07T20:23:29Z)
• Scaffolded Language Models with Language Supervision for Mixed-Autonomy: A Survey [52.00674453604779]
  本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。 本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Knowledge Graph Guided Semantic Evaluation of Language Models For User Trust [7.063958622970576]
  本研究では、明示的な知識グラフ構造を利用して、自己注意変換器の符号化意味性を評価する。 言語モデルの不透明さは、信頼と説明可能な決定結果の社会的問題に大きく影響している。
  論文  参考訳（メタデータ） (2023-05-08T18:53:14Z)
• Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
  言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。 本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。 この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
  論文  参考訳（メタデータ） (2021-07-20T07:01:15Z)
• Pre-training Universal Language Representation [46.51685959045527]
  この研究は普遍言語表現学習、すなわち、一様ベクトル空間に非常に多様な長さを持つ言語単位やテキストの異なるレベルの埋め込みを導入している。 我々は、よく設計された事前学習スキームが、効果的に普遍的な言語表現をもたらすことを実証的に検証する。
  論文  参考訳（メタデータ） (2021-05-30T09:29:01Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。