論文の概要: Automatic Assessment of Divergent Thinking in Chinese Language with
TransDis: A Transformer-Based Language Model Approach
- arxiv url: http://arxiv.org/abs/2306.14790v3
- Date: Sun, 24 Dec 2023 15:08:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 22:34:33.707788
- Title: Automatic Assessment of Divergent Thinking in Chinese Language with
TransDis: A Transformer-Based Language Model Approach
- Title（参考訳）: TransDisを用いた中国語の多様性思考の自動評価:トランスフォーマーに基づく言語モデルアプローチ
- Authors: Tianchen Yang, Qifan Zhang, Zhaoyang Sun, and Yubo Hou
- Abstract要約: TransDisシステムは、中国語の代替利用タスク(AUT)応答に対して、有効な独創性(品質)と柔軟性(多様性)のスコアを提供することができる。
私たちは、中国語や他の50以上の言語でAUT応答の独創性と柔軟性を計算するためのオープンなプラットフォームを提供しています。
- 参考スコア（独自算出の注目度）: 4.389212459491442
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language models have been increasingly popular for automatic creativity
assessment, generating semantic distances to objectively measure the quality of
creative ideas. However, there is currently a lack of an automatic assessment
system for evaluating creative ideas in the Chinese language. To address this
gap, we developed TransDis, a scoring system using transformer-based language
models, capable of providing valid originality (quality) and flexibility
(variety) scores for Alternative Uses Task (AUT) responses in Chinese. Study 1
demonstrated that the latent model-rated originality factor, comprised of three
transformer-based models, strongly predicted human originality ratings, and the
model-rated flexibility strongly correlated with human flexibility ratings as
well. Criterion validity analyses indicated that model-rated originality and
flexibility positively correlated to other creativity measures, demonstrating
similar validity to human ratings. Study 2 & 3 showed that TransDis effectively
distinguished participants instructed to provide creative vs. common uses
(Study 2) and participants instructed to generate ideas in a flexible vs.
persistent way (Study 3). Our findings suggest that TransDis can be a reliable
and low-cost tool for measuring idea originality and flexibility in Chinese
language, potentially paving the way for automatic creativity assessment in
other languages. We offer an open platform to compute originality and
flexibility for AUT responses in Chinese and over 50 other languages
(https://osf.io/59jv2/).
- Abstract（参考訳）: 言語モデルは、創造的思考の質を客観的に測定するために意味的距離を生成する自動創造性評価にますます人気がある。
しかし、現在中国語における創造的アイデアを評価するための自動評価システムが欠落している。
このギャップに対処するためにtransdisを開発した。transdisはトランスフォーマーベースの言語モデルを使用したスコアリングシステムで、中国語の代替用途タスク(aut)応答に対して、正当な独自性(品質)と柔軟性(多様性)を提供する。
研究1では、3つのトランスフォーマーモデルからなる潜在モデル評価原性因子が、人間の原性評価を強く予測し、モデル評価原性因子が人間の柔軟性評価と強く相関することを示した。
基準妥当性分析の結果、モデル評価の独創性と柔軟性は他の創造性指標と正の相関を示し、人間の評価に類似した妥当性を示した。
研究2と3では、トランスディスは創造的対共通利用(study 2)を効果的に指示し、参加者は柔軟な対永続的な方法でアイデアを生み出すように指示した(study 3)。
以上の結果から,transdisは中国語におけるアイデアの独創性と柔軟性を測定するための信頼性と低コストのツールであり,他の言語における自動創造性評価への道を開く可能性を示唆する。
私たちは、中国語や他の50以上の言語(https://osf.io/59jv2/)でAUTレスポンスの独創性と柔軟性を計算するオープンプラットフォームを提供しています。
関連論文リスト
- Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。
検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。
言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文 参考訳（メタデータ） (2024-10-22T09:25:21Z) - Dual-Layer Training and Decoding of Large Language Model with Simultaneously Thinking and Speaking [8.02728252625147]
大規模言語モデルは、人間の表現を合理的に理解し、生成することができるが、完全な思考と推論機構が欠如している可能性がある。
本稿では,自然界における認知メカニズムに動機付けられ,TaSと呼ばれる新しいモデルアーキテクチャを設計する。
思考強化データを用いて言語モデルを訓練し、思考層が合理的な思考を自動的に生成し、最終的にはより合理的な応答を出力することに成功した。
論文 参考訳（メタデータ） (2024-09-18T15:32:48Z) - Creativity Has Left the Chat: The Price of Debiasing Language Models [1.223779595809275]
大規模言語モデル(LLM)の創造性に対する人間からのフィードバックからの強化学習の意図しない結果について検討する。
我々の発見は、コピーライティング、広告作成、顧客ペルソナ生成といったクリエイティブなタスクにLLMを頼っているマーケターにとって大きな意味を持つ。
論文 参考訳（メタデータ） (2024-06-08T22:14:51Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳（メタデータ） (2023-11-29T08:29:54Z) - SimOAP: Improve Coherence and Consistency in Persona-based Dialogue
Generation via Over-sampling and Post-evaluation [54.66399120084227]
大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。
ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。
オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
論文 参考訳（メタデータ） (2023-05-18T17:23:00Z) - Democratizing Ethical Assessment of Natural Language Generation Models [0.0]
自然言語生成モデル(英: natural language generation model)とは、単語の列を文脈として刺激するとコヒーレントな言語を生成するコンピュータシステムである。
ユビキティと多くの有益な応用にもかかわらず、言語生成モデルは社会に害を与える可能性がある。
したがって、これらのモデルの倫理的評価は重要である。
本稿では,自然言語生成モデルの倫理的評価を民主化し,標準化するための新しいツールを紹介する。
論文 参考訳（メタデータ） (2022-06-30T12:20:31Z) - Language Model Evaluation Beyond Perplexity [47.268323020210175]
我々は、言語モデルから生成されたテキストが、訓練された人為的なテキストに存在する統計的傾向を示すかどうかを分析する。
ニューラルネットワークモデルは、考慮された傾向のサブセットのみを学習しているように見えるが、提案された理論分布よりも経験的傾向とより密接に一致している。
論文 参考訳（メタデータ） (2021-05-31T20:13:44Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳（メタデータ） (2021-03-21T17:20:38Z) - Read Like Humans: Autonomous, Bidirectional and Iterative Language
Modeling for Scene Text Recognition [80.446770909975]
言語知識はシーンのテキスト認識に非常に有益である。
エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。
シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
論文 参考訳（メタデータ） (2021-03-11T06:47:45Z) - Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。
本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
論文 参考訳（メタデータ） (2020-10-17T16:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。