論文の概要: Extended Japanese Commonsense Morality Dataset with Masked Token and Label Enhancement
- arxiv url: http://arxiv.org/abs/2410.09564v1
- Date: Sat, 12 Oct 2024 15:21:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 13:45:15.641484
- Title: Extended Japanese Commonsense Morality Dataset with Masked Token and Label Enhancement
- Title（参考訳）: Masked Token と Label を併用した拡張日本語コモンセンスモラルデータセット
- Authors: Takumi Ohashi, Tsubasa Nakagawa, Hitoshi Iyatomi,
- Abstract要約: JCommonsenseMoralityデータセットを拡張した。
拡張JCMは13,975文から31,184文に成長した。
日本文化特有の複雑な道徳的推論課題において,eJCMで訓練したモデルの性能は有意に向上した。
- 参考スコア（独自算出の注目度）: 2.6968321526169503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rapid advancements in artificial intelligence (AI) have made it crucial to integrate moral reasoning into AI systems. However, existing models and datasets often overlook regional and cultural differences. To address this shortcoming, we have expanded the JCommonsenseMorality (JCM) dataset, the only publicly available dataset focused on Japanese morality. The Extended JCM (eJCM) has grown from the original 13,975 sentences to 31,184 sentences using our proposed sentence expansion method called Masked Token and Label Enhancement (MTLE). MTLE selectively masks important parts of sentences related to moral judgment and replaces them with alternative expressions generated by a large language model (LLM), while re-assigning appropriate labels. The model trained using our eJCM achieved an F1 score of 0.857, higher than the scores for the original JCM (0.837), ChatGPT one-shot classification (0.841), and data augmented using AugGPT, a state-of-the-art augmentation method (0.850). Specifically, in complex moral reasoning tasks unique to Japanese culture, the model trained with eJCM showed a significant improvement in performance (increasing from 0.681 to 0.756) and achieved a performance close to that of GPT-4 Turbo (0.787). These results demonstrate the validity of the eJCM dataset and the importance of developing models and datasets that consider the cultural context.
- Abstract（参考訳）: 人工知能(AI)の急速な進歩は、道徳的推論をAIシステムに統合することが重要である。
しかし、既存のモデルとデータセットは、しばしば地域と文化の違いを見落としている。
この欠点に対処するため,日本道徳に焦点を当てたJCommonsenseMorality(JCM)データセットを拡張した。
The Extended JCM (eJCM) has grown from the original 13,975 sentences to 31,184 sentences using our proposed sentence expansion method called Masked Token and Label Enhancement (MTLE)。
MTLEは、道徳的判断に関連する文の重要部分を選択的にマスクし、大きな言語モデル(LLM)によって生成された代替表現に置き換え、適切なラベルを再割り当てする。
EJCMを用いてトレーニングしたモデルは、元のJCM(0.837)、ChatGPTワンショット分類(0.841)、AugGPT(0.850)のF1スコア(0.857)を達成した。
具体的には、日本の文化特有の複雑な道徳的推論タスクにおいて、eJCMで訓練されたモデルは、パフォーマンス(0.681から0.756まで)が大幅に向上し、GPT-4ターボ(0.787)に近いパフォーマンスを達成した。
これらの結果は、eJCMデータセットの有効性と、文化的な文脈を考慮したモデルやデータセットの開発の重要性を示している。
関連論文リスト
- AI-generated Text Detection with a GLTR-based Approach [0.5524804393257919]
Giant Language Model Test Roomは、GPT-2に基づく機械生成テキストの検出を支援するビジュアルツールである。
GLTRの制限の一つは、それが返される結果が曖昧になり、混乱を招くことがあることである。
本研究の目的は、IberLef-AuTexTification 2023共有タスクのコンテキスト内で、AI生成テキストを検出するGLTRの有効性を改善するための様々な方法を検討することである。
論文 参考訳（メタデータ） (2025-02-17T17:32:55Z) - Evaluating the Effectiveness of XAI Techniques for Encoder-Based Language Models [6.349503549199403]
本研究は,人間関係協定(HA),ロバスト性,一貫性,コントラスト性という,4つの主要な指標を用いた一般的な評価枠組みを提案する。
5種類のXAIカテゴリから6つの説明可能性手法の有効性を評価した。
その結果,モデルの単純化に基づくXAI法(LIME)は,複数の指標やモデルに対して一貫して優れていた。
論文 参考訳（メタデータ） (2025-01-26T03:08:34Z) - Leveraging Cross-Attention Transformer and Multi-Feature Fusion for Cross-Linguistic Speech Emotion Recognition [60.58049741496505]
音声感情認識(SER)は、人間とコンピュータの相互作用を強化する上で重要な役割を担っている。
本稿では,HuBERT,MFCC,および韻律特性を組み合わせたHuMP-CATを提案する。
HMP-CATは、ターゲットデータセットから少量の音声でソースモデルを微調整することにより、平均78.75%の精度が得られることを示す。
論文 参考訳（メタデータ） (2025-01-06T14:31:25Z) - NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。
NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
論文 参考訳（メタデータ） (2024-11-08T20:11:24Z) - Leveraging Large Language Models for Code-Mixed Data Augmentation in Sentiment Analysis [0.0]
コードミキシング(CM)は多言語社会で普及しているが、自然言語処理には課題がある。
本稿では,大規模言語モデルを用いて合成CMデータを生成し,タスク固有モデルの性能を向上させることを提案する。
論文 参考訳（メタデータ） (2024-11-01T15:52:09Z) - Multi-objective Representation for Numbers in Clinical Narratives Using CamemBERT-bio [0.9208007322096533]
本研究の目的は,医学文献から抽出した数値を7つの生理カテゴリーに分類することである。
キーワード埋め込みをモデルに統合し、数に依存しない戦略を採用する、という2つの主要なイノベーションを紹介します。
従来のF1スコア0.89を上回り,CamemBERT-bioの有効性を著しく改善した。
論文 参考訳（メタデータ） (2024-05-28T01:15:21Z) - Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。
タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。
近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
論文 参考訳（メタデータ） (2022-12-04T23:59:41Z) - MELM: Data Augmentation with Masked Entity Language Modeling for
Cross-lingual NER [73.91145686634133]
Masked-Entity Language Modeling (MELM) を用いたデータ拡張フレームワークを提案する。
MELMは、NERラベルを文コンテキストに線形化するので、細調整されたMELMは、ラベルを明示的に条件付けすることでマスク付きトークンを予測することができる。
未ラベル対象データが利用可能で、MELMが擬似ラベル対象データの拡張にさらに適用可能な場合、性能ゲインは5.7%に達する。
論文 参考訳（メタデータ） (2021-08-31T07:37:43Z) - An Attention Ensemble Approach for Efficient Text Classification of
Indian Languages [0.0]
本稿では,インド・デヴァナガリ文字を母語とするマラーティー語における短文文書の細かな技術領域識別について述べる。
畳み込みニューラルネットワークが生成する中間文表現と双方向の長期記憶とを合体させ,効率的なテキスト分類を実現するcnn-bilstm注意アンサンブルモデルを提案する。
実験結果から,提案モデルが与えられたタスクにおける各種ベースライン機械学習および深層学習モデルより優れ,89.57%,f1スコア0.8875の検証精度が得られた。
論文 参考訳（メタデータ） (2021-02-20T07:31:38Z) - CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for
Natural Language Understanding [67.61357003974153]
我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。
CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。
すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
論文 参考訳（メタデータ） (2020-10-16T23:57:03Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳（メタデータ） (2020-06-05T19:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。