論文の概要: Small Wins Big: Comparing Large Language Models and Domain Fine-Tuned Models for Sarcasm Detection in Code-Mixed Hinglish Text

• arxiv url: http://arxiv.org/abs/2602.21933v1
• Date: Wed, 25 Feb 2026 14:12:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.853678
• Title: Small Wins Big: Comparing Large Language Models and Domain Fine-Tuned Models for Sarcasm Detection in Code-Mixed Hinglish Text
• Title（参考訳）: 小さい勝利:コードミキシングヒングリッシュテキストにおける文字検出のための大言語モデルとドメイン細調整モデルの比較
• Authors: Bitan Majumder, Anirban Sen,
• Abstract要約: 本研究は,Llama 3.1,Mistral,Gemma 3,Phi-4の4つの大言語モデルと,コードミキシングHinglishテキストのSarcasm検出のための微調整DistilBERTモデルを比較した。 その結果,小型で微調整された DistilBERT モデルでは84% の精度が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sarcasm detection in multilingual and code-mixed environments remains a challenging task for natural language processing models due to structural variations, informal expressions, and low-resource linguistic availability. This study compares four large language models, Llama 3.1, Mistral, Gemma 3, and Phi-4, with a fine-tuned DistilBERT model for sarcasm detection in code-mixed Hinglish text. The results indicate that the smaller, sequentially fine-tuned DistilBERT model achieved the highest overall accuracy of 84%, outperforming all of the LLMs in zero and few-shot set ups, using minimal LLM generated code-mixed data used for fine-tuning. These findings indicate that domain-adaptive fine-tuning of smaller transformer based models may significantly improve sarcasm detection over general LLM inference, in low-resource and data scarce settings.
• Abstract（参考訳）: 多言語およびコード混合環境でのサーカスム検出は、構造的変動、非公式な表現、低リソースの言語利用のために、自然言語処理モデルにとって難しい課題である。 本研究は,Llama 3.1,Mistral,Gemma 3,Phi-4の4つの大言語モデルと,コードミキシングHinglishテキストのSarcasm検出のための微調整DistilBERTモデルを比較した。 その結果,小型かつ連続的に微調整された DistilBERT モデルは84% の精度を達成し,マイクロチューニングに使用される最小の LLM 生成コード混合データを用いて,全 LLM をゼロおよび少数ショットで上回った。 これらの結果から,小型変圧器モデルを用いたドメイン適応微調整により,低リソースおよびデータ不足条件下での一般LLM推定による皮肉検出が大幅に向上する可能性が示唆された。

関連論文リスト

• Mixture of Small and Large Models for Chinese Spelling Check [10.634101727583127]
  大規模言語モデル (LLM) の時代、中国語のスペルチェック (CSC) タスクは様々な LLM 手法が開発されてきた。 高品質なドメインデータに依存した細調整のBERTベースのモデルは優れた性能を示すが、編集パターンの過度な適合に悩まされている。 本稿では,ビーム探索復号フェーズにおける小型モデルとLCMの確率分布を効果的に組み合わせた動的混合手法を提案する。
  論文  参考訳（メタデータ） (2025-06-07T18:29:10Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Domain-Specific Translation with Open-Source Large Language Models: Resource-Oriented Analysis [0.0]
  オープンソースの自己回帰型デコーダ専用大言語モデル(LLM)のドメイン固有翻訳性能とタスク指向機械翻訳(MT)モデルとの比較を行った。 実験では,医療領域に焦点をあて,資源利用率の異なる4つの言語方向をカバーした。
  論文  参考訳（メタデータ） (2024-12-08T08:54:13Z)
• Improving Text Embeddings for Smaller Language Models Using Contrastive Fine-tuning [0.9561495813823734]
  我々はNLIデータセットに対して対照的な微調整を行う。 MiniCPMは、平均56.33%のパフォーマンス向上の最も重要な改善を示している。
  論文  参考訳（メタデータ） (2024-08-01T16:31:35Z)
• SCALE: Synergized Collaboration of Asymmetric Language Translation Engines [105.8983433641208]
  本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。 STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。 実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-09-29T08:46:38Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。