論文の概要: CEA-LIST at CheckThat! 2025: Evaluating LLMs as Detectors of Bias and Opinion in Text

• arxiv url: http://arxiv.org/abs/2507.07539v1
• Date: Thu, 10 Jul 2025 08:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.327442
• Title: CEA-LIST at CheckThat! 2025: Evaluating LLMs as Detectors of Bias and Opinion in Text
• Title（参考訳）: CEA-LIST at CheckThat! 2025: LLMs as Detector of Bias and Opinion in Text (英語)
• Authors: Akram Elbouanani, Evan Dufraisse, Aboubacar Tuo, Adrian Popescu,
• Abstract要約: 本稿では,大言語モデル (LLM) を用いた多言語主観性検出の競争的アプローチを提案する。 LLMは、慎重に設計されたプロンプトと組み合わせることで、微調整されたより小さな言語モデル(SLM)に適合または優れることを示す。 このシステムは,2025年の主観性検出タスクにおいて,複数の言語で上位にランクインした。
• 参考スコア（独自算出の注目度）: 3.9845507207125967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a competitive approach to multilingual subjectivity detection using large language models (LLMs) with few-shot prompting. We participated in Task 1: Subjectivity of the CheckThat! 2025 evaluation campaign. We show that LLMs, when paired with carefully designed prompts, can match or outperform fine-tuned smaller language models (SLMs), particularly in noisy or low-quality data settings. Despite experimenting with advanced prompt engineering techniques, such as debating LLMs and various example selection strategies, we found limited benefit beyond well-crafted standard few-shot prompts. Our system achieved top rankings across multiple languages in the CheckThat! 2025 subjectivity detection task, including first place in Arabic and Polish, and top-four finishes in Italian, English, German, and multilingual tracks. Notably, our method proved especially robust on the Arabic dataset, likely due to its resilience to annotation inconsistencies. These findings highlight the effectiveness and adaptability of LLM-based few-shot learning for multilingual sentiment tasks, offering a strong alternative to traditional fine-tuning, particularly when labeled data is scarce or inconsistent.
• Abstract（参考訳）: 本稿では,大言語モデル (LLM) を用いた多言語主観性検出の競争的アプローチを提案する。 タスク1: CheckThatの主観性! 2025年評価キャンペーン。 LLMは、慎重に設計されたプロンプトと組み合わせることで、特にノイズや低品質なデータ設定において、微調整された小さな言語モデル(SLM)にマッチまたは性能を向上できることを示す。 LLMの議論や様々なサンプル選択戦略など,先進的なプロンプトエンジニアリング技術の実験を行った結果,十分に製作された標準的な数発プロンプト以上のメリットは得られなかった。 当社のシステムは,CheckThat!の複数の言語で上位にランクインしています! 2025年、アラビア語とポーランド語で1位、イタリア語、英語、ドイツ語、多言語トラックで4位となった。 特に,本手法は,注釈の不整合に対するレジリエンスのため,アラビアデータセット上では特に堅牢であることが判明した。 これらの知見は,多言語感情タスクにおけるLLMに基づく少数ショット学習の有効性と適応性を強調し,特にラベル付きデータが乏しい場合や一貫性のない場合には,従来の微調整に代わる強力な代替手段を提供する。

関連論文リスト

• Checklist Engineering Empowers Multilingual LLM Judges [12.64438771302935]
  Checklist Engineering ベースの LLM-as-a-Judge (CE-Judge) は、オープンソースのモデルによる多言語評価にチェックリストの直観を使用する、トレーニング不要のフレームワークである。 我々の手法は一般にベースラインを超え、GPT-4oモデルと同等に機能する。
  論文  参考訳（メタデータ） (2025-07-09T12:03:06Z)
• mSTEB: Massively Multilingual Evaluation of LLMs on Speech and Text Tasks [11.996399504336624]
  我々は,大規模言語モデル(LLM)の性能を幅広いタスクで評価するための新しいベンチマークであるmSTEBを紹介する。 我々は,Gemini 2.0 Flash や GPT-4o (Audio) などの主要な LLM や Qwen 2 Audio や Gemma 3 27B といった最先端のオープンモデルの性能を評価する。
  論文  参考訳（メタデータ） (2025-06-10T03:15:08Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。