論文の概要: FarExStance: Explainable Stance Detection for Farsi

• arxiv url: http://arxiv.org/abs/2412.14008v1
• Date: Wed, 18 Dec 2024 16:24:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:24:41.774178
• Title: FarExStance: Explainable Stance Detection for Farsi
• Title（参考訳）: FarExStance: Farsiの説明可能なスタンス検出
• Authors: Majid Zarharan, Maryam Hashemi, Malika Behroozrazegh, Sauleh Eetemadi, Mohammad Taher Pilehvar, Jennifer Foster,
• Abstract要約: Farsiで説明可能なスタンス検出のための新しいデータセットであるFarExStanceを紹介する。 姿勢検出では、最も正確なモデルは微調整されたRoBERTaモデルとClaude-3.5-Sonnetである。 説明の質について,我々の自動評価基準は,GPT-4oが最も一貫性のある説明を生成することを示唆している。
• 参考スコア（独自算出の注目度）: 20.116420996444504
• License:
• Abstract: We introduce FarExStance, a new dataset for explainable stance detection in Farsi. Each instance in this dataset contains a claim, the stance of an article or social media post towards that claim, and an extractive explanation which provides evidence for the stance label. We compare the performance of a fine-tuned multilingual RoBERTa model to several large language models in zero-shot, few-shot, and parameter-efficient fine-tuned settings on our new dataset. On stance detection, the most accurate models are the fine-tuned RoBERTa model, the LLM Aya-23-8B which has been fine-tuned using parameter-efficient fine-tuning, and few-shot Claude-3.5-Sonnet. Regarding the quality of the explanations, our automatic evaluation metrics indicate that few-shot GPT-4o generates the most coherent explanations, while our human evaluation reveals that the best Overall Explanation Score (OES) belongs to few-shot Claude-3.5-Sonnet. The fine-tuned Aya-32-8B model produced explanations most closely aligned with the reference explanations.
• Abstract（参考訳）: Farsiで説明可能なスタンス検出のための新しいデータセットであるFarExStanceを紹介する。 このデータセットの各インスタンスは、クレーム、そのクレームに対する記事やソーシャルメディアポストのスタンス、スタンスラベルの証拠を提供する抽出説明を含む。 我々は,マルチリンガルRoBERTaモデルの性能を,ゼロショット,少数ショット,パラメータ効率のよい新しいデータセットのいくつかの大規模言語モデルと比較した。 姿勢検出では、最も正確なモデルは細調整されたRoBERTaモデル、パラメータ効率の良い微調整で微調整されたLLM Aya-23-8B、数ショットのClaude-3.5-Sonnetである。 説明の質に関して、我々の自動評価基準は、ほとんどショットGPT-4oが最も一貫性のある説明を生成することを示しているが、我々の人間の評価は、最も優れた総合説明スコア(OES)がクレード3.5ソネットのものであることを示している。 微調整されたAya-32-8Bモデルは、参照説明と最もよく一致した説明を生み出した。

関連論文リスト

• Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks [59.47851630504264]
  自由文の説明は表現力があり理解しやすいが、多くのデータセットには注釈付き説明データがない。 我々は、T5-LargeモデルとOLMo-7Bモデルを微調整し、微調整データ品質、微調整サンプル数、少数ショット選択方法の影響を評価した。 モデルは、自然言語推論(NLI)、ファクトチェック、抽象的な要約における幻覚検出の3つのタスクにまたがる19の多様なOODデータセットで評価される。
  論文  参考訳（メタデータ） (2025-02-07T10:01:32Z)
• Take It Easy: Label-Adaptive Self-Rationalization for Fact Verification and Explanation Generation [15.94564349084642]
  自己合理化法は典型的には自然言語推論タスクで使用される。 注釈付きラベルを用いて精度予測を学習するためのモデルを微調整する。 3つの大きな言語モデルから合成説明を生成する。
  論文  参考訳（メタデータ） (2024-10-05T02:19:49Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Decoding News Narratives: A Critical Analysis of Large Language Models in Framing Detection [10.301985230669684]
  本稿では,ニュース見出しにおけるフレーミングの検出において,GPT-4,GPT-3.5 Turbo,FLAN-T5モデルを包括的に分析する。 我々はこれらのモデルを,ゼロショット,ドメイン内例による少数ショット,クロスドメイン例,モデルが予測を説明する設定など,さまざまなシナリオで評価した。
  論文  参考訳（メタデータ） (2024-02-18T15:27:48Z)
• Large language models for aspect-based sentiment analysis [0.0]
  GPT-4 と GPT-3.5 の性能をゼロショット, 少ないショット, 微調整で評価した。 微調整 GPT-3.5 は、共同アスペクト項抽出と極性分類タスクにおいて最先端の F1 スコア 83.8 を達成する。
  論文  参考訳（メタデータ） (2023-10-27T10:03:21Z)
• How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources [117.6496550359768]
  この研究は、オープンな命令追従データセットにおける命令チューニング言語モデルの最近の進歩を探求する。 我々は、12の命令データセットに基づいて訓練された6.7Bから65Bのパラメータを含む、命令調整されたモデルの大規模なセットを提供する。 それらの事実的知識、推論、多言語性、コーディング、そしてその後に続くオープン・エンド・インストラクションに基づいて評価する。
  論文  参考訳（メタデータ） (2023-06-07T19:59:23Z)
• Explanation-based Finetuning Makes Models More Robust to Spurious Cues [21.327036110196637]
  大きな言語モデル(LLM)は非常に強力で、ラベルとタスクとは無関係な機能の間に相関関係を学習することがある。 本稿では,LLMの素早い相関性への依存を軽減するための一般的なアプローチとして,説明ベースファインタニングを提案する。 我々は、その解答をサポートする自由テキスト説明を新たに生成するように、モデルを微調整する。
  論文  参考訳（メタデータ） (2023-05-08T18:53:45Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• What Can We Learn from Collective Human Opinions on Natural Language Inference Data? [88.90490998032429]
  ChaosNLIは、集合HumAnオピニオンSを研究するための合計464,500のアノテーションを持つデータセットである。 このデータセットは、SNLIとMNLIの3,113例とAbductive-NLIの1,532例に対して、100のアノテーションを例に集めて作成されている。
  論文  参考訳（メタデータ） (2020-10-07T17:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。