論文の概要: Reasoner Outperforms: Generative Stance Detection with Rationalization for Social Media

• arxiv url: http://arxiv.org/abs/2412.10266v1
• Date: Fri, 13 Dec 2024 16:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:03:11.718515
• Title: Reasoner Outperforms: Generative Stance Detection with Rationalization for Social Media
• Title（参考訳）: Reasoner Outperforms:ソーシャルメディアの合理化による生成スタンス検出
• Authors: Jiaqing Yuan, Ruijie Xi, Munindar P. Singh,
• Abstract要約: 本研究は、明確な解釈可能な有理性を含む姿勢予測を含む生成的アプローチを採用する。 姿勢検出に推論を組み込むことで、より小さなモデル(FlanT5)がGPT-3.5のゼロショット性能を上回ることが判明した。
• 参考スコア（独自算出の注目度）: 12.479554210753664
• License:
• Abstract: Stance detection is crucial for fostering a human-centric Web by analyzing user-generated content to identify biases and harmful narratives that undermine trust. With the development of Large Language Models (LLMs), existing approaches treat stance detection as a classification problem, providing robust methodologies for modeling complex group interactions and advancing capabilities in natural language tasks. However, these methods often lack interpretability, limiting their ability to offer transparent and understandable justifications for predictions. This study adopts a generative approach, where stance predictions include explicit, interpretable rationales, and integrates them into smaller language models through single-task and multitask learning. We find that incorporating reasoning into stance detection enables the smaller model (FlanT5) to outperform GPT-3.5's zero-shot performance, achieving an improvement of up to 9.57%. Moreover, our results show that reasoning capabilities enhance multitask learning performance but may reduce effectiveness in single-task settings. Crucially, we demonstrate that faithful rationales improve rationale distillation into SLMs, advancing efforts to build interpretable, trustworthy systems for addressing discrimination, fostering trust, and promoting equitable engagement on social media.
• Abstract（参考訳）: 信頼を損なうバイアスや有害な物語を識別するために、ユーザ生成コンテンツを分析して、人間中心のWebを育むためには、スタンス検出が不可欠である。 LLM(Large Language Models)の開発に伴い、既存のアプローチでは、スタンス検出を分類問題として扱い、複雑なグループ間相互作用をモデル化し、自然言語タスクにおける能力向上のための堅牢な方法論を提供する。 しかしながら、これらの手法は解釈可能性に欠けることが多く、予測に対して透明で理解可能な正当化を提供する能力を制限する。 本研究は、姿勢予測には、明示的で解釈可能な有理性を含む生成的アプローチを採用し、単一タスクとマルチタスク学習を通じて、より小さな言語モデルに統合する。 姿勢検出に推論を組み込むことで、より小さなモデル(FlanT5)がGPT-3.5のゼロショット性能を上回り、最大9.57%の改善が達成された。 さらに, 推論能力はマルチタスク学習性能を向上させるが, シングルタスク設定の有効性を低下させる可能性が示唆された。 批判的に、誠実な合理性によってSLMへの合理的蒸留が向上し、差別に対処し、信頼を育み、ソーシャルメディア上で公平なエンゲージメントを促進するための、解釈可能な信頼できるシステムの構築が進められていることを実証する。

関連論文リスト

• Increasing Interpretability of Neural Networks By Approximating Human Visual Saliency [4.061099610106136]
  近年の進歩は、個々の画像内の人間の定義した塩分濃度領域への誘導モデルが、性能と解釈可能性を大幅に向上させることを示している。 そこで本研究では,人体塩分からの解釈可能性と性能向上を維持しつつ,80%の人体アノテーションデータを削減するために,人体塩分取り込みと能動的学習の組み合わせ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T15:42:27Z)
• Predicting and Understanding Human Action Decisions: Insights from Large Language Models and Cognitive Instance-Based Learning [0.0]
  大きな言語モデル(LLM)は、様々なタスクにまたがってその能力を実証している。 本稿では,LLMの推論と生成能力を利用して,2つの逐次意思決定タスクにおける人間の行動を予測する。 我々は,LLMの性能を,人間の経験的意思決定を模倣した認知的インスタンスベース学習モデルと比較した。
  論文  参考訳（メタデータ） (2024-07-12T14:13:06Z)
• Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models [58.58594658683919]
  大規模マルチモーダルモデル (LMM) は、様々な研究課題において変換可能性を示している。 以上の結果から,LMMはゼロショット学習,解釈可能性,未修正入力の処理に長所があることが示唆された。 本稿では,目標外予測問題を効果的に緩和するChain-of-Thought拡張プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T16:26:56Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
  姿勢検出タスクにLadder-of-Thought(LoT)を導入する。 LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。 実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
  論文  参考訳（メタデータ） (2023-08-31T14:31:48Z)
• Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
  AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。 我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-19T04:46:04Z)
• Imitation Learning by State-Only Distribution Matching [2.580765958706854]
  観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。 本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
  論文  参考訳（メタデータ） (2022-02-09T08:38:50Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。