論文の概要: Investigating the Robustness of Modelling Decisions for Few-Shot Cross-Topic Stance Detection: A Preregistered Study
- arxiv url: http://arxiv.org/abs/2404.03987v1
- Date: Fri, 5 Apr 2024 09:48:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 16:34:30.553435
- Title: Investigating the Robustness of Modelling Decisions for Few-Shot Cross-Topic Stance Detection: A Preregistered Study
- Title（参考訳）: Few-Shot Cross-Topic Stance Detection におけるモデル決定のロバスト性の検討
- Authors: Myrthe Reuver, Suzan Verberne, Antske Fokkens,
- Abstract要約: 本稿では,数発の姿勢検出のための動作選択の堅牢性について検討する。
我々は、スタンスタスク定義(Pro/ConとSide Side Stance)と、2つのLLMアーキテクチャ(ビエンコーディングとクロスエンコーディング)を比較し、自然言語推論の知識を追加します。
初期の研究から得られた仮説や主張のいくつかは確認できますが、もっと矛盾した結果をもたらすものもあります。
- 参考スコア（独自算出の注目度）: 3.9394231697721023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For a viewpoint-diverse news recommender, identifying whether two news articles express the same viewpoint is essential. One way to determine "same or different" viewpoint is stance detection. In this paper, we investigate the robustness of operationalization choices for few-shot stance detection, with special attention to modelling stance across different topics. Our experiments test pre-registered hypotheses on stance detection. Specifically, we compare two stance task definitions (Pro/Con versus Same Side Stance), two LLM architectures (bi-encoding versus cross-encoding), and adding Natural Language Inference knowledge, with pre-trained RoBERTa models trained with shots of 100 examples from 7 different stance detection datasets. Some of our hypotheses and claims from earlier work can be confirmed, while others give more inconsistent results. The effect of the Same Side Stance definition on performance differs per dataset and is influenced by other modelling choices. We found no relationship between the number of training topics in the training shots and performance. In general, cross-encoding out-performs bi-encoding, and adding NLI training to our models gives considerable improvement, but these results are not consistent across all datasets. Our results indicate that it is essential to include multiple datasets and systematic modelling experiments when aiming to find robust modelling choices for the concept `stance'.
- Abstract（参考訳）: パースペクティブ・ディバース・ニュースレコメンダでは、2つのニュース記事が同じパースペクティブを表現することが不可欠である。
の視点を決定する一つの方法は、姿勢検出である。
本稿では,数発のスタンス検出のための運用選択の堅牢性について検討し,特にトピック間のスタンスをモデル化することに注目した。
本実験は姿勢検出に関する事前登録仮説を検証した。
具体的には、2つのスタンスタスク定義(Pro/ConとSame Side Stance)、2つのLLMアーキテクチャ(ビエンコーディングとクロスエンコーディング)、自然言語推論の知識の追加、および7つのスタンス検出データセットから100のサンプルをトレーニングしたRoBERTaモデルの比較を行う。
初期の研究から得られた仮説や主張のいくつかは確認できますが、もっと矛盾した結果をもたらすものもあります。
同じサイドスタンス定義がデータセット毎にパフォーマンスに与える影響は異なり、他のモデリング選択の影響を受けます。
トレーニングショットにおけるトレーニングトピックの数とパフォーマンスとの間には,何の関係も見つからなかった。
一般的に、クロスエンコーディングはバイエンコーディングに優れ、モデルにNLIトレーニングを追加することで大幅に改善されるが、これらの結果はすべてのデータセットで一貫性がない。
この結果から,「スタンス」概念のロバストなモデリング選択を見つけるためには,複数のデータセットと体系的なモデリング実験を含めることが不可欠であることが示唆された。
関連論文リスト
- Adversarial Augmentation Training Makes Action Recognition Models More
Robust to Realistic Video Distribution Shifts [13.752169303624147]
アクション認識モデルは、トレーニングデータとテストデータの間の自然な分散シフトに直面したとき、堅牢性を欠くことが多い。
そこで本研究では,そのような分布格差に対するモデルレジリエンスを評価するための2つの新しい評価手法を提案する。
提案手法は,3つの動作認識モデルにまたがるベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-21T05:50:39Z) - Joint Multiple Intent Detection and Slot Filling with Supervised
Contrastive Learning and Self-Distillation [4.123763595394021]
複数の意図の検出とスロットフィリングは、音声言語理解における基本的かつ重要なタスクである。
インテントを同時に検出し、スロットを抽出できるジョイントモデルが好ましい。
本稿では,これらの課題に対処して複数の意図の検出とスロットフィリングを行う手法を提案する。
論文 参考訳（メタデータ） (2023-08-28T15:36:33Z) - Joint Salient Object Detection and Camouflaged Object Detection via
Uncertainty-aware Learning [47.253370009231645]
本稿では,SOD と Camouflaged Object Detection (COD) の矛盾する情報を探るため,不確実性を考慮した学習パイプラインを提案する。
我々の解決策は、最先端の性能と情報的不確実性の推定の両方につながる。
論文 参考訳（メタデータ） (2023-07-10T15:49:37Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳（メタデータ） (2023-03-16T00:06:28Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳（メタデータ） (2022-09-30T19:12:58Z) - Inter-model Interpretability: Self-supervised Models as a Case Study [0.2578242050187029]
テキスト・インター・モデル・インタプリタビリティを導入するためのDissectと呼ばれる最近の解釈可能性技術を構築した。
我々は、学習概念の観点から、モデル間の近さを明らかにする学習概念埋め込み空間に、トップパフォーマンスの自己教師型モデル13を投影する。
この実験により、モデルを3つのカテゴリに分類し、異なるタスクが必要とする視覚概念の種類を初めて明らかにしました。
論文 参考訳（メタデータ） (2022-07-24T22:50:18Z) - Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。
また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。
実験の結果,提案手法は従来の手法よりも有効であることがわかった。
論文 参考訳（メタデータ） (2021-07-08T13:10:42Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳（メタデータ） (2020-07-23T14:00:34Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。