論文の概要: How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study
- arxiv url: http://arxiv.org/abs/2309.08316v3
- Date: Thu, 27 Jun 2024 14:02:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 20:26:08.405866
- Title: How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study
- Title（参考訳）: 計算論におけるアウト・オブ・ディストリビューションシナリオの扱い方 : 総合的・微粒化フィールドスタディ
- Authors: Andreas Waldis, Yufang Hou, Iryna Gurevych,
- Abstract要約: この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。
このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。
具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
- 参考スコア（独自算出の注目度）: 59.13867562744973
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The advent of pre-trained Language Models (LMs) has markedly advanced natural language processing, but their efficacy in out-of-distribution (OOD) scenarios remains a significant challenge. Computational argumentation (CA), modeling human argumentation processes, is a field notably impacted by these challenges because complex annotation schemes and high annotation costs naturally lead to resources barely covering the multiplicity of available text sources and topics. Due to this data scarcity, generalization to data from uncovered covariant distributions is a common challenge for CA tasks like stance detection or argument classification. This work systematically assesses LMs' capabilities for such OOD scenarios. While previous work targets specific OOD types like topic shifts or OOD uniformly, we address three prevalent OOD scenarios in CA: topic shift, domain shift, and language shift. Our findings challenge the previously asserted general superiority of in-context learning (ICL) for OOD. We find that the efficacy of such learning paradigms varies with the type of OOD. Specifically, while ICL excels for domain shifts, prompt-based fine-tuning surpasses for topic shifts. To sum up, we navigate the heterogeneity of OOD scenarios in CA and empirically underscore the potential of base-sized LMs in overcoming these challenges.
- Abstract（参考訳）: 事前学習された言語モデル(LM)の出現は、自然言語処理を著しく進歩させたが、アウト・オブ・ディストリビューション(OOD)シナリオにおけるそれらの有効性は、依然として大きな課題である。
計算的議論(CA)は、複雑なアノテーションスキームと高いアノテーションコストが、利用可能なテキストソースやトピックの多重性をほとんどカバーしないリソースに自然に繋がるため、これらの課題によって顕著に影響を受ける分野である。
このデータ不足のため、発見されていない共変分布のデータへの一般化は、姿勢検出や引数分類といったCAタスクにおいて共通の課題である。
この研究は、OODシナリオに対するLMの能力を体系的に評価する。
以前の作業ではトピックシフトやOODのような特定のOODタイプを対象としていましたが、CAでは3つの一般的なOODシナリオ – トピックシフト、ドメインシフト、言語シフト – に対処しています。
本研究は,OODにおけるテキスト内学習(ICL)の一般的な優位性に挑戦するものである。
このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。
具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
まとめると、我々はCAにおけるOODシナリオの不均一性をナビゲートし、これらの課題を克服する上で、ベースサイズのLMの可能性を実証的に裏付ける。
関連論文リスト
- Large Language Models for Anomaly and Out-of-Distribution Detection: A Survey [18.570066068280212]
大規模言語モデル(LLM)は、自然言語処理だけでなく、より広範なアプリケーションでもその効果を実証している。
本調査は,LSMの文脈下での異常検出とOOD検出の問題点に焦点を当てた。
LLMが果たす役割に基づいて,既存のアプローチを2つのクラスに分類する新たな分類法を提案する。
論文 参考訳（メタデータ） (2024-09-03T15:22:41Z) - Out-of-Distribution Detection Using Peer-Class Generated by Large Language Model [0.0]
アウト・オブ・ディストリビューション(OOD)検出は、マシンラーニングモデルの信頼性とセキュリティを確保するための重要なタスクである。
本稿では,ODPCと呼ばれる新しい手法を提案し,大規模言語モデルを用いてOODピア・セマンティクスのクラスを生成する。
5つのベンチマークデータセットの実験により,提案手法は最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2024-03-20T06:04:05Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳（メタデータ） (2023-11-15T00:02:25Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳（メタデータ） (2023-10-09T07:27:15Z) - Data Distribution Bottlenecks in Grounding Language Models to Knowledge
Bases [9.610231090476857]
言語モデル(LM)は、自然言語と形式言語の両方を理解し、生成する際、すでに顕著な能力を示している。
本論文は,知識ベース質問応答(KBQA)を課題として,LMが直面する課題を明らかにすることを目的とした実験的研究である。
実験の結果,提案手法を応用しても,様々な次元において,先進的な小・大規模言語モデルの性能が低下していることが判明した。
論文 参考訳（メタデータ） (2023-09-15T12:06:45Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳（メタデータ） (2023-06-07T17:47:03Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-05-19T04:46:04Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - Rethinking Machine Learning Robustness via its Link with the
Out-of-Distribution Problem [16.154434566725012]
本稿では,機械学習モデルの逆例に対する感受性の原因について検討する。
本稿では, 逆方向と自然方向の両方に反するOOD一般化法を提案する。
われわれのアプローチは、OODの敵入力に対する堅牢性を一貫して改善し、最先端の防御よりも優れています。
論文 参考訳（メタデータ） (2022-02-18T00:17:23Z) - Learning Causal Semantic Representation for Out-of-Distribution
Prediction [125.38836464226092]
因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。
CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
論文 参考訳（メタデータ） (2020-11-03T13:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。