論文の概要: InfFeed: Influence Functions as a Feedback to Improve the Performance of Subjective Tasks

• arxiv url: http://arxiv.org/abs/2402.14702v2
• Date: Sat, 9 Mar 2024 19:13:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 14:00:16.649257
• Title: InfFeed: Influence Functions as a Feedback to Improve the Performance of Subjective Tasks
• Title（参考訳）: inffeed: 主観的タスクのパフォーマンス向上のためのフィードバックとしての影響関数
• Authors: Somnath Banerjee, Maulindu Sarkar, Punyajoy Saha, Binny Mathew, Animesh Mukherjee
• Abstract要約: 本稿では、インフルエンサー関数を用いて、対象インスタンスのインフルエンサーインスタンスを計算するInfFeedを紹介する。 InfFeedは、ヘイトスピーチの分類で最大4%のマクロF1スコアのマージンで最先端のベースラインを上回っている。 また, ネガティブな影響を持つ拡張セット内のアノテートされた銀点のみを手動で再注釈することで, モデルの性能を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 10.124267937114611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, influence functions present an apparatus for achieving explainability for deep neural models by quantifying the perturbation of individual train instances that might impact a test prediction. Our objectives in this paper are twofold. First we incorporate influence functions as a feedback into the model to improve its performance. Second, in a dataset extension exercise, using influence functions to automatically identify data points that have been initially `silver' annotated by some existing method and need to be cross-checked (and corrected) by annotators to improve the model performance. To meet these objectives, in this paper, we introduce InfFeed, which uses influence functions to compute the influential instances for a target instance. Toward the first objective, we adjust the label of the target instance based on its influencer(s) label. In doing this, InfFeed outperforms the state-of-the-art baselines (including LLMs) by a maximum macro F1-score margin of almost 4% for hate speech classification, 3.5% for stance classification, and 3% for irony and 2% for sarcasm detection. Toward the second objective we show that manually re-annotating only those silver annotated data points in the extension set that have a negative influence can immensely improve the model performance bringing it very close to the scenario where all the data points in the extension set have gold labels. This allows for huge reduction of the number of data points that need to be manually annotated since out of the silver annotated extension dataset, the influence function scheme picks up ~1/1000 points that need manual correction.
• Abstract（参考訳）: 近年、影響関数は、テスト予測に影響を与える可能性のある個々の列車インスタンスの摂動を定量化し、深層神経モデルの説明可能性を達成する装置を示す。 本論文の目的は2つある。 まず,影響関数をモデルへのフィードバックとして取り入れ,そのパフォーマンスを向上させる。 第二に、データセット拡張エクササイズでは、インフルエンス関数を使用して、既存のメソッドによって注釈付けされ、モデルパフォーマンスを改善するためにアノテーションによってクロスチェック(および修正)される必要があるデータポイントを自動的に識別する。 これらの目的を達成するため,本論文では,インフルエンサー関数を用いて対象インスタンスに対する影響インスタンスを計算するinffeedを提案する。 最初の目的に向けて、インフルエンサーラベルに基づいてターゲットインスタンスのラベルを調整する。 これを行う際、inffeedは最先端のベースライン(llmsを含む)を、ヘイトスピーチ分類で4%、スタンス分類で3.5%、皮肉で3%、皮肉検出で2%という最大マクロf1スコアマージンで上回っている。 第2の目的に向けて、負の影響を持つ拡張集合内の銀の注釈付きデータ点のみを手作業で再注釈することにより、拡張集合内のすべてのデータ点がゴールドラベルを持つシナリオに非常に近いモデル性能が大幅に向上することを示す。 これにより、銀のアノテートされた拡張データセットから、手動でアノテートする必要があるデータポイントの数を大幅に削減できる。

関連論文リスト

• Stanceformer: Target-Aware Transformer for Stance Detection [59.69858080492586]
  スタンス検出は、テキストで表現されたスタンスを特定の主題やターゲットに向けて識別する。 以前の作業は、ターゲットを効果的に優先順位付けする能力に欠ける既存のトランスフォーマーモデルに依存していた。 本稿では,学習と推論の両方において,目標に対する注意を高めるターゲット対応トランスフォーマーモデルであるStanceformerを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T17:24:28Z)
• Do Influence Functions Work on Large Language Models? [10.463762448166714]
  影響関数は、個々のトレーニングデータポイントがモデルの予測に与える影響を定量化することを目的としている。 我々は,複数のタスクにまたがる影響関数を評価し,ほとんどの設定において不整合なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-30T06:50:18Z)
• Breaking Free Transformer Models: Task-specific Context Attribution Promises Improved Generalizability Without Fine-tuning Pre-trained LLMs [1.5138606851862884]
  本稿では,一般化性を維持し,下流タスクの性能を向上させるフレームワークを提案する。 タスク固有の概念演算子を用いて任意の変換器モデルからテキスト表現を線形変換すると、潜在概念空間に投影されることを示す。 HateXplain,IMDB Review,Social Media Attributionsという3つのデータセットの実験結果から,提案モデルが精度と一般化性に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-01-30T00:23:29Z)
• Influence Functions for Sequence Tagging Models [49.81774968547377]
  影響関数を拡張して、予測を学習ポイントまで追跡し、それらに通知します。 本手法を用いて,系統的アノテーションの誤りを同定し,セグメント効果の実用性を示す。
  論文  参考訳（メタデータ） (2022-10-25T17:13:11Z)
• Understanding Programmatic Weak Supervision via Source-aware Influence Function [76.74549130841383]
  Programmatic Weak Supervision (PWS)は、複数の弱い監督ソースのソース投票を確率的トレーニングラベルに集約する。 エンドモデルのトレーニング目標を分解し、各(データ、ソース、クラス)に関連する影響を計算するために、インフルエンス関数(IF)を構築します。 これらのプリミティブな影響スコアは、ソース投票、監督ソース、トレーニングデータなど、個々のコンポーネントPWSの影響を推定するために使用することができる。
  論文  参考訳（メタデータ） (2022-05-25T15:57:24Z)
• Function-words Enhanced Attention Networks for Few-Shot Inverse Relation Classification [17.078034236043738]
  数ショットの逆関係分類のための機能単語適応型注意フレームワーク(FAEA)を提案する。 機能単語の関与はクラス内冗長性に大きな影響を及ぼすため、クラス間の差異を捕捉し伝達するために適応的なメッセージパッシング機構が導入された。 実験の結果,FAEAは強いベースラインよりも優れており,特にFewRel1.0では1ショット設定で逆相関精度が14.33%向上した。
  論文  参考訳（メタデータ） (2022-04-26T07:17:28Z)
• FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging [112.19994766375231]
  影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:02:34Z)
• Towards Better Object Detection in Scale Variation with Adaptive Feature Selection [3.5352273012717044]
  チャネル次元の多レベル表現を融合する方法を自動学習する新しい適応的特徴選択モジュール(AFSM)を提案する。 これは、特徴ピラミッド構造を持つ検出器の性能を著しく向上させる。 クラス不均衡問題に対処するために,クラス対応サンプリング機構(CASM)を提案する。
  論文  参考訳（メタデータ） (2020-12-06T13:41:20Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。