論文の概要: Demonstrating Mutual Reinforcement Effect through Information Flow

• arxiv url: http://arxiv.org/abs/2403.02902v1
• Date: Tue, 5 Mar 2024 12:11:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 14:56:57.158667
• Title: Demonstrating Mutual Reinforcement Effect through Information Flow
• Title（参考訳）: 情報フローによる相互強化効果の実証
• Authors: Chengguang Gan, Xuzheng He, Qinghao Zhang, Tatsunori Mori
• Abstract要約: 相互強化効果(MRE)は,テキスト分類タスクにおける単語レベルとテキストレベルの分類の相乗的関係について検討する。 我々はMRE理論を観察・実証するために情報フロー解析を用いる。 我々は,文章レベルの分類ラベルの予測を促進するために,単語レベルの情報を動詞化子として活用し,学習を促すためのMREの適用を拡大する。
• 参考スコア（独自算出の注目度）: 0.6486052012623046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ information flow analysis to observe and substantiate the MRE theory. Our experiments on six MRE hybrid datasets revealed the presence of MRE in the model and its impact. Additionally, we conducted fine-tuning experiments, whose results were consistent with those of the information flow experiments. The convergence of findings from both experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in five out of six datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.
• Abstract（参考訳）: 相互強化効果(MRE)は、テキスト分類タスクにおける単語レベルとテキストレベルの分類の相乗的関係を調査する。 両方の分類レベルの性能は相互に向上できると仮定する。 しかし、このメカニズムは以前の研究では十分に説明されていない。 このギャップに対処するために,情報フロー解析を用いてMRE理論を観察・実証する。 6つのMREハイブリッドデータセットに対する実験により、モデルにおけるMREの存在とその影響が明らかになった。 さらに,情報フロー実験と一致した微調整実験を行った。 両方の実験の結果の収束は、MREの存在を裏付けるものである。 さらに,テキストレベルの分類ラベルの予測を促進するために,単語レベルの情報を動詞化子として活用し,学習促進のためのMREの適用を拡大した。 最後の実験では、f1-scoreは6つのデータセットのうち5つでベースラインを大きく上回り、単語レベルの情報が言語モデルのテキスト全体の理解を高めるという概念をさらに検証しました。

関連論文リスト

• Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts [1.565361244756411]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて重要な役割を果たす。 本研究では,ロシアのソーシャルメディアにおけるグリーンプラクティスの言及を検出するために,プロンプトベースのデータ拡張を適用した。
  論文  参考訳（メタデータ） (2024-11-22T12:37:41Z)
• Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt [0.0]
  相互強化効果(MRE)は,テキスト分類タスクにおける単語レベルとテキストレベルの分類の相乗的関係について検討する。 21MRE混合データセットを用いた実験により,モデルにおけるMREの存在とその影響が明らかになった。
  論文  参考訳（メタデータ） (2024-10-13T06:43:54Z)
• Causal Micro-Narratives [62.47217054314046]
  テキストから因果マイクロナラティブを分類する新しい手法を提案する。 これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
  論文  参考訳（メタデータ） (2024-10-07T17:55:10Z)
• Explaining word embeddings with perfect fidelity: Case study in research impact prediction [0.0]
  単語埋め込みを訓練したロジスティック回帰に基づく分類モデルのための自己モデルRated Entities (SMER)。 SMERは,テキスト中の個々の単語の予測平均と正確に一致するので,理論上は説明モデルと完全に一致していることを示す。
  論文  参考訳（メタデータ） (2024-09-24T09:28:24Z)
• LLM-based feature generation from text for interpretable machine learning [0.0]
  埋め込みやback-of-wordsのような既存のテキスト表現は、その高次元性や欠落、あるいは疑わしい特徴レベルの解釈性のため、ルール学習には適さない。 本稿では,テキストから少数の解釈可能な特徴を抽出することにより,大規模言語モデル(LLM)がこの問題に対処できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-09-11T09:29:28Z)
• Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
  放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。 反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。 2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
  論文  参考訳（メタデータ） (2024-07-19T17:24:25Z)
• Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
  検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。 3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。 以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-10T14:50:10Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• R$^2$F: A General Retrieval, Reading and Fusion Framework for Document-level Natural Language Inference [29.520857954199904]
  文書レベルの自然言語推論(DOCNLI)は、自然言語処理における新しい課題である。 我々は、Retrieval, Reading and Fusion (R2F)フレームワークと呼ばれる一般的なソリューションと、新しい設定を確立する。 実験結果から,R2Fフレームワークは最先端の性能を得ることができ,多種多様なエビデンス検索手法に対して堅牢であることがわかった。
  論文  参考訳（メタデータ） (2022-10-22T02:02:35Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。