論文の概要: Demonstrating Mutual Reinforcement Effect through Information Flow
- arxiv url: http://arxiv.org/abs/2403.02902v1
- Date: Tue, 5 Mar 2024 12:11:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 14:56:57.158667
- Title: Demonstrating Mutual Reinforcement Effect through Information Flow
- Title(参考訳): 情報フローによる相互強化効果の実証
- Authors: Chengguang Gan, Xuzheng He, Qinghao Zhang, Tatsunori Mori
- Abstract要約: 相互強化効果(MRE)は,テキスト分類タスクにおける単語レベルとテキストレベルの分類の相乗的関係について検討する。
我々はMRE理論を観察・実証するために情報フロー解析を用いる。
我々は,文章レベルの分類ラベルの予測を促進するために,単語レベルの情報を動詞化子として活用し,学習を促すためのMREの適用を拡大する。
- 参考スコア(独自算出の注目度): 0.6486052012623046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Mutual Reinforcement Effect (MRE) investigates the synergistic
relationship between word-level and text-level classifications in text
classification tasks. It posits that the performance of both classification
levels can be mutually enhanced. However, this mechanism has not been
adequately demonstrated or explained in prior research. To address this gap, we
employ information flow analysis to observe and substantiate the MRE theory.
Our experiments on six MRE hybrid datasets revealed the presence of MRE in the
model and its impact. Additionally, we conducted fine-tuning experiments, whose
results were consistent with those of the information flow experiments. The
convergence of findings from both experiments corroborates the existence of
MRE. Furthermore, we extended the application of MRE to prompt learning,
utilizing word-level information as a verbalizer to bolster the model's
prediction of text-level classification labels. In our final experiment, the
F1-score significantly surpassed the baseline in five out of six datasets,
further validating the notion that word-level information enhances the language
model's comprehension of the text as a whole.
- Abstract(参考訳): 相互強化効果(MRE)は、テキスト分類タスクにおける単語レベルとテキストレベルの分類の相乗的関係を調査する。
両方の分類レベルの性能は相互に向上できると仮定する。
しかし、このメカニズムは以前の研究では十分に説明されていない。
このギャップに対処するために,情報フロー解析を用いてMRE理論を観察・実証する。
6つのMREハイブリッドデータセットに対する実験により、モデルにおけるMREの存在とその影響が明らかになった。
さらに,情報フロー実験と一致した微調整実験を行った。
両方の実験の結果の収束は、MREの存在を裏付けるものである。
さらに,テキストレベルの分類ラベルの予測を促進するために,単語レベルの情報を動詞化子として活用し,学習促進のためのMREの適用を拡大した。
最後の実験では、f1-scoreは6つのデータセットのうち5つでベースラインを大きく上回り、単語レベルの情報が言語モデルのテキスト全体の理解を高めるという概念をさらに検証しました。
関連論文リスト
- Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。
3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。
以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
論文 参考訳(メタデータ) (2024-04-10T14:50:10Z) - Classification and Clustering of Sentence-Level Embeddings of Scientific Articles Generated by Contrastive Learning [1.104960878651584]
提案手法は,科学論文から文レベルの埋め込みを生成するための微調整変換言語モデルで構成されている。
対照的な学習で3つのデータセットでモデルをトレーニングしました。
比較学習と下流タスクへの埋め込みを併用した微調整文変換器は,学術論文における文分類への実現可能なアプローチであることを示す。
論文 参考訳(メタデータ) (2024-03-30T02:52:14Z) - GIELLM: Japanese General Information Extraction Large Language Model
Utilizing Mutual Reinforcement Effect [0.0]
汎用情報抽出大言語モデル(GIELLM)について紹介する。
テキスト分類、感性分析、名前付きエンティティ認識、関係抽出、および一様入力出力スキーマを使用したイベント抽出を統合している。
このイノベーションは、このような多様なIEサブタスクを同時に扱うモデルの最初の例である。
論文 参考訳(メタデータ) (2023-11-12T13:30:38Z) - Enhancing Argument Structure Extraction with Efficient Leverage of
Contextual Information [79.06082391992545]
本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。
文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。
各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2023-10-08T08:47:10Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳(メタデータ) (2023-08-24T16:06:36Z) - R$^2$F: A General Retrieval, Reading and Fusion Framework for
Document-level Natural Language Inference [29.520857954199904]
文書レベルの自然言語推論(DOCNLI)は、自然言語処理における新しい課題である。
我々は、Retrieval, Reading and Fusion (R2F)フレームワークと呼ばれる一般的なソリューションと、新しい設定を確立する。
実験結果から,R2Fフレームワークは最先端の性能を得ることができ,多種多様なエビデンス検索手法に対して堅牢であることがわかった。
論文 参考訳(メタデータ) (2022-10-22T02:02:35Z) - InfoCSE: Information-aggregated Contrastive Learning of Sentence
Embeddings [61.77760317554826]
本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。
提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。
実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
論文 参考訳(メタデータ) (2022-10-08T15:53:19Z) - What do You Mean by Relation Extraction? A Survey on Datasets and Study
on Scientific Relation Classification [21.513743126525622]
本研究では,2つのデータセットの科学的関係分類に関する実証的研究を行った。
大量のデータの重複にもかかわらず,本分析はアノテーションにかなりの相違点を明らかにした。
さらにサブドメイン内での変化は存在するが、関係分類は限定的な程度にしか影響しない。
論文 参考訳(メタデータ) (2022-04-28T14:07:25Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳(メタデータ) (2021-09-24T17:37:35Z) - Learning from Context or Names? An Empirical Study on Neural Relation
Extraction [112.06614505580501]
テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前)
本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。
我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
論文 参考訳(メタデータ) (2020-10-05T11:21:59Z) - On the Importance of Word and Sentence Representation Learning in
Implicit Discourse Relation Classification [43.483855615908695]
暗黙の談話関係分類は、浅い談話解析において最も難しい部分の1つである。
暗黙的な談話分析には,強力な文脈表現モジュール,二元多視点マッチングモジュール,大域情報融合モジュールが重要であると論じる。
論文 参考訳(メタデータ) (2020-04-27T07:41:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。