論文の概要: Generating Long Financial Report using Conditional Variational
Autoencoders with Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2010.12188v1
- Date: Fri, 23 Oct 2020 06:32:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 23:36:28.342818
- Title: Generating Long Financial Report using Conditional Variational
Autoencoders with Knowledge Distillation
- Title（参考訳）: 知識蒸留を用いた条件変分オートエンコーダを用いた長期財務報告の作成
- Authors: Yunpeng Ren, Ziao Wang, Yiyuan Wang, Xiaofeng Zhang
- Abstract要約: 本稿では,ニュースレポートデータのコーパスから外部知識を抽出する条件付き変分オートエンコーダに基づく手法を提案する。
ニュースレポートデータのコーパスセットから高レベルの潜伏変数分布を学習し、それぞれ入力ニュースに対して実行され、予め学習した潜伏変数分布に対するバックグラウンド知識を提供する。
- 参考スコア（独自算出の注目度）: 16.863325587429646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatically generating financial report from a piece of news is quite a
challenging task. Apparently, the difficulty of this task lies in the lack of
sufficient background knowledge to effectively generate long financial report.
To address this issue, this paper proposes the conditional variational
autoencoders (CVAE) based approach which distills external knowledge from a
corpus of news-report data. Particularly, we choose Bi-GRU as the encoder and
decoder component of CVAE, and learn the latent variable distribution from
input news. A higher level latent variable distribution is learnt from a corpus
set of news-report data, respectively extr acted for each input news, to
provide background knowledge to previously learnt latent variable distribution.
Then, a teacher-student network is employed to distill knowledge to refine
theoutput of the decoder component. To evaluate the model performance of the
proposed approach, extensive experiments are preformed on a public dataset and
two widely adopted evaluation criteria, i.e., BLEU and ROUGE, are chosen in the
experiment. The promising experimental results demonstrate that the proposed
approach is superior to the rest compared methods.
- Abstract（参考訳）: ニュースから財務報告を自動的に生成するのは、かなり難しい作業だ。
このタスクの難しさは、長期の財務報告を効果的に生成する十分なバックグラウンド知識の欠如にあるようだ。
そこで本稿では,ニュースレポートデータのコーパスから外部知識を抽出する条件付き変分オートエンコーダ(CVAE)に基づく手法を提案する。
特に、CVAEのエンコーダおよびデコーダコンポーネントとしてBi-GRUを選択し、入力ニュースから潜在変数分布を学習する。
入力ニュース毎にそれぞれ作用するニュース報告データのコーパスセットから高レベル潜在変数分布を学習し、予め学習した潜在変数分布に背景知識を提供する。
次に、知識を蒸留してデコーダ成分の出力を精錬する教師学習ネットワークを用いる。
提案手法のモデル性能を評価するために,公開データセット上で広範な実験を行い,実験で広く採用されている2つの評価基準,すなわちbleuとrougeを選定した。
有望な実験結果は,提案手法が他の比較手法よりも優れていることを示している。
関連論文リスト
- What If the Input is Expanded in OOD Detection? [77.37433624869857]
Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。
In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。
入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
論文 参考訳（メタデータ） (2024-10-24T06:47:28Z) - Utilizing BERT for Information Retrieval: Survey, Applications,
Resources, and Challenges [4.588192657854766]
本調査は、情報検索(IR)にBERTのような事前訓練されたトランスフォーマーエンコーダを適用するアプローチに焦点を当てる。
i) 長文処理, (ii) 意味情報の統合, (iii) 有効性と効率のバランス, (iv) 用語の重み付け予測, (v) クエリ拡張, (vi) 文書拡張の6つの高レベルカテゴリに分類した。
特定のタスクに対して、細かな調整されたBERTエンコーダは依然としてパフォーマンスが良く、デプロイメントコストも低いことが分かりました。
論文 参考訳（メタデータ） (2024-02-18T23:22:40Z) - XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳（メタデータ） (2023-10-09T08:07:04Z) - Learning to Abstain From Uninformative Data [20.132146513548843]
本研究では,一般的なノイズ発生過程下での学習と行動の問題について検討する。
この問題において、データ分布はラベルに高ノイズの非形式的なサンプルのかなりの割合を有する。
本稿では,選択学習理論に着想を得た損失を生かして,これらの条件下での学習に新たなアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-25T15:55:55Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。
我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。
提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文 参考訳（メタデータ） (2022-06-30T02:35:04Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳（メタデータ） (2021-12-16T04:37:10Z) - Variational Mutual Information Maximization Framework for VAE Latent
Codes with Continuous and Discrete Priors [5.317548969642376]
変分オートエンコーダ(VAE)は、複雑なデータの有向潜在変数モデルを学習するためのスケーラブルな方法である。
本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
論文 参考訳（メタデータ） (2020-06-02T09:05:51Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。