論文の概要: Global-aware Beam Search for Neural Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2009.06891v5
- Date: Tue, 26 Oct 2021 10:11:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 05:56:17.145278
- Title: Global-aware Beam Search for Neural Abstractive Summarization
- Title（参考訳）: ニューラル抽象要約のためのグローバルアウェアビーム探索
- Authors: Ye Ma, Zixun Lan, Lu Zong, Kaizhu Huang
- Abstract要約: 本研究は,ニューラルネットワークの抽象的要約のためのグローバルアテンション分布を意識したキャリブレーションビームベースアルゴリズムを開発した。
9つのデータセットの実験は、グローバルな(注意)認識推論が最先端の要約モデルを大幅に改善することを示している。
- 参考スコア（独自算出の注目度）: 15.947221946320429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study develops a calibrated beam-based algorithm with awareness of the
global attention distribution for neural abstractive summarization, aiming to
improve the local optimality problem of the original beam search in a rigorous
way. Specifically, a novel global protocol is proposed based on the attention
distribution to stipulate how a global optimal hypothesis should attend to the
source. A global scoring mechanism is then developed to regulate beam search to
generate summaries in a near-global optimal fashion. This novel design enjoys a
distinctive property, i.e., the global attention distribution could be
predicted before inference, enabling step-wise improvements on the beam search
through the global scoring mechanism. Extensive experiments on nine datasets
show that the global (attention)-aware inference significantly improves
state-of-the-art summarization models even using empirical hyper-parameters.
The algorithm is also proven robust as it remains to generate meaningful texts
with corrupted attention distributions. The codes and a comprehensive set of
examples are available.
- Abstract（参考訳）: 本研究では,ニューラル抽象要約のための大域的注意分布を意識したキャリブレーションビームベースアルゴリズムを開発し,元のビーム探索の局所最適性問題を厳密に解決することを目的とした。
具体的には,グローバルな最適仮説のソースへの関与を規定する,注目分布に基づく新しいグローバルプロトコルを提案する。
次に、ビーム探索を規制し、準グローバルな最適方法で要約を生成するグローバルスコアリング機構を開発する。
この斬新な設計は、推論の前にグローバルな注意分布を予測できるという特徴的な特性を享受しており、グローバルスコアリング機構を通じてビーム探索の段階的に改善することができる。
9つのデータセットに関する広範囲な実験により、グローバル(アテンション)アウェア推論は経験的ハイパーパラメータを使用しても最先端の要約モデルを大幅に改善することが示された。
このアルゴリズムは、注意分布が劣化した意味のあるテキストを生成するため、堅牢であることも証明されている。
コードと包括的な例が提供されている。
関連論文リスト
- Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness [29.679323144520037]
フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で調整して、プライバシ保護モデルを構築することができる。
本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,一般化目標を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。
論文 参考訳（メタデータ） (2024-08-26T09:42:18Z) - GLEAMS: Bridging the Gap Between Local and Global Explanations [6.329021279685856]
本稿では,入力空間を分割し,各サブリージョン内で解釈可能なモデルを学習する新しい手法であるGLEAMSを提案する。
我々は、GLEAMSが合成データと実世界のデータの両方で有効であることを示し、その望ましい特性と人間の理解可能な洞察を強調した。
論文 参考訳（メタデータ） (2024-08-09T13:30:37Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
Skipperはモデルベースの強化学習フレームワークである。
これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。
環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
論文 参考訳（メタデータ） (2023-09-30T02:25:18Z) - Watching You: Global-guided Reciprocal Learning for Video-based Person
Re-identification [82.6971648465279]
映像に基づくRe-IDのための新しいグローバルガイド相互学習フレームワークを提案する。
我々のアプローチは他の最先端のアプローチよりも優れたパフォーマンスを達成できます。
論文 参考訳（メタデータ） (2021-03-07T12:27:42Z) - BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization [48.30183416069897]
BayGoは、ベイズ学習とグラフ最適化のフレームワークである。
本研究の枠組みは、完全連結および恒星トポロジーグラフと比較して、より高速な収束と精度を実現する。
論文 参考訳（メタデータ） (2020-11-09T11:16:55Z) - Beyond Individualized Recourse: Interpretable and Interactive Summaries
of Actionable Recourses [14.626432428431594]
本稿では,Actionable Recourse Agnostic (AReS) と呼ばれる新しいモデルフレームワークを提案する。
説明文の正当性と解釈可能性の両面を同時に最適化する新たな目的を定式化する。
当社のフレームワークは,ブラックボックスモデルに対応するリコースの包括的概要を意思決定者に提供する。
論文 参考訳（メタデータ） (2020-09-15T15:14:08Z) - Robust Sampling in Deep Learning [62.997667081978825]
ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。
分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。
トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
論文 参考訳（メタデータ） (2020-06-04T09:46:52Z) - Scalable Approximate Inference and Some Applications [2.6541211006790983]
本稿では,近似推論のための新しいフレームワークを提案する。
提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。
シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
論文 参考訳（メタデータ） (2020-03-07T04:33:27Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。