論文の概要: Comprehensive Solution Program Centric Pretraining for Table-and-Text Hybrid Numerical Reasoning

• arxiv url: http://arxiv.org/abs/2305.07475v1
• Date: Fri, 12 May 2023 13:44:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 12:49:09.252785
• Title: Comprehensive Solution Program Centric Pretraining for Table-and-Text Hybrid Numerical Reasoning
• Title（参考訳）: テーブル・アンド・テキストハイブリッド型数値推論のための総合的学習プログラム
• Authors: Qianying Liu, Dongsheng Yang, Wenjie Zhong, Fei Cheng, Sadao Kurohashi
• Abstract要約: 財務報告のような表と表のハイブリッドパスに対する数値推論は、重大な課題を提起する。 解法プログラム全体の粗大な監督は、基礎となる数値推論過程を学習するモデルの能力を妨げる。 本稿では,プログラム全体とサブプログラムレベルの両方で動作する3つの事前学習タスクを提案する。
• 参考スコア（独自算出の注目度）: 21.708394374594082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerical reasoning over table-and-text hybrid passages, such as financial reports, poses significant challenges and has numerous potential applications. Noise and irrelevant variables in the model input have been a hindrance to its performance. Additionally, coarse-grained supervision of the whole solution program has impeded the model's ability to learn the underlying numerical reasoning process. In this paper, we propose three pretraining tasks that operate at both the whole program and sub-program level: Variable Integrity Ranking, which guides the model to focus on useful variables; Variable Operator Prediction, which decomposes the supervision into fine-grained single operator prediction; and Variable Keyphrase Masking, which encourages the model to identify key evidence that sub-programs are derived from. Experimental results demonstrate the effectiveness of our proposed methods, surpassing transformer-based model baselines.
• Abstract（参考訳）: 財務報告のような表とテキストのハイブリッドパスに対する数値推論は、重大な課題を提起し、多くの潜在的な応用がある。 モデル入力におけるノイズと無関係変数は、その性能の障害となっている。 さらに、全解プログラムの粗い粒度の監督は、基礎となる数値推論過程を学習するモデルの能力を妨げる。 本稿では,プログラム全体およびサブプログラムレベルで動作するプリトレーニングタスクとして,有用な変数にモデルを集中させる変数整合性ランキング,監督を細粒度単一演算子予測に分解する変数演算子予測,サブプログラムが導出する重要な証拠をモデルが識別することを奨励する変数キーフレーズマスキングの3つを提案する。 提案手法がトランスフォーマーモデルベースラインを上回って有効性を示す実験結果が得られた。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks [50.75902473813379]
  本研究は、そのようなモデルの一般化能力における命令と入力の役割を体系的に検証する包括的評価フレームワークを導入する。 提案フレームワークは,極度の命令摂動に対するマルチモーダルモデルのレジリエンスと,観測的変化に対する脆弱性を明らかにする。
  論文  参考訳（メタデータ） (2024-07-04T14:36:49Z)
• Beyond Self-learned Attention: Mitigating Attention Bias in Transformer-based Models Using Attention Guidance [9.486558126032639]
  SyntaGuidはトランスフォーマーベースのモデルを重要なソースコードトークンへ導くための新しいアプローチである。 SyntaGuidは、全体的なパフォーマンスを3.25%改善し、28.3%の誤予測を修正できることを示す。
  論文  参考訳（メタデータ） (2024-02-26T18:03:50Z)
• Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning [10.889271604723312]
  思考の連鎖(CoT)は、多くの自然言語処理タスクで有効であることが証明されている。 本研究では, 動的プログラム・プロンプトとプログラム蒸留という, 数発のプロンプトシナリオにおいて, トレーニングデータを活用するための2つの手法について検討する。 3つの標準数学語問題(MWP)データセットに関する実験により,これらの手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-05-29T16:01:40Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• On the Reliability and Explainability of Language Models for Program Generation [15.569926313298337]
  自動プログラム生成手法の能力と限界について検討する。 私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。 解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T14:59:52Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• BLISS: Robust Sequence-to-Sequence Learning via Self-Supervised Input Representation [92.75908003533736]
  本稿では,自己教師型入力表現を用いたフレームワークレベルの頑健なシーケンス・ツー・シーケンス学習手法BLISSを提案する。 我々は,機械翻訳,文法的誤り訂正,テキスト要約など,BLISSの様々なタスクにおける有効性を検証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-04-16T16:19:47Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。