論文の概要: Constructing Open Cloze Tests Using Generation and Discrimination Capabilities of Transformers

• arxiv url: http://arxiv.org/abs/2204.07237v1
• Date: Thu, 14 Apr 2022 21:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 15:28:09.645415
• Title: Constructing Open Cloze Tests Using Generation and Discrimination Capabilities of Transformers
• Title（参考訳）: 変圧器の生成と識別能力を用いた開局試験の構成
• Authors: Mariano Felice, Shiva Taslimipoor and Paula Buttery
• Abstract要約: 本稿では,オープンクローゼテストを構築するための最初の多目的変圧器モデルを提案する。 我々のモデルは、損失関数を微調整し、処理後再ランク付けアルゴリズムを適用することでさらに強化されている。 自動評価と人的評価を併用した実験では,提案手法が最大82%の精度で達成可能であることが示された。
• 参考スコア（独自算出の注目度）: 4.380862950276128
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper presents the first multi-objective transformer model for constructing open cloze tests that exploits generation and discrimination capabilities to improve performance. Our model is further enhanced by tweaking its loss function and applying a post-processing re-ranking algorithm that improves overall test structure. Experiments using automatic and human evaluation show that our approach can achieve up to 82% accuracy according to experts, outperforming previous work and baselines. We also release a collection of high-quality open cloze tests along with sample system output and human annotations that can serve as a future benchmark.
• Abstract（参考訳）: 本稿では,多目的トランスフォーマモデルとして,生成と識別機能を活用して性能を向上させるオープンクローゼテストを構築する。 我々のモデルは、損失関数を微調整し、全体のテスト構造を改善するポストプロセッシング・リグレードアルゴリズムを適用することでさらに強化されている。 自動評価と人的評価を用いた実験により,従来の作業とベースラインを上回って,82%の精度を達成することができた。 また、高品質なオープンクローゼテストのコレクションと、将来のベンチマークとして使えるサンプルシステム出力とヒューマンアノテーションもリリースしています。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Uncertainty-aware No-Reference Point Cloud Quality Assessment [25.543217625958462]
  本研究は,非参照点クラウド品質評価(PCQA)のための最初の確率的アーキテクチャを提案する。 提案手法は条件付き変分オートエンコーダ(AE)を用いて被験者の品質判定をモデル化できる。 実験により,本手法は従来の最先端手法を大きなマージンで模倣し,データセット間実験を行うことを示す。
  論文  参考訳（メタデータ） (2024-01-17T02:25:42Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Stabilizing Adversarially Learned One-Class Novelty Detection Using Pseudo Anomalies [22.48845887819345]
  異常スコアは、逆学習されたジェネレータの再構成損失と/または識別器の分類損失を用いて定式化されている。 トレーニングデータにおける異常な例の有効性は、そのようなネットワークの最適化を困難にしている。 本研究では,判別器の基本的役割を,実データと偽データとの識別から,良質データと悪質データとの区別に転換することで,そのような不安定性を克服する堅牢な異常検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-25T15:37:52Z)
• Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
  そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。 まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。 各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
  論文  参考訳（メタデータ） (2022-03-21T10:20:21Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Online GANs for Automatic Performance Testing [0.10312968200748115]
  GAN(Generative Adversarial Network)のオンライン版を利用した自動パフォーマンステストのための新しいアルゴリズムを提案する。 提案手法では、テスト中のシステムの事前のトレーニングセットやモデルを必要としない。 我々は,提案アルゴリズムが概念実証として機能し,GANの試験生成への応用に関する研究議論の火花となることを期待する。
  論文  参考訳（メタデータ） (2021-04-21T06:03:27Z)
• Old is Gold: Redefining the Adversarially Learned One-Class Classifier Training Paradigm [15.898383112569237]
  異常検出の一般的な方法は、逆数ネットワークのジェネレータを使用して異常スコアを定式化することである。 本研究では,幅広いトレーニング段階にわたって,安定した結果を効果的に生成するフレームワークを提案する。 我々のモデルは,最近の最先端手法を超越して,98.1%のフレームレベルAUCを実現する。
  論文  参考訳（メタデータ） (2020-04-16T13:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。