論文の概要: First Place Solution of 2023 Global Artificial Intelligence Technology Innovation Competition Track 1
- arxiv url: http://arxiv.org/abs/2407.01271v2
- Date: Thu, 4 Jul 2024 03:53:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 22:15:07.775069
- Title: First Place Solution of 2023 Global Artificial Intelligence Technology Innovation Competition Track 1
- Title（参考訳）: 2023年世界人工知能技術革新コンペティショントラック1号の第一位ソリューション
- Authors: Xiangyu Wu, Hailiang Zhang, Yang Yang, Jianfeng Lu,
- Abstract要約: 我々は,グローバル人工知能技術革新コンペティショントラック1のチャンピオンソリューションを提示する。
我々はテキスト生成タスクのベースモデルとしてCPT-BASEを選択する。
驚いたことに、我々のシングルモデルはリーダーボードAで2.321点を獲得し、複数のモデル融合スコアはAとBのリーダーボードで2.362点と2.320点である。
- 参考スコア（独自算出の注目度）: 9.915564470970049
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present our champion solution to the Global Artificial Intelligence Technology Innovation Competition Track 1: Medical Imaging Diagnosis Report Generation. We select CPT-BASE as our base model for the text generation task. During the pre-training stage, we delete the mask language modeling task of CPT-BASE and instead reconstruct the vocabulary, adopting a span mask strategy and gradually increasing the number of masking ratios to perform the denoising auto-encoder pre-training task. In the fine-tuning stage, we design iterative retrieval augmentation and noise-aware similarity bucket prompt strategies. The retrieval augmentation constructs a mini-knowledge base, enriching the input information of the model, while the similarity bucket further perceives the noise information within the mini-knowledge base, guiding the model to generate higher-quality diagnostic reports based on the similarity prompts. Surprisingly, our single model has achieved a score of 2.321 on leaderboard A, and the multiple model fusion scores are 2.362 and 2.320 on the A and B leaderboards respectively, securing first place in the rankings.
- Abstract（参考訳）: 本稿では,グローバル人工知能技術革新コンペティショントラック1:メディカルイメージング診断レポート生成のためのチャンピオンソリューションを提案する。
我々はテキスト生成タスクのベースモデルとしてCPT-BASEを選択する。
事前学習の段階では、CPT-BASEのマスク言語モデリングタスクを削除し、代わりに語彙を再構築し、スパンマスク戦略を採用し、徐々にマスキング比率を増やして、自動エンコーダ事前訓練タスクを実行する。
微調整の段階では、反復的な検索拡張とノイズ認識類似性バケットのプロンプトを設計する。
検索増強は、ミニ知識ベースを構成し、モデルの入力情報を強化し、類似性バケットは、ミニ知識ベース内のノイズ情報を更に知覚し、類似性プロンプトに基づいて高品質な診断レポートを生成する。
驚いたことに、我々のシングルモデルはリーダーボードAで2.321点を獲得し、複数のモデル融合スコアはそれぞれAとBのリーダーボードで2.362点と2.320点を獲得し、ランキングで1位を確保した。
関連論文リスト
- Integrating Text and Image Pre-training for Multi-modal Algorithmic Reasoning [7.84845040922464]
本稿では,CVPRマルチモーダルアルゴリズム推論タスク2024におけるSMART-101の課題について述べる。
従来の視覚的な質問や回答タスクとは異なり、この課題はニューラルネットワークの抽象化、推論、一般化能力を評価する。
本モデルは,テキストと画像からそれぞれ特徴を抽出する2つの事前学習モデルに基づく。
論文 参考訳（メタデータ） (2024-06-08T01:45:06Z) - Sequencing Matters: A Generate-Retrieve-Generate Model for Building
Conversational Agents [9.191944519634111]
Georgetown InfoSense GroupはTREC iKAT 2023の課題を解決するために活動している。
提案手法は, 各カット数, 総合成功率において, nDCG において高い性能を示した。
我々のソリューションは、初期回答にLarge Language Models (LLMs) を用いること、BM25による回答基盤、ロジスティック回帰による通過品質フィルタリング、LLMによる回答生成である。
論文 参考訳（メタデータ） (2023-11-16T02:37:58Z) - Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2023-11-15T16:26:49Z) - Information Association for Language Model Updating by Mitigating
LM-Logical Discrepancy [68.31760483418901]
大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。
知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。
これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
論文 参考訳（メタデータ） (2023-05-29T19:48:37Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳（メタデータ） (2022-08-16T10:22:49Z) - Learning Phone Recognition from Unpaired Audio and Phone Sequences Based
on Generative Adversarial Network [58.82343017711883]
そこで本研究では,不適切な音声系列や発話から直接学習する方法について検討する。
GAN訓練を第1段階に導入し,無声音声と音声シーケンスのマッピング関係を求める。
第2段階では、発電機の出力からトレーニングするために別のHMMモデルが導入され、性能が向上する。
論文 参考訳（メタデータ） (2022-07-29T09:29:28Z) - A Technical Report for ICCV 2021 VIPriors Re-identification Challenge [5.940699390639281]
本稿では,VIPriors Challenge 2021における再同定トラックの解について紹介する。
それは、最先端のデータ処理戦略、モデル設計、および後処理アンサンブルメソッドの使用を示しています。
チームの最終スコア(ALONG)は96.5154% mAPで、トップボードで1位となった。
論文 参考訳（メタデータ） (2021-09-30T14:29:31Z) - Distantly-Supervised Named Entity Recognition with Noise-Robust Learning
and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。
本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。
提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2021-09-10T17:19:56Z) - An Empirical Study of Vehicle Re-Identification on the AI City Challenge [19.13038665501964]
Track2は、現実世界のデータと合成データの両方を扱う車両再識別(ReID)タスクである。
主に、この課題におけるトレーニングデータ、教師なしドメイン適応(UDA)トレーニング、後処理、モデルアンサンブルの4点に注目します。
以上の手法により, 最終的に0.7445mAPのスコアが得られた。
論文 参考訳（メタデータ） (2021-05-20T12:20:52Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。