論文の概要: Learning to Learn to be Right for the Right Reasons

• arxiv url: http://arxiv.org/abs/2104.11514v1
• Date: Fri, 23 Apr 2021 10:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 17:47:30.619824
• Title: Learning to Learn to be Right for the Right Reasons
• Title（参考訳）: 正しい理由のために正しいことを学べることを学ぶ
• Authors: Pride Kavumba, Benjamin Heinzerling, Ana Brassard, Kentaro Inui
• Abstract要約: 我々は、表面的手がかりのない簡単なテストセットと表面的手がかりのないハードテストセットの両方でうまく機能するモデルを学習する。 メタ学習の目的を用いて,簡単なテストセットと難しいテストセットの両方のパフォーマンスを向上させるモデルを学ぶ。
• 参考スコア（独自算出の注目度）: 26.17736376702677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving model generalization on held-out data is one of the core objectives in commonsense reasoning. Recent work has shown that models trained on the dataset with superficial cues tend to perform well on the easy test set with superficial cues but perform poorly on the hard test set without superficial cues. Previous approaches have resorted to manual methods of encouraging models not to overfit to superficial cues. While some of the methods have improved performance on hard instances, they also lead to degraded performance on easy instances. Here, we propose to explicitly learn a model that does well on both the easy test set with superficial cues and hard test set without superficial cues. Using a meta-learning objective, we learn such a model that improves performance on both the easy test set and the hard test set. By evaluating our models on Choice of Plausible Alternatives (COPA) and Commonsense Explanation, we show that our proposed method leads to improved performance on both the easy test set and the hard test set upon which we observe up to 16.5 percentage points improvement over the baseline.
• Abstract（参考訳）: ホールドアウトデータにおけるモデル一般化の改善は、コモンセンス推論の中心的な目的の1つである。 近年の研究では、表面的キューを用いたデータセットでトレーニングされたモデルは、表面的キューを用いた簡単なテストセットではうまく機能するが、表面的キューのないハードテストセットでは性能が良くない傾向が示されている。 従来のアプローチは、表面的な手がかりに過度に適合しないようモデルに促す手動手法に頼っていた。 ハードインスタンスのパフォーマンスが向上したメソッドもあるが、簡単なインスタンスではパフォーマンスが低下している。 ここでは,表面的な手掛かりのない簡単なテストセットと,表面的な手掛かりのないハードテストセットの両方でうまく機能するモデルを明示的に学習することを提案する。 メタ学習の目的を用いて,簡単なテストセットと難しいテストセットの両方のパフォーマンスを向上させるモデルを学ぶ。 可塑性代替品選択法(COPA)とコモンセンス説明法(Commonsense Explanation)のモデルを評価することにより,提案手法がベースラインを最大16.5ポイント改善する簡単なテストセットとハードテストセットの両方の性能向上につながることを示す。

関連論文リスト

• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Understanding prompt engineering may not require rethinking generalization [56.38207873589642]
  言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。 この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
  論文  参考訳（メタデータ） (2023-10-06T00:52:48Z)
• Point-TTA: Test-Time Adaptation for Point Cloud Registration Using Multitask Meta-Auxiliary Learning [17.980649681325406]
  我々は、ポイントクラウド登録(PCR)のための新しいテスト時間適応フレームワークであるPoint-TTAを提案する。 我々のモデルは、テストデータの事前の知識を必要とせずに、テスト時に目に見えない分布に適応することができる。 訓練中は, 補助タスクによる適応モデルにより主タスクの精度が向上するように, メタ補助学習アプローチを用いて訓練を行う。
  論文  参考訳（メタデータ） (2023-08-31T06:32:11Z)
• Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
  そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。 提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-25T12:29:22Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Robust Meta Learning for Image based tasks [1.1718589131017048]
  よく一般化する機械学習モデルは、目に見えないテスト例で低いエラーを得る必要がある。 本稿では,画像ベースのテストタスクに対して,より堅牢なメタ学習手法を提案する。 実験では、我々のアルゴリズムはより優れた一般化性能を持つだけでなく、未知のテストタスクに対して堅牢であることを示した。
  論文  参考訳（メタデータ） (2023-01-30T07:08:37Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Parameter-free Online Test-time Adaptation [19.279048049267388]
  実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。 我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。 提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
  論文  参考訳（メタデータ） (2022-01-15T00:29:16Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。