論文の概要: Mitigating Reversal Curse via Semantic-aware Permutation Training

• arxiv url: http://arxiv.org/abs/2403.00758v1
• Date: Fri, 1 Mar 2024 18:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:38:32.338353
• Title: Mitigating Reversal Curse via Semantic-aware Permutation Training
• Title（参考訳）: セマンティクス・アウェア・置換訓練による逆転的呪いの軽減
• Authors: Qingyan Guo, Rui Wang, Junliang Guo, Xu Tan, Jiang Bian, Yujiu Yang
• Abstract要約: 我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
• 参考スコア（独自算出の注目度）: 61.216062411246064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large language models (LLMs) have achieved impressive performance across diverse tasks, recent studies showcase that causal LLMs suffer from the "reversal curse". It is a typical example that the model knows "A's father is B", but is unable to reason "B's child is A". This limitation poses a challenge to the advancement of artificial general intelligence (AGI), as it suggests a gap in the models' ability to comprehend and apply bidirectional reasoning. In this paper, we first conduct substantial evaluation and identify that the root cause of the reversal curse lies in the different word order between the training and inference stage, namely, the poor ability of causal language models to predict antecedent words within the training data. Accordingly, permutation on the training data is considered as a potential solution, since this can make the model predict antecedent words or tokens. However, previous permutation methods may disrupt complete phrases or entities, thereby posing challenges for the model to comprehend and learn from training data. To address this issue, we propose Semantic-aware Permutation Training (SPT), which addresses this issue by segmenting the training sentences into semantic units (i.e., entities or phrases) with an assistant language model and permuting these units before feeding into the model. Extensive experiments demonstrate that SPT effectively mitigates the reversal curse since the performance on reversed questions approximates that on the forward ones, and significantly advances the performance of existing works.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なタスクにまたがって顕著なパフォーマンスを達成したが、最近の研究では、因果LLMが「逆の呪い」に苦しむことが示されている。 モデルが「Aの父親はB」を知っているのが典型例であるが、「Bの子はA」と説明できない。 この制限は、モデルが双方向の推論を理解し、適用する能力のギャップを示唆するため、人工知能(AGI)の発展に挑戦する。 本稿では,まず,学習段階と推論段階の異なる単語順,すなわち,学習データ内の先行する単語を予測できる因果的言語モデルの能力の低下が,反逆的呪いの根本原因であることを示す。 したがって、トレーニングデータの順列化は、先行する単語やトークンを予測できるため、潜在的な解決策であると考えられる。 しかし、以前の置換法は完全な句や実体を乱す可能性があるため、モデルが理解し、トレーニングデータから学ぶことが困難となる。 この問題に対処するために,SPT (Semantic-Aware Permutation Training) を提案する。これは,学習文をセマンティック単位(エンティティやフレーズなど)に分割し,それらの単位をモデルに入力する前に置換することでこの問題に対処する。 広範囲な実験により,SPTは逆問題のパフォーマンスが前方に近似していることから,逆の呪いを効果的に軽減し,既存の作品の性能を著しく向上させることが示されている。

関連論文リスト

• The Factorization Curse: Which Tokens You Predict Underlie the Reversal Curse and More [27.731438642876114]
  本研究では,学習中に遭遇した情報と異なる順序で探索した場合に,モデルが情報を思い出すことができない逆の呪文について検討する。 因子化の呪いは、一般的な大言語モデルで使われる次のトーケン予測目標の固有の失敗であることがわかった。 因子化に依存しない目的は、逆の呪いを著しく軽減し、知識記憶と計画能力の向上を示唆する。
  論文  参考訳（メタデータ） (2024-06-07T18:00:37Z)
• MiLe Loss: a New Loss for Mitigating the Bias of Learning Difficulties in Generative Language Models [40.992566245706996]
  トークンによる学習難易度を緩和するMiLe Loss関数を提案する。 我々は468M,1.2B,6.7Bパラメータの異なるスケールで生成言語モデルを訓練する。 実験により、提案されたMiLe Lossを組み込んだモデルが下流ベンチマークで一貫したパフォーマンス向上を達成できることが明らかになった。
  論文  参考訳（メタデータ） (2023-10-30T13:33:21Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Adversarial Training with Contrastive Learning in NLP [0.0]
  本稿では,言語処理タスクを逆学習するために,比較学習(ATCL)を用いた逆学習を提案する。 中心となる考え方は、高速勾配法(FGM)によって入力の埋め込み空間に線形摂動を生じさせ、元の表現と摂動表現を対照的な学習によって密に保つようモデルを訓練することである。 この結果から, 定量的(複雑度, BLEU) のスコアは, ベースラインに比べて向上しただけでなく, 両タスクのセマンティックレベルにおいても, 質的な結果が得られた。
  論文  参考訳（メタデータ） (2021-09-19T07:23:45Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。