論文の概要: RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles

• arxiv url: http://arxiv.org/abs/2501.13491v1
• Date: Thu, 23 Jan 2025 09:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 19:17:07.232316
• Title: RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles
• Title（参考訳）: RECALL: 言語モデルにおけるライブラリライクな振る舞いは、自己参照因果サイクルによって強化される
• Authors: Munachiso Nwadike, Zangir Iklassov, Toluwani Aremu, Tatsuya Hiraoka, Velibor Bojkovic, Benjamin Heinzerling, Hilal Alqaubeh, Martin Takáč, Kentaro Inui,
• Abstract要約: 自己参照因果サイクル(RECALL)の概念を紹介する。 これにより、一方向因果関係の制限を回避できる。 RECALLは、私たちがサイクルトークンとして指定したものによって駆動されています。
• 参考スコア（独自算出の注目度）: 18.140067201462884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the concept of the self-referencing causal cycle (abbreviated RECALL) - a mechanism that enables large language models (LLMs) to bypass the limitations of unidirectional causality, which underlies a phenomenon known as the reversal curse. When an LLM is prompted with sequential data, it often fails to recall preceding context. For example, when we ask an LLM to recall the line preceding "O say does that star-spangled banner yet wave" in the U.S. National Anthem, it often fails to correctly return "Gave proof through the night that our flag was still there" - this is due to the reversal curse. It occurs because language models such as ChatGPT and Llama generate text based on preceding tokens, requiring facts to be learned and reproduced in a consistent token order. While the reversal curse is often viewed as a limitation, we offer evidence of an alternative view: it is not always an obstacle in practice. We find that RECALL is driven by what we designate as cycle tokens - sequences that connect different parts of the training data, enabling recall of preceding tokens from succeeding ones. Through rigorous probabilistic formalization and controlled experiments, we demonstrate how the cycles they induce influence a model's ability to reproduce information. To facilitate reproducibility, we provide our code and experimental details at https://anonymous.4open.science/r/remember-B0B8/.
• Abstract（参考訳）: 本稿では,大言語モデル(LLM)が一方向因果関係の限界を回避できるメカニズムである自己参照因果サイクル(RECALL)の概念を紹介する。 LLMがシーケンシャルなデータでトリガーされると、しばしば前のコンテキストをリコールする。 例えば、米国国歌の「O say do that the star-spangled banner yet wave」の前列を思い出すようLLMに頼んだとき、しばしば「我々の旗がまだそこにあるという夜を通して証明する」ことを正しく返すことができず、これは逆の呪いによるものである。 ChatGPTやLlamaのような言語モデルは、先行するトークンに基づいてテキストを生成するため、一貫したトークン順序で事実を学習し、再現する必要がある。 逆の呪いはしばしば制限と見なされるが、我々は別の見方の証拠を提示する:それは実際には常に障害であるとは限らない。 RECALLは私たちがサイクルトークンと呼ぶもので、トレーニングデータの異なる部分を接続し、先行するトークンを次のトークンからリコール可能にするシーケンスです。 厳密な確率的形式化と制御された実験を通して、それらのサイクルが情報を再現するモデルの能力にどのように影響するかを実証する。 再現性を促進するため、コードと実験の詳細はhttps://anonymous.4open.science/r/remember-B0B8/で公開しています。

関連論文リスト

• Is the Reversal Curse a Binding Problem? Uncovering Limitations of Transformers from a Basic Generalization Failure [14.07889703663922]
  LLMはReversal Curseとして知られる基本的な一般化の失敗を示す。 LLMにおける逆曲線は認知科学、神経科学、AIにおける長年の結合問題の顕在化である。
  論文  参考訳（メタデータ） (2025-04-02T17:38:03Z)
• Interpreting the Repeated Token Phenomenon in Large Language Models [31.1226642501095]
  大きな言語モデル (LLM) は、引き起こされた時に1つの単語を正確に繰り返すことができず、代わりに無関係なテキストを出力する。 「この現象の原因を説明し、注意流しの概念と結びつけよう。」 我々の研究は、注意シンクの原因となる神経回路を特定し、この回路がどれくらいの時間繰り返しで破壊されるかを示す。
  論文  参考訳（メタデータ） (2025-03-11T21:40:58Z)
• From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty [67.81977289444677]
  大型言語モデル(LLM)は幻覚やシーケンスの繰り返しのような望ましくない振る舞いを示すことが多い。 転倒行動(シークエンス反復、退化テキスト、幻覚)を分類し、それらを広範囲に分析する。 我々の実験では、これらのすべての軸にまたがる、明確な、一貫したフォールバック動作の順序が明らかになりました。
  論文  参考訳（メタデータ） (2024-07-08T16:13:42Z)
• The Factorization Curse: Which Tokens You Predict Underlie the Reversal Curse and More [27.731438642876114]
  本研究では,学習中に遭遇した情報と異なる順序で探索した場合に,モデルが情報を思い出すことができない逆の呪文について検討する。 因子化の呪いは、一般的な大言語モデルで使われる次のトーケン予測目標の固有の失敗であることがわかった。 因子化に依存しない目的は、逆の呪いを著しく軽減し、知識記憶と計画能力の向上を示唆する。
  論文  参考訳（メタデータ） (2024-06-07T18:00:37Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning [79.48769764508006]
  ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。 我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。 提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-12T17:58:43Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。