論文の概要: RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles

• arxiv url: http://arxiv.org/abs/2501.13491v1
• Date: Thu, 23 Jan 2025 09:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:30.033293
• Title: RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles
• Title（参考訳）: RECALL: 言語モデルにおけるライブラリライクな振る舞いは、自己参照因果サイクルによって強化される
• Authors: Munachiso Nwadike, Zangir Iklassov, Toluwani Aremu, Tatsuya Hiraoka, Velibor Bojkovic, Benjamin Heinzerling, Hilal Alqaubeh, Martin Takáč, Kentaro Inui,
• Abstract要約: 自己参照因果サイクル(RECALL)の概念を紹介する。 これにより、一方向因果関係の制限を回避できる。 RECALLは、私たちがサイクルトークンとして指定したものによって駆動されています。
• 参考スコア（独自算出の注目度）: 18.140067201462884
• License:
• Abstract: We introduce the concept of the self-referencing causal cycle (abbreviated RECALL) - a mechanism that enables large language models (LLMs) to bypass the limitations of unidirectional causality, which underlies a phenomenon known as the reversal curse. When an LLM is prompted with sequential data, it often fails to recall preceding context. For example, when we ask an LLM to recall the line preceding "O say does that star-spangled banner yet wave" in the U.S. National Anthem, it often fails to correctly return "Gave proof through the night that our flag was still there" - this is due to the reversal curse. It occurs because language models such as ChatGPT and Llama generate text based on preceding tokens, requiring facts to be learned and reproduced in a consistent token order. While the reversal curse is often viewed as a limitation, we offer evidence of an alternative view: it is not always an obstacle in practice. We find that RECALL is driven by what we designate as cycle tokens - sequences that connect different parts of the training data, enabling recall of preceding tokens from succeeding ones. Through rigorous probabilistic formalization and controlled experiments, we demonstrate how the cycles they induce influence a model's ability to reproduce information. To facilitate reproducibility, we provide our code and experimental details at https://anonymous.4open.science/r/remember-B0B8/.
• Abstract（参考訳）: 本稿では,大言語モデル(LLM)が一方向因果関係の限界を回避できるメカニズムである自己参照因果サイクル(RECALL)の概念を紹介する。 LLMがシーケンシャルなデータでトリガーされると、しばしば前のコンテキストをリコールする。 例えば、米国国歌の「O say do that the star-spangled banner yet wave」の前列を思い出すようLLMに頼んだとき、しばしば「我々の旗がまだそこにあるという夜を通して証明する」ことを正しく返すことができず、これは逆の呪いによるものである。 ChatGPTやLlamaのような言語モデルは、先行するトークンに基づいてテキストを生成するため、一貫したトークン順序で事実を学習し、再現する必要がある。 逆の呪いはしばしば制限と見なされるが、我々は別の見方の証拠を提示する:それは実際には常に障害であるとは限らない。 RECALLは私たちがサイクルトークンと呼ぶもので、トレーニングデータの異なる部分を接続し、先行するトークンを次のトークンからリコール可能にするシーケンスです。 厳密な確率的形式化と制御された実験を通して、それらのサイクルが情報を再現するモデルの能力にどのように影響するかを実証する。 再現性を促進するため、コードと実験の詳細はhttps://anonymous.4open.science/r/remember-B0B8/で公開しています。

関連論文リスト

• Non-Halting Queries: Exploiting Fixed Points in LLMs [4.091772241106195]
  我々は、自動回帰モデルの固定点を利用して、決して停止しないクエリを作成する新しい脆弱性を導入します。 ベースモデル(アンアライメント)モデルで実施した多数の実験において,非ハーフティング異常を実演する。 勾配探索に基づく逆転法ARCAによる実験により, モデル間では非ハーフティングが一般的であり, 数個の入力トークンで容易に誘導できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-08T18:38:32Z)
• Reranking Laws for Language Generation: A Communication-Theoretic Perspective [23.375569123152324]
  我々は、並列ノイズチャネルを通じてメッセージの複数の記述を送信する送信機としてジェネレータを概念化する。 リランカが不完全である場合であっても、このプロトコルがエラーのない条件を提供する。 我々は,大規模な言語モデルを用いて,実世界の2つの課題に対して経験的に検証する法則の再定式化のために,我々の枠組みを利用する。
  論文  参考訳（メタデータ） (2024-09-11T09:27:50Z)
• From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty [67.81977289444677]
  大型言語モデル(LLM)は幻覚やシーケンスの繰り返しのような望ましくない振る舞いを示すことが多い。 転倒行動(シークエンス反復、退化テキスト、幻覚)を分類し、それらを広範囲に分析する。 我々の実験では、これらのすべての軸にまたがる、明確な、一貫したフォールバック動作の順序が明らかになりました。
  論文  参考訳（メタデータ） (2024-07-08T16:13:42Z)
• The Factorization Curse: Which Tokens You Predict Underlie the Reversal Curse and More [27.731438642876114]
  本研究では,学習中に遭遇した情報と異なる順序で探索した場合に,モデルが情報を思い出すことができない逆の呪文について検討する。 因子化の呪いは、一般的な大言語モデルで使われる次のトーケン予測目標の固有の失敗であることがわかった。 因子化に依存しない目的は、逆の呪いを著しく軽減し、知識記憶と計画能力の向上を示唆する。
  論文  参考訳（メタデータ） (2024-06-07T18:00:37Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning [79.48769764508006]
  ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。 我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。 提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-12T17:58:43Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。