論文の概要: Learning to Achieve Goals with Belief State Transformers

• arxiv url: http://arxiv.org/abs/2410.23506v1
• Date: Wed, 30 Oct 2024 23:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:44.568865
• Title: Learning to Achieve Goals with Belief State Transformers
• Title（参考訳）: 状態変換器によるゴール達成の学習
• Authors: Edward S. Hu, Kwangjun Ahn, Qinghua Liu, Haoran Xu, Manan Tomar, Ada Langford, Dinesh Jayaraman, Alex Lamb, John Langford,
• Abstract要約: ビリーフ状態変換器(Belief State Transformer)は、接頭辞と接尾辞の両方を入力として取る次世代の予測器である。 Belief State Transformerは、従来のフォワードオンリーのトランスフォーマーが苦労する課題を解決するために効果的に学習する。
• 参考スコア（独自算出の注目度）: 50.196123952714245
• License:
• Abstract: We introduce the "Belief State Transformer", a next-token predictor that takes both a prefix and suffix as inputs, with a novel objective of predicting both the next token for the prefix and the previous token for the suffix. The Belief State Transformer effectively learns to solve challenging problems that conventional forward-only transformers struggle with, in a domain-independent fashion. Key to this success is learning a compact belief state that captures all relevant information necessary for accurate predictions. Empirical ablations show that each component of the model is essential in difficult scenarios where standard Transformers fall short. For the task of story writing with known prefixes and suffixes, our approach outperforms the Fill-in-the-Middle method for reaching known goals and demonstrates improved performance even when the goals are unknown. Altogether, the Belief State Transformer enables more efficient goal-conditioned decoding, better test-time inference, and high-quality text representations on small scale problems.
• Abstract（参考訳）: 本稿では,接頭辞と接尾辞の両方を入力として扱う次世代の予測器である"Belief State Transformer"を紹介し,接頭辞の次のトークンと接尾辞の前のトークンの両方を予測する新しい目的について述べる。 Belief State Transformerは、従来のフォワードオンリーのトランスフォーマーがドメインに依存しない方法で苦労する課題を解決するために、効果的に学習する。 この成功の鍵は、正確な予測に必要なすべての関連情報をキャプチャする、コンパクトな信念状態を学ぶことである。 実証的な説明は、標準トランスフォーマーが不足する難しいシナリオでは、モデルのそれぞれのコンポーネントが不可欠であることを示している。 本手法は,既知の接頭辞と接尾辞を用いたストーリーライティングのタスクにおいて,既知の目標を達成するためのFill-in-the-Middle法よりも優れ,目標が不明な場合でも性能の向上を示す。 さらに、Belief State Transformerは、より効率的なゴール条件付きデコード、より良いテスト時間推論、小規模問題に対する高品質なテキスト表現を可能にする。

関連論文リスト

• Looking Beyond The Top-1: Transformers Determine Top Tokens In Order [13.032106683136394]
  トップ1予測が修正された後、トランスフォーマーが層内で行う計算を解析する。 これらの飽和事象は、対応するトークンのランクの順に発生する。 この逐次飽和に対するタスク遷移のメカニズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T16:00:38Z)
• Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings [68.61185138897312]
  凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。 本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
  論文  参考訳（メタデータ） (2023-05-23T01:03:40Z)
• Position Prediction as an Effective Pretraining Strategy [20.925906203643883]
  本稿では,コンテンツからの位置を予測し,位置情報を提供することなく,コンテンツを再構築する手法を提案する。 提案手法は,教師なし/自己教師付き事前学習手法に匹敵する,強い教師付きトレーニングベースラインの改善をもたらす。
  論文  参考訳（メタデータ） (2022-07-15T17:10:48Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• Towards the Unseen: Iterative Text Recognition by Distilling from Errors [41.43280922432707]
  先行芸術は、ほとんど目に見えない(または稀に見られる)キャラクターのシーケンスを認識することに苦慮している。 我々はこの「目に見えない」問題に対処するための新しい枠組みを提唱した。 私たちの成功の鍵は、ユニークなクロスモーダル変分オートエンコーダです。
  論文  参考訳（メタデータ） (2021-07-26T10:06:42Z)
• Position Information in Transformers: An Overview [6.284464997330884]
  本稿では,トランスフォーマーモデルに位置情報を組み込む共通手法の概要について述べる。 本調査の目的は,Transformerにおける位置情報が活発で広範な研究領域であることを示すことである。
  論文  参考訳（メタデータ） (2021-02-22T15:03:23Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)
• Robustness Verification for Transformers [165.25112192811764]
  我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。 提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。 これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
  論文  参考訳（メタデータ） (2020-02-16T17:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。