論文の概要: Reversal Invariance in Autoregressive Language Models

• arxiv url: http://arxiv.org/abs/2511.00341v1
• Date: Sat, 01 Nov 2025 00:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.72608
• Title: Reversal Invariance in Autoregressive Language Models
• Title（参考訳）: 自己回帰型言語モデルにおける逆不変性
• Authors: Mihir Sahasrabudhe,
• Abstract要約: 次トーケン予測損失は、コーパスとその反転に同一の確率を割り当て、標準CLM事前学習が方向盲であることを示唆する。 この対称性は、人間の言語と推論の本質的に時間非対称性の性質にもかかわらず、逆テキストで訓練されたモデルがフォワードテキストで訓練されたモデルと同等のパフォーマンスを達成できる理由を説明する。 我々は、時間的非対称性のレンズを通して事前学習を行い、標準言語モデリング能力を維持しつつ、言語矢印を明示的にモデル化する損失関数やアーキテクチャに関する将来の研究を動機付けることを提案する。
• 参考スコア（独自算出の注目度）: 0.15229257192293197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We formalize a structural property of the causal (autoregressive) language modeling (CLM) objective: reversal invariance. Formally, the next-token prediction loss assigns identical likelihood to a corpus and its reversal, implying that standard CLM pretraining is direction-blind. This symmetry explains why models trained on reversed text can achieve comparable performance to those trained on forward text, despite the inherently time-asymmetric nature of human language and reasoning. We argue that this invariance represents a limitation of current pretraining objectives rather than a benign artifact. If natural language encodes directional dependencies - phonological, morphological, or causal - a symmetric objective may fail to capture them. We therefore propose viewing pretraining through the lens of temporal asymmetry, motivating future work on loss functions and architectures that explicitly model the arrow of language while retaining standard language modeling capacity.
• Abstract（参考訳）: 本稿では,因果的(自己回帰的)言語モデリング(CLM)の目的であるリバーサル不変性(reversal invariance)を定式化する。 正式には、次のトーケン予測損失は、コーパスとその反転に同一の正当性を割り当て、標準のCLM事前学習が方向盲であることを示唆する。 この対称性は、人間の言語と推論の本質的に時間非対称性の性質にもかかわらず、逆テキストで訓練されたモデルがフォワードテキストで訓練されたモデルと同等のパフォーマンスを達成できる理由を説明する。 この不変性は、良質な人工物ではなく、現在の事前学習対象の制限を表していると我々は主張する。 自然言語が音韻的、形態的、因果的といった方向依存を符号化している場合、対称目的語はそれらを取得するのに失敗する。 そこで我々は、時間的非対称性のレンズを通して事前学習を行うことを提案し、標準言語モデリング能力を維持しつつ、言語矢印を明示的にモデル化する損失関数やアーキテクチャに関する将来の研究を動機付けている。

関連論文リスト

• Code over Words: Overcoming Semantic Inertia via Code-Grounded Reasoning [12.151063066287206]
  LLMはセマンティック・慣性 (Semantic Inertia) と戦っている。 記述的テキストではなく,動的表現を実行可能なコードとして表現することは,この傾向を逆転させ,効果的な事前抑制を可能にすることを示す。
  論文  参考訳（メタデータ） (2026-01-26T10:58:52Z)
• Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models [82.79223371188756]
  CoT(Chain-of-Thought)は、大規模言語モデルを用いた自然言語処理において、高度なタスク解決機能を備えている。 CoTをタンパク質やRNA言語モデルのような非自然言語ドメインに適用することは、まだ不可能である。 生物シークエンスモデルではじめて事前学習を導入し、中間的推論を行えるようにした。
  論文  参考訳（メタデータ） (2025-12-24T05:25:17Z)
• Counterfactual reasoning: an analysis of in-context emergence [57.118735341305786]
  我々は、言語モデルが反実的推論が可能なことを示す。 自己注意、モデル深度、トレーニング済みデータの多様性によってパフォーマンスが向上することがわかった。 以上の結果から, SDE 動態下での反実的推論が可能となった。
  論文  参考訳（メタデータ） (2025-06-05T16:02:07Z)
• Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [29.745218855471787]
  トークン化は多くの言語モジュールの現在のアーキテクチャにおいて必要なコンポーネントである。 トークン化は、合理的な人間的な言語のパフォーマンスに必要である、と我々は主張する。 本稿では,建築的選択,すなわち構成,思考のための言語の優越性について論じる。
  論文  参考訳（メタデータ） (2024-12-14T18:18:52Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• CUE: An Uncertainty Interpretation Framework for Text Classifiers Built on Pre-Trained Language Models [28.750894873827068]
  本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。 摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
  論文  参考訳（メタデータ） (2023-06-06T11:37:46Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Pre-Training a Language Model Without Human Language [74.11825654535895]
  先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。 非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。 驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
  論文  参考訳（メタデータ） (2020-12-22T13:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。