論文の概要: When More Becomes Less: Position-Dependent Repetition Effects in Language Models

• arxiv url: http://arxiv.org/abs/2608.04021v1
• Date: Wed, 24 Jun 2026 23:57:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.149005
• Title: When More Becomes Less: Position-Dependent Repetition Effects in Language Models
• Title（参考訳）: 言語モデルにおける位置依存的反復効果
• Abstract要約: クローズスタイルのプローブは、ターゲットトークンが暗黙的に出現する頻度によって、読み出しスロットがどこにあっても、ターゲットのコピーが同じ方法で予測に影響すると仮定する。 我々の2プローブ設計は、繰り返しターゲットプレフィックスを固定し、読み出し位置だけを変える。 置換された繰り返しは逆Uを生成する:$P(texttarget)$は初期ピークまで上昇し、より多くのコピーが追加されると減少する。
• 参考スコア（独自算出の注目度）: 2.892857112058156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cloze-style probes that vary how often a target token appears implicitly assume that more copies of a target affect prediction the same way regardless of where the readout slot sits. We show this assumption fails. Our two-probe design holds a repeated-target prefix fixed and varies only the readout position: the adjacent probe places the slot immediately after the repeated block; the displaced probe places it inside a fresh sentence frame. Adjacent repetition behaves as priming intuition predicts: $P(\text{target})$ climbs with $N$ and plateaus. Displaced repetition produces an inverted-U: $P(\text{target})$ rises to an early peak and then declines as more copies are added. The displaced inverted-U shows a per-word drop with bootstrap CI excluding zero in all 13 open-access encoder and decoder models we test, and replicates across Spanish, Chinese, German, and French in 42 of 42 multilingual cells. A six-condition causal ablation isolates the effect to exact lexical repetition rather than length, generic redundancy, or semantic-neighbour exposure. A frame-pragmatics control rules out an artefact of the readout frame. Internally, per-target-token attention falls with $N$ while the total budget assigned to the repeated block grows in causal LMs but not in the masked LM we probe. Probes that vary repetition count cannot treat the readout position as orthogonal to what they measure.
• Abstract（参考訳）: ターゲットトークンの出現頻度が異なるクローズスタイルのプローブは、読み出しスロットがどこにあるかに関わらず、ターゲットのコピーが同じ方法で予測に影響することを暗黙的に仮定する。 この仮定は失敗する。 隣接プローブは繰り返しブロックの直後にスロットを配置し、変位プローブはそれを新鮮な文フレーム内に配置する。 P(\text{target})$ climbs with $N$ and plateaus。 置換された繰り返しは逆Uを生成する:$P(\text{target})$は初期ピークに上昇し、より多くのコピーが追加されると減少する。 置換された逆Uは、テストした13のオープンアクセスエンコーダおよびデコーダモデルすべてにゼロを除いたブートストラップCI付きワード単位のドロップを示し、42の多言語セルのうち42のスペイン語、中国語、ドイツ語、フランス語で複製する。 6条件の因果アブレーションは、長さ、一般的な冗長性、セマンティック・近傍の露出よりも正確な語彙反復に対する効果を分離する。 フレームプラグマティクス制御は、読み出しフレームのアーチファクトを規定する。 内部的には、ターゲット毎の注意力は$N$に低下し、繰り返しブロックに割り当てられる予算は、因果的LMで増加するが、我々が調査するマスクされたLMでは増加しない。 反復数が異なるプローブは、読み出し位置を測定値と直交するものとして扱うことはできない。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
  LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
  論文  参考訳（メタデータ） (2026-08-11T12:01:59Z)
• Latent Undertow: How Ordinary Typos Break Probes [1.3636639880574484]
  タイプミスや句読点の欠如によって、ユーザの意図とモデルの反応は瞬時に変化しない。 しかし、モデルの隠れ状態を読むことによって悪意のあるプロンプトを検出するプローブは、異なるストーリーを語る:同じ編集で、摂動トークンで読み出しベクトルを43-56回転させ、10下流トークンで15%以下で崩壊する。 メッセージごとに3つの共通型を積み重ねると、シングルポジションのプロンプトインジェクションプローブのTPR@FPR$=1% が 12.0pp にカットされる。
  論文  参考訳（メタデータ） (2026-07-08T11:41:43Z)
• Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models [0.0]
  隠れ状態反転問題を連続埋め込み空間最適化として検討する。 我々は、どのトークンが再構成を破るかを分析し、鋭い分類的非対称性を見つける。 GPT-2の最後の層が隠された状態は、原文と同じくらい敏感である。
  論文  参考訳（メタデータ） (2026-07-01T12:18:12Z)
• Temporal Multi-Signal Fusion for Token-Level Hallucination Detection [0.0]
  トークンレベルの幻覚検出器は、1つの信号から独立してトークンをスコアし、生成モデルが確実に間違っている場合に正確に失敗する。 本稿では,幻覚を時間的に拡張したスパンとして扱い,シーケンスラベリングにより検出する。 双方向Gated Recurrent Unit (BiGRU) は、RAGTruth (10種)上のAUCの0.840に達する。
  論文  参考訳（メタデータ） (2026-06-30T19:22:39Z)
• Trajectory Dynamics in Language Model Hidden States Predict Human Processing Costs Beyond Surprisal [0.0]
  本稿では,単語レベルの予測誤差(副次的)と展開解釈の局所運動量に対する感度(軌道外挿誤差)が処理コストの解離可能な成分であることを示す。 この効果は特に庭道の文で顕著である。
  論文  参考訳（メタデータ） (2026-06-03T18:44:41Z)
• When and How Long? The Readout-Mediator Angle in Temporal Reasoning [1.0195618602298682]
  線形プローブは表現をほぼ完全にデコードできるが、モデルがどのように使用するかは全く関係がない。 分散アライメントサーチ(DAS)によって発見された4次元のサブスペースを同じ層に配置すると、パフォーマンスは完全に崩壊する。 学習したQKオフセットをpm30$とpm61$dayで読み取る。
  論文  参考訳（メタデータ） (2026-05-27T21:38:17Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
  キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
  論文  参考訳（メタデータ） (2022-11-13T09:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。