論文の概要: Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering

• arxiv url: http://arxiv.org/abs/2610.31135v1
• Date: Thu, 22 Oct 2026 11:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.3651
• Title: Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering
• Title（参考訳）: 混合事項:長期質問応答におけるシーケンスミキサー間のエビデンス位置バイアス
• Abstract要約: 長文モデルは、迅速な境界から離れて現れる場合、答えを持つ証拠を効果的に使用しないことが多い。 我々は、この位置バイアスをTransformer、State-space、Hybrid Mambaアーキテクチャで比較し、1つのドキュメントを9つのイントラクタの固定セットに移動させることで比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context models often use answer-bearing evidence less effectively when it appears away from a prompt boundary. We compare this position bias across Transformer, state-space, and hybrid Mamba architectures by moving one gold document through a fixed set of nine distractors. The evaluated Transformers show a beginning advantage that the evaluated state-space models lack, while both families favor evidence near the end. A matched pure-versus-hybrid Mamba comparison points in the same direction but remains statistically uncertain. The family difference appears among models that can answer the task. Transformer primacy reappears on synthetic retrieval, where state-space ceiling prevents a family comparison. A corpus swap within one state-space architecture changes overall accuracy without a detectable change in curve shape. Prompt changes can create or nearly remove a beginning advantage. Position remains decodable across architectures even when response curves differ, and attention concentration near initial tokens covaries with beginning sensitivity in the tested Transformer family. These exploratory results show that effective context use depends on the evaluated architecture family, capability, task, and prompt, without isolating the sequence mixer as the sole cause.
• Abstract（参考訳）: 長文モデルは、迅速な境界から離れて現れる場合、答えを持つ証拠を効果的に使用しないことが多い。 我々は、この位置バイアスをトランスフォーマー、ステートスペース、ハイブリッドのMambaアーキテクチャで比較し、1つのゴールドドキュメントを9つのイントラクタの固定セットに移動させることで比較する。 評価されたトランスフォーマーは、評価された状態空間モデルに欠けているという最初の利点を示している。 一致した純粋な逆ハイブリッド・マンバ比較は、同じ方向に向けられているが、統計的には不確かである。 家族の違いは、そのタスクに答えられるモデルの間に現れます。 トランスフォーマープライマリーは、状態空間の天井が家族比較を妨げる合成検索に再び現れる。 1つの状態空間アーキテクチャ内のコーパススワップは、曲線形状が検出可能な変化を伴わずに全体的な精度を変化させる。 急激な変更は始まりの利点を生んだり、ほとんど取り除いたりできる。 応答曲線が異なっても、建築全体の位置はデオード可能であり、試験されたトランスフォーマーファミリーの開始感度で初期トークンコヴァリ付近の注意集中度が保たれる。 これらの探索的な結果から、効果的なコンテキスト利用は、唯一の原因としてシーケンスミキサーを分離することなく、評価されたアーキテクチャファミリ、能力、タスク、プロンプトに依存することが示された。

関連論文リスト

• MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs [75.68851107229308]
  マルチモーダル大言語モデル(MLLM)において、身近な画像間のきめ細かい相違の局所化と記述は、重要で未探索の能力である。 各サンプルは、対象カテゴリ、属性、カウント、空間的位置の1つの原子的変化によって異なる画像対から構成される。
  論文  参考訳（メタデータ） (2026-09-20T03:48:09Z)
• What Does Layer-Importance Reveal About Transformers and State-Space Models? [27.103840607246685]
  層の重要性を2つの異なる概念に分解する。 評価された残留変圧器は最大14ドルBのパラメータで、必要度と塑性は深さに反するが、評価されたマンバスタイルのSSMでは重なり合う領域を指している。 評価された変圧器では、最もプラスチック層が集中した更新は破滅的な忘れを増すが、この層依存効果は、評価されたマンバ型SSMでは消失する。
  論文  参考訳（メタデータ） (2026-09-15T02:34:13Z)
• $\mathcal{B}^{3}$-Net: Controlled Posterior Bridge Learning for Multi-Task Dense Prediction [5.2403331899624455]
  マルチタスク密度予測は、統一モデルにおいて相補的なピクセルレベルのタスクを解く。 既存のデコーダ側のインタラクションでは、アテンション、プロンプト、ルーティング、拡散、Mamba、ブリッジ機能を使ってタスクエビデンスを交換する。 マルチタスク密度予測のための後部ブリッジ学習フレームワークであるmathcalB3$-Netを提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:11:12Z)
• Stability and Generalization in Looped Transformers [0.0]
  本稿では,3軸の安定性に沿ってループ型アーキテクチャを解析するための固定点ベースフレームワークを提案する。 我々は、リコールのないループネットワークが可算な固定点を持ち、強い入力依存性を達成できないことを示す。 我々は,チェス,スドク,プレフィックスサムに対して単一層ループ変換器を訓練し,下流のパフォーマンスがフレームワークの予測を追跡することを確認した。
  論文  参考訳（メタデータ） (2026-04-16T17:35:49Z)
• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• When Sensing Varies with Contexts: Context-as-Transform for Tactile Few-Shot Class-Incremental Learning [74.84708088848693]
  上記の問題に対処するために、Context-as-Transform FSCIL (CaT-FSCIL)を提案する。 取得コンテキストを構造化された低次元成分と高次元残留成分に分解する。 HapTex と LMT108 のベンチマークに関する総合的な実験は、提案した CaT-FSCIL の優位性を実証している。
  論文  参考訳（メタデータ） (2026-03-26T07:42:09Z)
• The Bayesian Geometry of Transformer Attention [0.4779196219827507]
  我々は,真の後部が閉じた形で認識され,記憶化が不可能な制御環境を構築する。 小さな変圧器はmbox$10-3$--10-4$ビットの精度でベイズの後部を再現するが、容量整合幾何は桁違いに失敗する。
  論文  参考訳（メタデータ） (2025-12-27T05:28:58Z)
• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• Pathologies in priors and inference for Bayesian transformers [71.97183475225215]
  ベイズ推定を用いた予測不確実性の観点からトランスフォーマーモデルを改善する試みは成功していない。 変換器の重み空間推定は, 近似後部に関係なくうまく動作しないことがわかった。 本稿では,ディリクレ分布の暗黙的再パラメータ化に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-08T10:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。