論文の概要: Where to Place the Query? Unveiling and Mitigating Positional Bias in In-Context Learning for Diffusion LLMs via Decoding Dynamics

• arxiv url: http://arxiv.org/abs/2606.19349v1
• Date: Sun, 26 Apr 2026 20:22:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.893076
• Title: Where to Place the Query? Unveiling and Mitigating Positional Bias in In-Context Learning for Diffusion LLMs via Decoding Dynamics
• Title（参考訳）: クエリをどこに配置するか?デコードダイナミクスを用いた拡散LDMの文脈学習における位置バイアスの展開と緩和
• Abstract要約: 本稿では,クエリ位置が実際にdLLMの1次変数であることを示す包括的解析について述べる。 本稿では,反復復号プロセスを追跡する新しいメトリクスである平均信頼度(overlineC$)を提案する。 基礎となる空間的ICLベースラインを確立することにより、トレーニング不要な適応ルーティング戦略であるAuto-ICLを導入する。
• 参考スコア（独自算出の注目度）: 5.345984783628041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While In-Context Learning (ICL) is extensively studied in Autoregressive (AR) LLMs, its mechanism within Diffusion Large Language Models (dLLMs) remains largely unexplored. Unlike AR models restricted by unidirectional causal masking, dLLMs intrinsically utilize bidirectional attention, offering extensive spatial flexibility for query placement. Unfortunately, current practices conventionally inherit AR-style trailing-query templates, often overlooking the structural paradigm shift. This paper presents a comprehensive analysis unveiling that query position is actually a first-order variable in dLLMs. Through empirical decoupling, we demonstrate that positional variance impacts generation quality on par with example semantic quality. Internally, this positional sensitivity stems from a spatial ``Recency Effect'' in attention flow and task-dependent shifts in decoding trajectories. To mitigate this instability without ground-truth labels, we reveal that traditional single-step confidence ($C_{decoded}$) fails in dLLMs. Instead, we propose Average Confidence ($\overline{C}$), a novel metric tracking the iterative decoding process. By establishing the foundational spatial ICL baselines, we introduce Auto-ICL, a training-free adaptive routing strategy that dynamically optimizes query placement, robustly approaching oracle performance across heterogeneous reasoning and perception tasks.
• Abstract（参考訳）: In-Context Learning (ICL) は Autoregressive (AR) LLM で広く研究されているが、Diffusion Large Language Models (dLLMs) におけるそのメカニズムはほとんど解明されていない。 一方向因果マスキングに制限されたARモデルとは異なり、dLLMは本質的に双方向の注意を生かし、クエリの配置に広い空間的柔軟性を提供する。 残念なことに、現在のプラクティスは、通常、構造パラダイムシフトを見越して、ARスタイルのトレースクエリテンプレートを継承している。 本稿では,クエリ位置が実際にdLLMの1次変数であることを示す包括的解析について述べる。 経験的デカップリングにより、位置分散が生成品質に影響を及ぼすことを示す。 内部的には、この位置感受性は、注意の流れにおける空間的な「「相対効果」と、復号軌道におけるタスク依存シフトに由来する。 この不安定性を軽減するために,従来のシングルステップ信頼度(C_{decoded}$)がdLLMで失敗することを明らかにする。 代わりに、反復復号プロセスを追跡する新しいメトリクスである平均信頼($\overline{C}$)を提案する。 基礎的な空間的ICLベースラインを確立することにより、不均一な推論および知覚タスクをまたいだオラクル性能に頑健にアプローチし、クエリ配置を動的に最適化する訓練不要適応ルーティング戦略であるAuto-ICLを導入する。

関連論文リスト

• Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders [54.06522068041745]
  VLM(Vision-Language Models)は、拡散に基づく画像編集の条件付バックボーンとしてますます利用されている。 スタンドアロンのVLMは強力なローカライゼーション機能を示しているが、パイプラインの編集はこの精度を維持するのに苦労することが多い。 本研究では,VLMを条件エンコーダとして扱うことに起因することを仮説として,この性能ギャップについて検討する。
  論文  参考訳（メタデータ） (2026-07-07T16:11:13Z)
• Closed-Loop LLM Discovery of Non-Standard Channel Priors in Vision Models [48.83701310501069]
  大規模言語モデル(LLM)はニューラルアーキテクチャサーチ(NAS)に対する変換的アプローチを提供する 我々は、LLMが性能テレメトリに基づいてアーキテクチャ仕様を洗練する条件付きコード生成タスクのシーケンスとして検索を定式化する。 AST(Abstract Syntax Tree)変異を用いて,有効かつ整合性のあるアーキテクチャの膨大なコーパスを生成する。 CIFAR-100の実験結果は、この手法の有効性を検証し、精度の統計的に有意な改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2026-01-13T13:00:30Z)
• Grounded Test-Time Adaptation for LLM Agents [75.62784644919803]
  大規模言語モデル(LLM)ベースのエージェントは、新規で複雑な環境への一般化に苦慮している。 環境特化情報を活用することで, LLMエージェントを適応するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-06T22:24:35Z)
• RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging [33.22889542330089]
  大規模言語モデル(LLM)の内部表現は、学習知識の信頼できるプロキシとして機能する。 本稿では,過去データにアクセスせずに連続的な学習を行うための表現認識モデル統合フレームワークRECALLを提案する。
  論文  参考訳（メタデータ） (2025-10-23T12:17:37Z)
• DAMR: Efficient and Adaptive Context-Aware Knowledge Graph Question Answering with LLM-Guided MCTS [28.828541350757714]
  本稿では,知識グラフ質問応答(KGQA)のための動的適応MCTSベースの推論(DAMR)を提案する。 DAMRは、MCTS(Monte Carlo Tree Search)と適応経路評価を統合し、コンテキスト対応のKGQAを実現する。 複数のKGQAベンチマークの実験では、DAMRはSOTA法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-08-01T15:38:21Z)
• LF-Steering: Latent Feature Activation Steering for Enhancing Semantic Consistency in Large Language Models [16.37602070339033]
  LLM(Large Language Models)は、意味的に等価なパラフレーズ入力によって、しばしば一貫性のない応答を生成する。 セマンティック不整合の原因となる潜在特徴表現を正確に識別する新しいアクティベーションステアリング手法LF-ステアリングを提案する。 本手法は, 関連トランス層の隠蔽状態をスパースオートエンコーダに基づいて, 疎活性化された高次元特徴空間にマッピングする。
  論文  参考訳（メタデータ） (2025-01-19T13:06:51Z)
• Parallel Key-Value Cache Fusion for Position Invariant RAG [55.9809686190244]
  大規模言語モデル(LLM)は、コンテキスト内の関連する情報の位置に敏感である。 入力コンテキスト順序に関係なく,デコーダのみのモデルに対して一貫した出力を生成するフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-13T17:50:30Z)
• Intuitive or Dependent? Investigating LLMs' Behavior Style to Conflicting Prompts [9.399159332152013]
  本研究では,Large Language Models (LLM) の動作を,内部記憶と競合するプロンプトに直面する場合の挙動について検討する。 これにより、LLMの意思決定機構を理解し、検索強化生成(RAG)のような現実世界のアプリケーションにも役立つ。
  論文  参考訳（メタデータ） (2023-09-29T17:26:03Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。