論文の概要: FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance

• arxiv url: http://arxiv.org/abs/2602.02060v1
• Date: Mon, 02 Feb 2026 13:00:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.156015
• Title: FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance
• Title（参考訳）: FiLoRA: 制御可能な機能信頼性のためのフォーカス・アンド・アイグノアLoRA
• Authors: Hyunsuk Chung, Caren Han, Yerin Choi, Seungyeon Ji, Jinwoo Kim, Eun-Jung Holden, Kyungreem Han,
• Abstract要約: 内部機能依存の明示的な制御を可能にする適応フレームワークFiLoRAを紹介する。 テキスト画像と音声画像のベンチマークにおいて、FiLoRAは内部計算において一貫した因果シフトを誘導することを示す。 さらなる分析により、FiLoRAは突発的特徴介入下で堅牢性を向上させることが示されている。
• 参考スコア（独自算出の注目度）: 9.773453946550003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal foundation models integrate heterogeneous signals across modalities, yet it remains poorly understood how their predictions depend on specific internal feature groups and whether such reliance can be deliberately controlled. Existing studies of shortcut and spurious behavior largely rely on post hoc analyses or feature removal, offering limited insight into whether reliance can be modulated without altering task semantics. We introduce FiLoRA (Focus-and-Ignore LoRA), an instruction-conditioned, parameter-efficient adaptation framework that enables explicit control over internal feature reliance while keeping the predictive objective fixed. FiLoRA decomposes adaptation into feature group-aligned LoRA modules and applies instruction-conditioned gating, allowing natural language instructions to act as computation-level control signals rather than task redefinitions. Across text--image and audio--visual benchmarks, we show that instruction-conditioned gating induces consistent and causal shifts in internal computation, selectively amplifying or suppressing core and spurious feature groups without modifying the label space or training objective. Further analyses demonstrate that FiLoRA yields improved robustness under spurious feature interventions, revealing a principled mechanism to regulate reliance beyond correlation-driven learning.
• Abstract（参考訳）: マルチモーダル基礎モデルは、モダリティにまたがる異種信号を統合するが、それらの予測が特定の内部特徴群にどのように依存するか、そしてそのような依存を意図的に制御できるかは、いまだに理解されていない。 既存のショートカットと急激な振る舞いの研究は、主にポストホック分析や特徴除去に依存しており、タスクの意味論を変えることなく、依存を調節できるかどうかについての限られた洞察を与えている。 本稿では,Focus-and-Ignore LoRA(Focus-and-Ignore LoRA)について紹介する。 FiLoRAは機能グループ対応のLoRAモジュールに適応を分解し、命令条件のゲーティングを適用し、自然言語命令をタスクの再定義ではなく計算レベルの制御信号として機能させる。 テキスト画像と音声画像のベンチマークにおいて、命令条件付きゲーティングは内部計算において一貫した因果シフトを誘導し、ラベル空間や訓練目的を変更することなく、コアおよびスパイラルな特徴群を選択的に増幅または抑制することを示した。 さらなる分析により、FiLoRAは、素早い特徴介入の下で堅牢性を向上し、相関駆動学習を超えた信頼を規制する原則的なメカニズムを明らかにした。

関連論文リスト

• BLOCK-EM: Preventing Emergent Misalignment by Blocking Causal Features [6.495737609776765]
  言語モデルが狭い範囲の教師対象に対して微調整されたときに、創発的なミスアライメントが発生する可能性がある。 本研究では,不整合動作を確実に制御する内部特徴の小さなセットを同定することにより,突発的不整合を防止するための機械的アプローチについて検討する。
  論文  参考訳（メタデータ） (2026-01-31T15:11:05Z)
• COMPASS: Context-Modulated PID Attention Steering System for Hallucination Mitigation [2.1521364454860525]
  モデルベースのフィードバックループをデコードに直接埋め込む軽量で解釈可能な制御フレームワークを導入する。 本研究では,PIDコントローラが動的にアテンションヘッドを変調して,リトレーニングやマルチパス復号を行うことなく,現実の一貫性を維持することを示す。
  論文  参考訳（メタデータ） (2025-11-05T05:30:28Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• From "Aha Moments" to Controllable Thinking: Toward Meta-Cognitive Reasoning in Large Reasoning Models via Decoupled Reasoning and Control [11.321315058502215]
  大規模推論モデル(LRM)は、ステップバイステップの推論、リフレクション、バックトラッキングなどの認知行動を自発的に示すことで、複雑な推論の潜在能力を示した。 しかし、そのような創発的行動は規制されず、制御されていないままであり、しばしば過度に考え直され、モデルが信頼できる結論に達した後も冗長な推論内容を生成し続ける。 現在のモデルは、いつ継続するか、バックトラックするか、終了するかを決定するために、彼らの推論プロセスを監視し、適応的に管理できない。 我々はメタ認知推論フレームワーク(MERA)を提案する。
  論文  参考訳（メタデータ） (2025-08-06T13:59:17Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。