論文の概要: Towards Effective In-context Cross-domain Knowledge Transfer via Domain-invariant-neurons-based Retrieval

• arxiv url: http://arxiv.org/abs/2604.05383v1
• Date: Tue, 07 Apr 2026 03:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.60528
• Title: Towards Effective In-context Cross-domain Knowledge Transfer via Domain-invariant-neurons-based Retrieval
• Title（参考訳）: ドメイン不変ニューロンによる効率的なドメイン間知識伝達に向けて
• Authors: Jianzhi Yan, Zhiming Li, Le Liu, Zike Yuan, Shiwei Chen, Youcheng Pan, Buzhou Tang, Yang Xiang, Danny Dongning Sun,
• Abstract要約: 大規模言語モデル(LLM)は論理的推論において顕著な進歩を遂げているが、それでも人間レベルの性能に欠けている。 ドメイン不変ニューロンを用いた検索法(textbfDIN-Retrieval)を提案する。 本手法は最先端手法よりも平均1.8の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 24.25232100266527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have made notable progress in logical reasoning, yet still fall short of human-level performance. Current boosting strategies rely on expert-crafted in-domain demonstrations, limiting their applicability in expertise-scarce domains, such as specialized mathematical reasoning, formal logic, or legal analysis. In this work, we demonstrate the feasibility of leveraging cross-domain demonstrating examples to boost the LLMs' reasoning performance. Despite substantial domain differences, many reusable implicit logical structures are shared across domains. In order to effectively retrieve cross-domain examples for unseen domains under investigation, in this work, we further propose an effective retrieval method, called domain-invariant neurons-based retrieval (\textbf{DIN-Retrieval}). Concisely, DIN-Retrieval first summarizes a hidden representation that is universal across different domains. Then, during the inference stage, we use the DIN vector to retrieve structurally compatible cross-domain demonstrations for the in-context learning. Experimental results in multiple settings for the transfer of mathematical and logical reasoning demonstrate that our method achieves an average improvement of 1.8 over the state-of-the-art methods \footnote{Our implementation is available at https://github.com/Leon221220/DIN-Retrieval}.
• Abstract（参考訳）: 大規模言語モデル(LLM)は論理的推論において顕著な進歩を遂げているが、それでも人間レベルの性能に欠けている。 現在の強化戦略は、専門的な数学的推論、形式論理、法的な分析などの専門分野に適用性を制限する、専門家が作成したドメイン内のデモンストレーションに依存している。 本研究では, LLMの推論性能を高めるために, クロスドメイン実例を活用する可能性を示す。 ドメイン間の大きな違いにもかかわらず、多くの再利用可能な暗黙的論理構造はドメイン間で共有される。 本研究では、未確認領域のクロスドメインを効果的に検索するために、ドメイン不変ニューロンに基づく検索(\textbf{DIN-Retrieval})と呼ばれる効果的な検索手法を提案する。 正確には、DIN-Retrievalはまず、異なる領域にわたって普遍的な隠された表現を要約する。 そして、推論段階では、DINベクターを用いて、コンテキスト内学習のための構造的に互換性のあるクロスドメインのデモを検索する。 数理的および論理的推論の伝達に関する実験結果から,我々の手法は最先端の手法よりも1.8の平均的な改善を達成していることが示された。

関連論文リスト

• Reason Analogically via Cross-domain Prior Knowledge: An Empirical Study of Cross-domain Knowledge Transfer for In-Context Learning [31.112042678524432]
  既存のコンテキスト内学習(ICL)はドメイン内の専門家によるデモンストレーションに依存しており、専門家のアノテーションが不足している場合に適用性を制限する。 提案手法では、異なるドメインが基本となる推論構造を共有し、ソースドメインのデモンストレーションがターゲットドメインの推論を改善することができる。 本研究は,クロスドメインICLにおける条件正の移動を示すものである。 さらに分析したところ、これらの利得は意味的な手がかりではなく、検索されたクロスドメインの例による推論構造修復に由来することが示唆された。
  論文  参考訳（メタデータ） (2026-04-07T03:48:08Z)
• Understanding the Cross-Domain Capabilities of Video-Based Few-Shot Action Recognition Models [3.072340427031969]
  Few-shot Action Recognition (FSAR) は、ビデオ中の新しいアクションをわずかに例を使って識別できるモデルを学ぶことを目的としている。 メタトレーニング中に見られるベースデータセットと評価に使用される新しいデータセットは、異なるドメインから得ることができると仮定すると、クロスドメインの少数ショット学習によってデータ収集とアノテーションコストが軽減される。 我々は、新しいクロスドメインタスクに対して、既存の最先端の単一ドメイン、転送ベース、およびクロスドメインFSARメソッドを体系的に評価する。
  論文  参考訳（メタデータ） (2024-06-03T07:48:18Z)
• Cross-Domain Policy Adaptation by Capturing Representation Mismatch [53.087413751430255]
  強化学習(RL)において、動的に異なる領域に移行できる効果的な政策を学ぶことが不可欠である。 本稿では、ソースドメインとターゲットドメインとの間に動的ミスマッチが存在する場合の動的適応設定について考察する。 対象領域でのみ表現学習を行い、ソース領域からの遷移における表現偏差を測定する。
  論文  参考訳（メタデータ） (2024-05-24T09:06:12Z)
• DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
  因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。 我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。 DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
  論文  参考訳（メタデータ） (2024-02-29T07:09:01Z)
• Domain Generalization via Causal Adjustment for Cross-Domain Sentiment Analysis [59.73582306457387]
  クロスドメイン感情分析における領域一般化の問題に焦点をあてる。 本稿では,ドメイン固有表現とドメイン不変表現をアンタングル化するバックドア調整に基づく因果モデルを提案する。 一連の実験は、我々のモデルの優れたパフォーマンスと堅牢性を示しています。
  論文  参考訳（メタデータ） (2024-02-22T13:26:56Z)
• Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning [48.22913073217633]
  大規模言語モデル(LLM)は、インコンテキスト学習(in-context learning)として知られる少数の推論でその能力を示した。 本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。 我々は、異なるLMアーキテクチャを考慮し、異なるプロンプトとトレーニング戦略を考案し、言語モデリングを通してターゲット分布を学習する。
  論文  参考訳（メタデータ） (2023-11-20T06:06:20Z)
• M2D2: A Massively Multi-domain Language Modeling Dataset [76.13062203588089]
  ドメイン適応(LM)を研究するための細粒度多ドメインコーパスM2D2を提案する。 ウィキペディアとArXivから派生したカテゴリを用いて、各データソース内のドメインを22のグループに分類する。 我々は、LMをドメイン階層に沿って適用することの利点を示し、より少量のドメイン固有のデータに適応することで、ドメイン内のパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2022-10-13T21:34:52Z)
• Cross-domain Imitation from Observations [50.669343548588294]
  模擬学習は、専門家の行動を利用して訓練エージェントに適切な報酬関数を設計することの難しさを回避しようとする。 本稿では,専門家とエージェントMDPの相違点が存在する場合に,タスクを模倣する方法の問題について検討する。 このようなドメイン間の対応を学習するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-20T21:08:25Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。