論文の概要: CoDA: Towards Effective Cross-domain Knowledge Transfer via CoT-guided Domain Adaptation
- arxiv url: http://arxiv.org/abs/2604.19488v1
- Date: Tue, 21 Apr 2026 14:10:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.801752
- Title: CoDA: Towards Effective Cross-domain Knowledge Transfer via CoT-guided Domain Adaptation
- Title(参考訳): CoDA:CoT誘導ドメイン適応による効果的なクロスドメイン知識伝達を目指して
- Authors: Jianzhi Yan, Le Liu, Buzhou Tang, Yang Xiang, Dongning Sun, Zhiming Li,
- Abstract要約: 大規模言語モデル(LLM)は論理的推論において大きな進歩を遂げているが、人間レベルの性能には遅れが続いている。
コンテキスト内学習(In-context learning)は、専門家がキュレートしたドメイン内見習いによる入力を促すことによって、モデルのパフォーマンスを高める実行可能なソリューションを提供する。
中間隠蔽状態に直接干渉する軽量なアダプタを用いたCoDAを提案する。
- 参考スコア(独自算出の注目度): 19.983703249735576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have achieved substantial advances in logical reasoning, yet they continue to lag behind human-level performance. In-context learning provides a viable solution that boosts the model's performance via prompting its input with expert-curated, in-domain exemplars. However, in many real-world, expertise-scarce domains, such as low-resource scientific disciplines, emerging biomedical subfields, or niche legal jurisdictions, such high-quality in-domain demonstrations are inherently limited or entirely unavailable, thereby constraining the general applicability of these approaches. To mitigate this limitation, recent efforts have explored the retrieval of cross-domain samples as surrogate in-context demonstrations. Nevertheless, the resulting gains remain modest. This is largely attributable to the pronounced domain shift between source and target distributions, which impedes the model's ability to effectively identify and exploit underlying shared structures or latent reasoning patterns. Consequently, when relying solely on raw textual prompting, LLMs struggle to abstract and transfer such cross-domain knowledge in a robust and systematic manner. To address these issues, we propose CoDA, which employs a lightweight adapter to directly intervene in the intermediate hidden states. By combining feature-based distillation of CoT-enriched reference representations with Maximum Mean Discrepancy (MMD) for kernelized distribution matching, our method aligns the latent reasoning representation of the source and target domains. Extensive experimental results on multiple logical reasoning tasks across various model families validate the efficacy of CoDA by significantly outperforming the previous state-of-the-art baselines by a large margin.
- Abstract(参考訳): 大規模言語モデル(LLM)は論理的推論において大きな進歩を遂げているが、人間レベルの性能には遅れが続いている。
コンテキスト内学習(In-context learning)は、専門家がキュレートしたドメイン内見習いによる入力を促すことによって、モデルのパフォーマンスを高める実行可能なソリューションを提供する。
しかし、低リソースの科学分野、新しい生物医学のサブフィールド、ニッチな法的管轄権など、多くの現実世界において、そのような高品質なドメイン内のデモンストレーションは本質的に制限されているか、完全には利用できないため、これらのアプローチの一般的な適用性を制限している。
この制限を緩和するために、近年の取り組みでは、コンテキスト内の実演を代理するクロスドメインサンプルの検索が検討されている。
それにもかかわらず、結果として得られる利益は控えめなままである。
これは、ソースとターゲットの分布の明確なドメインシフトに起因するものであり、モデルが基盤となる共有構造や潜在的推論パターンを効果的に識別し活用する能力を阻害する。
したがって、生のテキストプロンプトのみに頼る場合、LLMはそのようなドメイン間知識を堅牢で体系的な方法で抽象化し、伝達するのに苦労する。
これらの問題に対処するために,中間隠蔽状態に直接干渉する軽量なアダプタを用いたCoDAを提案する。
提案手法は,CoTに富んだ参照表現の特徴に基づく蒸留と最大平均離散性(MMD)を組み合わせることにより,ソース領域とターゲット領域の潜在的推論表現を整合させる。
各種モデルファミリーにおける複数の論理的推論タスクの広範な実験結果から,従来の最先端のベースラインを大きなマージンで大幅に上回ることで,CoDAの有効性が検証された。
関連論文リスト
- DmC: Nearest Neighbor Guidance Diffusion Model for Offline Cross-domain Reinforcement Learning [11.290019540058625]
クロスドメインオフライン強化学習(RL)は、追加のオフラインソースデータセットを利用することで、サンプル効率の向上を目指している。
DmCは、限られたターゲットサンプルを持つクロスドメインオフラインRLのための新しいフレームワークである。
論文 参考訳(メタデータ) (2025-07-28T03:34:15Z) - Overcoming Negative Transfer by Online Selection: Distant Domain Adaptation for Fault Diagnosis [42.85741244467877]
遠距離領域適応問題」という用語は、ラベル付きソースドメインからラベル付き未ラベルのターゲットドメインへの適応の難しさを記述している。
この問題は、ソースドメインからの外部知識がターゲットドメインのパフォーマンスに悪影響を及ぼす、負の転送のリスクを示す。
この課題に対応するために、我々は、新しいオンライン選択適応(OSAA)アプローチを提案する。
論文 参考訳(メタデータ) (2024-05-25T07:17:47Z) - LE-UDA: Label-efficient unsupervised domain adaptation for medical image
segmentation [24.655779957716558]
ラベル有効非教師付きドメイン適応(LE-UDA)と呼ばれる新規で汎用的なフレームワークを提案する。
LE-UDAでは、両ドメイン間の知識伝達のための自己認識一貫性と、UDAの機能アライメントを向上するために自己認識学習モジュールを構築している。
実験結果から,提案するLE-UDAは,限られたソースラベルを有効活用し,ドメイン間セグメンテーション性能を向上し,文献における最先端のUDAアプローチより優れていることが示された。
論文 参考訳(メタデータ) (2022-12-05T07:47:35Z) - Balancing Discriminability and Transferability for Source-Free Domain
Adaptation [55.143687986324935]
従来のドメイン適応(DA)技術は、ドメイン不変表現を学習することでドメイン転送性を改善することを目的としている。
ラベル付けされたソースとラベル付けされていないターゲットへの同時アクセス要件は、ソースフリーなDA設定に適さない。
そこで本研究では,原文と翻訳サンプルの混在が識別可能性と伝達可能性のトレードオフを促進することを示す新しい知見を導出する。
論文 参考訳(メタデータ) (2022-06-16T09:06:22Z) - Decompose to Adapt: Cross-domain Object Detection via Feature
Disentanglement [79.2994130944482]
本研究では,DDF(Domain Disentanglement Faster-RCNN)を設計し,タスク学習のための特徴のソース固有情報を排除した。
DDF法は,グローバルトリプルト・ディアンタングルメント(GTD)モジュールとインスタンス類似性・ディアンタングルメント(ISD)モジュールを用いて,グローバルおよびローカルステージでの機能ディアンタングルを容易にする。
提案手法は,4つのUDAオブジェクト検出タスクにおいて最先端の手法より優れており,広い適用性で有効であることが実証された。
論文 参考訳(メタデータ) (2022-01-06T05:43:01Z) - Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring
Network [58.05473757538834]
本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。
3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
論文 参考訳(メタデータ) (2021-07-27T14:47:24Z) - Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。
具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。
本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
論文 参考訳(メタデータ) (2020-10-23T06:29:09Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳(メタデータ) (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。