論文の概要: AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge
- arxiv url: http://arxiv.org/abs/2409.07394v1
- Date: Wed, 11 Sep 2024 16:35:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 13:53:24.284514
- Title: AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge
- Title（参考訳）: AdaCAD: 文脈知識とパラメトリック知識の衝突のバランスをとるための適応デコーディング
- Authors: Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal,
- Abstract要約: 知識の衝突は、大きな言語モデル(LLM)の文脈における情報と、そのパラメータに格納された知識との相違から生じる。
コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。
- 参考スコア（独自算出の注目度）: 57.66282463340297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge conflict arises from discrepancies between information in the context of a large language model (LLM) and the knowledge stored in its parameters. This can hurt performance when using standard decoding techniques, which tend to ignore the context. Existing test-time contrastive methods seek to address this by comparing the LLM's output distribution with and without the context and adjust the model according to the contrast between them. However, we find that these methods frequently misjudge the degree of conflict and struggle to handle instances that vary in their amount of conflict, with static methods over-adjusting when conflict is absent. We propose a fine-grained, instance-level approach called AdaCAD, which dynamically infers the weight of adjustment based on the degree of conflict, as measured by the Jensen-Shannon divergence between distributions representing contextual and parametric knowledge. Our experiments across four models on six diverse question-answering (QA) datasets and three summarization tasks demonstrate that our training-free adaptive method consistently outperforms other decoding methods on QA, with average accuracy gains of 14.21% (absolute) over a static contrastive baseline, and improves the factuality of summaries by 5.59 (AlignScore). Furthermore, our analysis shows that while decoding with contrastive baselines hurts performance when conflict is absent, AdaCAD mitigates these losses, making it more applicable to real-world datasets in which some examples have conflict and others do not.
- Abstract（参考訳）: 知識の衝突は、大きな言語モデル(LLM)の文脈における情報と、そのパラメータに格納された知識との相違から生じる。
これは標準的なデコードテクニックを使用する場合のパフォーマンスを損なう可能性があるため、コンテキストを無視する傾向がある。
既存のテスト時間コントラスト法では、LLMの出力分布を文脈と無条件で比較し、それらのコントラストに応じてモデルを調整することで、この問題に対処しようとしている。
しかし、これらの手法は競合の程度を誤解し、競合の量が異なるインスタンスを扱うのに苦労することが多く、競合が欠如している場合には静的メソッドが過度に調整される。
本稿では,文脈的知識とパラメトリック知識を表わす分布のJensen-Shannon分散によって測定されるように,コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度のインスタンスレベルのアプローチを提案する。
我々は,6つの多様な質問応答(QA)データセットと3つの要約タスクに関する4つのモデルにおいて,トレーニング不要適応法が静的なコントラストベースラインに対して平均14.21%(絶対)の精度でQA上の他の復号法を一貫して上回り,要約の事実性を5.59倍(AlignScore)改善することを示した。
さらに,コンフリクトが欠如している場合,コントラストベースラインによる復号化はパフォーマンスを損なうが,AdaCADはこれらの損失を軽減し,いくつかの例が矛盾している実世界のデータセットに適用しやすくする。
関連論文リスト
- ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。
本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T07:41:17Z) - Unraveling Cross-Modality Knowledge Conflicts in Large Vision-Language Models [33.76903352835436]
LVLM(Large Vision-Language Models)は、マルチモーダル入力をキャプチャし、推論する能力を示す。
これらのモデルは、そのビジョンと言語コンポーネント間の表現された知識の不整合から生じるパラメトリックな知識の衝突を招きやすい。
我々は、それらを検出し、解釈し、緩和するための体系的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-10-04T17:59:28Z) - CONGRA: Benchmarking Automatic Conflict Resolution [3.9910625211670485]
ConGraは、ソフトウェアマージツールのパフォーマンスを評価するために設計されたベンチマークスキームである。
我々は34の現実世界プロジェクトから44,948のコンフリクトに基づいて大規模な評価データセットを構築した。
論文 参考訳（メタデータ） (2024-09-21T12:21:41Z) - Is Difficulty Calibration All We Need? Towards More Practical Membership Inference Attacks [16.064233621959538]
我々は,textbfRe-levertextbfA を直接 textbfRe-levertextbfA を用いて mtextbfItigate the error in textbfDifficulty calibration を提案する。
論文 参考訳（メタデータ） (2024-08-31T11:59:42Z) - Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-Entropy Constraint [20.543282448771336]
本稿では,知識が相反するかどうかを識別し,解決するための適応的復号法を提案する。
実験により、COIECDは現実的なデータセットにおける知識の衝突に対して強い性能と堅牢性を示すことが示された。
論文 参考訳（メタデータ） (2024-02-19T07:10:30Z) - On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳（メタデータ） (2023-12-21T11:55:10Z) - Detecting Semantic Conflicts using Static Analysis [1.201626478128059]
本稿では,2人の開発者によるコントリビューションをマージする際に,静的解析を用いて干渉を検出する手法を提案する。
統合シナリオから抽出した99個の実験単位のデータセットを用いて,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-10-06T14:13:16Z) - Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo
Matching [77.133400999703]
相関に基づくステレオマッチングは優れた性能を達成した。
固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。
本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
論文 参考訳（メタデータ） (2023-07-26T09:47:37Z) - Trusting Your Evidence: Hallucinate Less with Context-aware Decoding [91.91468712398385]
言語モデル(LM)は入力コンテキストに十分な注意を払うのに苦労し、不信または幻覚を含むテキストを生成する。
本稿では,文脈対応デコード(CAD)を提案する。このデコーディングは,モデルがコンテキストと無コンテキストで使用される場合の確率の差を増幅するコントラスト的な出力分布に従う。
論文 参考訳（メタデータ） (2023-05-24T05:19:15Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。