論文の概要: Asymmetric Within-Document Predictive Learning for Scientific Document Representation

• arxiv url: http://arxiv.org/abs/2608.28625v1
• Date: Fri, 31 Jul 2026 09:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-06 19:38:41.446658
• Title: Asymmetric Within-Document Predictive Learning for Scientific Document Representation
• Title（参考訳）: 科学的文書表現のための非対称な文書内予測学習
• Abstract要約: 論文の談話構造を用いた科学的文書表現のための予測事前学習について検討する。 非対称な文書内予測を通じて学習する引用自由フレームワークであるSciJEPAを提案する。
• 参考スコア（独自算出の注目度）: 16.276576840098247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study predictive pretraining for scientific document representation using the discourse structure of papers. We propose SciJEPA, a citation-free framework that learns through asymmetric within-document prediction: title and abstract representations are used to predict method representations, and method representations are used to predict conclusion representations. Experiments on RELISH, high-influence citation, SciDocs, and cite prediction show that plain predictive training is viable but weaker than a controlled contrastive baseline using the same section pairs. Adding Sliced Isotropic Gaussian Regularization (SIGReg) substantially improves performance and narrows this gap. The effect of regularization is task-dependent: moderate SIGReg helps fine-grained ranking, while stronger regularization can weaken local alignment. We further show that different encoding branches support different retrieval regimes. These results position within-document predictive learning as a promising citation-free complement for scientific document representation, provided that embedding geometry is carefully controlled.
• Abstract（参考訳）: 論文の談話構造を用いた科学的文書表現のための予測事前学習について検討する。 本研究では,非対称な文書内予測から学習する引用自由フレームワークであるSciJEPAを提案する。タイトルと抽象表現はメソッド表現の予測に,メソッド表現は結論表現の予測に使用される。 RELISH, High-influence citation, SciDocs, cite predicts の実験では, 平易な予測訓練は, 同じセクションペアを用いた対照的ベースラインよりも有効だが弱いことが示されている。 Sliced Isotropic Gaussian Regularization (SIGReg)の追加は、パフォーマンスを大幅に改善し、このギャップを狭める。 正則化の効果はタスク依存であり、中程度のSIGRegは微粒なランク付けを助け、強い正則化は局所的なアライメントを弱める。 さらに、異なるエンコーディングブランチが異なる検索レジームをサポートすることを示す。 これらの結果は,埋め込み幾何学が慎重に制御されていることを前提として,文書内予測学習を科学的文書表現の有望な引用自由補完として位置づける。

関連論文リスト

• Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
  汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。 本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T13:19:25Z)
• Reward-Guided Semantic Evolution for Test-time Adaptive Object Detection [82.2968697030677]
  Grounding DINOのような視覚言語モデル(VLM)を用いたオープン語彙オブジェクト検出は、テスト時間分布シフト時の性能劣化に悩まされる。 Reward-Guided Semantic Evolution (RGSE) は、テスト時にテキストの埋め込みを直接洗練するトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-06T06:17:41Z)
• Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy [51.887915969023965]
  現代のLarge Language Models (LLMs) がアライメントされ、測定可能な分布インプリントが残されていることを示す。 高エントロピー領域における不安定性を軽減するため、ログライクなアライメント・アライメント・プレフレパシー(LAPD)を導入する。 LAPDはアライメントインプリントに基づく標準化された情報重み統計である。
  論文  参考訳（メタデータ） (2026-04-18T09:12:24Z)
• Public Profile Matters: A Scalable Integrated Approach to Recommend Citations in the Wild [5.273138059454523]
  Profilerは軽量で学習不能なモジュールで、人間の引用パターンを効率よく、バイアスなくキャプチャする。 DAVINCIは,プロファイラ由来の信頼度を意味情報と統合する新しい階調モデルである。
  論文  参考訳（メタデータ） (2026-03-18T04:52:42Z)
• CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
  大規模言語モデル (LLM) は新たなリスクを導入している。 本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。 我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-26T19:17:39Z)
• Density, asymmetry and citation dynamics in scientific literature [0.0]
  本稿では,出版物のセマンティック・エリアの局所的幾何学を特徴付けるための2つの相補的指標を提案する。 これら2つの指標とその後の引用率の予測関係を検証した。 引用数に対する$rhoの個々の効果は小さく、可変であるが、密度ベースの予測器を組み込むことで、常にサンプル外予測を改善している。
  論文  参考訳（メタデータ） (2025-06-29T18:55:04Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Learning Neural Textual Representations for Citation Recommendation [7.227232362460348]
  サブモジュラースコアリング機能において,シームズとトリプルトネットワークを併用した文書(センテンス-BERT)の深部表現を用いた引用推薦手法を提案する。 我々の知る限りでは、これは引用推薦のタスクに対して、ディープ表現とサブモジュラー選択を組み合わせるための最初のアプローチである。
  論文  参考訳（メタデータ） (2020-07-08T12:38:50Z)
• Discourse-Aware Unsupervised Summarization of Long Scientific Documents [13.405733237855404]
  長い学術文書の抽出要約のための教師なしグラフに基づくランキングモデルを提案する。 提案手法は,情報源文書の2段階階層グラフ表現を仮定し,非対称な位置推定手法を用いて文の重要度を決定する。 PubMed と arXiv のデータセットの結果から,我々の手法は,自動測定と人的評価において,幅広いマージンで強い教師なしベースラインを上回ります。
  論文  参考訳（メタデータ） (2020-05-01T17:31:11Z)
• Multilingual Alignment of Contextual Word Representations [49.42244463346612]
  BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。 単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。 これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
  論文  参考訳（メタデータ） (2020-02-10T03:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。