在CIKM 2021上提出的DT-GCN（Data Type-aware Graph Convolutional Network）模型，是一種創新的知識圖譜表示學習方法，其核心在于將實體與關系映射到雙曲空間（具體為龐加萊球模型）中，并顯式地建模和處理知識圖譜中不同數據類型（如數值型、分類型、文本型等）對關系表示的影響。數據處理作為模型訓練與評估的先決條件，其質量與流程設計直接關系到模型的最終性能。本文將詳細闡述DT-GCN模型所需的數據處理流程。\n\n### 1. 數據來源與原始結構\n數據處理始于原始知識圖譜數據。通常，一個知識圖譜可以形式化為一個三元組集合 \\( \\mathcal{G} = \\{ (h, r, t) \\} \\)，其中 \\( h \\) 是頭實體，\\( r \\) 是關系，\\( t \\) 是尾實體。除了三元組結構外，DT-GCN的關鍵輸入是附著在實體和/或關系上的屬性數據。這些屬性具有不同的數據類型（Data Type），例如：\n- 數值型：如人物的年齡、公司的市值（連續或離散數值）。\n- 分類型：如人物的國籍、公司的行業類別（離散標簽）。\n- 文本型：如實體的描述文本、關系的中文釋義。\n原始數據可能來源于結構化知識庫（如Wikidata、YAGO）、領域特定數據庫或通過信息抽取技術從非結構化文本中構建。\n\n### 2. 核心數據處理步驟\nDT-GCN的數據處理旨在為模型準備兩類輸入：圖結構數據和屬性特征數據。\n\n步驟一：圖結構數據預處理\n1. 三元組劃分：將整個知識圖譜的三元組集合 \\( \\mathcal{G} \\) 劃分為訓練集、驗證集和測試集。通常采用隨機劃分或按時間劃分（適用于時序圖譜），并需確保實體和關系在分割后不會完全消失在訓練集中（即考慮連通性）。\n2. 負采樣生成：為訓練過程中的對比學習或負采樣損失函數準備負例。對于每個訓練正例 \\( (h, r, t) \\)，通過隨機替換頭實體或尾實體（有時也替換關系）來生成負例 \\( (h', r, t) \\) 或 \\( (h, r, t') \\)，確保生成的三元組不在已知的正例集合中。\n3. 圖構建：基于訓練集三元組，構建實體之間的關系鄰接矩陣或鄰居列表，用于后續圖卷積操作。DT-GCN可能考慮多跳鄰居信息。\n\n步驟二：屬性特征提取與類型化編碼\n這是DT-GCN區別于傳統模型的關鍵步驟，旨在將不同數據類型的屬性轉化為統一的特征向量，同時保留其類型信息。\n1. 數據清洗與對齊：\n - 處理缺失值：對于缺失的屬性，可以采用特定值填充（如數值型用均值，分類型用特殊標簽“UNK”），或直接將其特征設為零向量。\n - 實體/關系ID與屬性對齊：確保每個實體ID和關系ID都能關聯到其對應的屬性字典或記錄。\n2. 分類型屬性編碼：\n - 使用獨熱編碼（One-hot Encoding）或可學習的嵌入層（Embedding Layer）將每個分類標簽映射為一個稠密向量。\n - 對于具有層次結構的分類屬性（如“地理位置：中國>北京>海淀區”），可以考慮編碼其層次信息。\n3. 數值型屬性編碼：\n - 標準化/歸一化：將連續值縮放到固定范圍（如[0, 1]）或進行標準化（均值為0，方差為1），以加速模型收斂。\n - 離散化（可選）：有時將連續值分桶處理為離散類別，再按分類型屬性處理。\n - 直接映射：通過一個可學習的線性或非線性層（如MLP）將標量數值映射為稠密向量。\n4. 文本型屬性編碼：\n - 使用預訓練的語言模型（如BERT、RoBERTa的CLS token向量）或靜態詞向量模型（如Word2Vec、GloVe）獲取文本的句嵌入或詞嵌入池化后的向量表示。\n5. 特征融合與類型標識：\n - 對于一個實體或關系，可能擁有多種類型、多個屬性的特征。需要將這些特征向量進行融合，常見方法包括拼接（Concatenation）、加和（Summation）或注意力機制加權融合。\n - 關鍵步驟：為每個屬性特征向量附加一個數據類型標識符。DT-GCN模型中設計了一個類型感知的轉換模塊，該標識符用于指導模型對不同來源和類型的特征進行差異化的變換和處理。這可以通過為不同類型分配不同的可學習變換矩陣來實現。\n\n步驟三：輸入數據組裝\n為模型組裝的每批訓練數據包含：\n- 一批正例三元組：形狀為 \\( (batch\_size, 3) \\) 的張量，包含頭實體ID、關系ID、尾實體ID。\n- 對應的屬性特征：根據實體ID和關系ID索引得到的，已經過類型化編碼和融合后的特征矩陣。\n- 對應的負例三元組（用于訓練時計算損失）。\n\n### 3. 注意事項與挑戰\n- 異構性處理：知識圖譜中不同實體類型的屬性 schema 差異巨大，需要靈活的數據管道支持。\n- 特征維度統一：不同類型屬性編碼后的向量維度可能不同，需要在融合前通過投影層統一維度，或在模型設計時處理。\n- 計算效率：文本編碼（特別是使用大型LM）可能成為計算瓶頸，可以考慮離線編碼或緩存策略。\n- 數據泄露：在劃分數據集和進行特征編碼（如標準化計算均值方差）時，必須嚴格使用訓練集數據來計算統計量，避免信息從驗證集/測試集泄露到訓練過程。\n\n### 結論\nDT-GCN模型的數據處理流程是一個將異構、多類型的知識圖譜原始數據轉化為結構化、類型標識明確的數值化輸入的系統工程。它不僅僅是為模型準備“燃料”，其本身也深刻體現了模型“數據類型感知”的核心思想。精心設計的數據處理流程，能夠最大限度地保留原始數據中的語義和類型信息，為后續在雙曲空間中進行高效、準確的表示學習奠定堅實的基礎。