其它 - 时间点数据库
Published on
简介
在进行任何类型的历史市场分析时，时间点数据都是非常重要的。假设我们使用过去5年的历史数据对一个交易策略进行回测，模型每天在市场收盘时交易一次，如果我们正在为2020年1月1日计算交易信号，则在这个时间点，我们应该只有这一天及之前的数据。
在金融数据（尤其是金融报表）中，同一数据可能随着时间被修改过多次。如果我们只使用最新版本的数据做历史回测，则会产生数据泄漏。时间点数据库用于解决此问题，以保证用户在任何历史时间点上都能得到正确版本的数据，这可以使在线交易与历史回测的性能保持相同。
数据准备
首先需要使用Qlib提供的爬虫下载金融数据，并使用转换脚本将其转换为Qlib格式。
基于文件设计的时间点数据
Qlib为时间点数据提供了一个基于文件的存储。
特征数据保存在文件XXXX.data中，其中每行是一个特征在一个时间点的记录，每行有以下4列：
- data：该行数据的发布日期
- period：特征的周期（在多数市场里为季度）
- 如果周期为年，则为对应的整数
- 如果周期为季度，则为形如
<year><index of quarter>的整数
- value：存储的数值
- _next：同一特征下一次出现的位置索引
该文件中的数据按照data字段升序排列。
除了特征数据外，还有一个索引文件XXXX.index，用于加快查询的速度。该文件中保存了每个特征第一次出现的索引，如果一个特征出现了多次，可以通过XXXX.data文件中的_next字段逐个访问。
# XXXX.data文件的数据格式
array([(20070428, 200701, 0.090219 , 4294967295),
(20070817, 200702, 0.13933 , 4294967295),
(20071023, 200703, 0.24586301, 4294967295),
(20080301, 200704, 0.3479 , 80),
(20080313, 200704, 0.395989 , 4294967295),
(20080422, 200801, 0.100724 , 4294967295),
(20080828, 200802, 0.24996801, 4294967295),
(20081027, 200803, 0.33412001, 4294967295),
(20090325, 200804, 0.39011699, 4294967295),
(20090421, 200901, 0.102675 , 4294967295),
(20090807, 200902, 0.230712 , 4294967295),
(20091024, 200903, 0.30072999, 4294967295),
(20100402, 200904, 0.33546099, 4294967295),
(20100426, 201001, 0.083825 , 4294967295),
(20100812, 201002, 0.200545 , 4294967295),
(20101029, 201003, 0.260986 , 4294967295),
(20110321, 201004, 0.30739301, 4294967295),
(20110423, 201101, 0.097411 , 4294967295),
(20110831, 201102, 0.24825101, 4294967295),
(20111018, 201103, 0.318919 , 4294967295),
(20120323, 201104, 0.4039 , 420),
(20120411, 201104, 0.403925 , 4294967295),
(20120426, 201201, 0.112148 , 4294967295),
(20120810, 201202, 0.26484701, 4294967295),
(20121026, 201203, 0.370487 , 4294967295),
(20130329, 201204, 0.45004699, 4294967295),
(20130418, 201301, 0.099958 , 4294967295),
(20130831, 201302, 0.21044201, 4294967295),
(20131016, 201303, 0.30454299, 4294967295),
(20140325, 201304, 0.394328 , 4294967295),
(20140425, 201401, 0.083217 , 4294967295),
(20140829, 201402, 0.16450299, 4294967295),
(20141030, 201403, 0.23408499, 4294967295),
(20150421, 201404, 0.319612 , 4294967295),
(20150421, 201501, 0.078494 , 4294967295),
(20150828, 201502, 0.137504 , 4294967295),
(20151023, 201503, 0.201709 , 4294967295),
(20160324, 201504, 0.26420501, 4294967295),
(20160421, 201601, 0.073664 , 4294967295),
(20160827, 201602, 0.136576 , 4294967295),
(20161029, 201603, 0.188062 , 4294967295),
(20170415, 201604, 0.244385 , 4294967295),
(20170425, 201701, 0.080614 , 4294967295),
(20170728, 201702, 0.15151 , 4294967295),
(20171026, 201703, 0.25416601, 4294967295),
(20180328, 201704, 0.32954201, 4294967295),
(20180428, 201801, 0.088887 , 4294967295),
(20180802, 201802, 0.170563 , 4294967295),
(20181029, 201803, 0.25522 , 4294967295),
(20190329, 201804, 0.34464401, 4294967295),
(20190425, 201901, 0.094737 , 4294967295),
(20190713, 201902, 0. , 1040),
(20190718, 201902, 0.175322 , 4294967295),
(20191016, 201903, 0.25581899, 4294967295)],
dtype=[('date', '<u4'), ('period', '<u4'), ('value', '<f8'), ('_next', '<u4')])
# - 每行长度为20字节
# XXXX.index文件的数据格式
array([ 0, 20, 40, 60, 100,
120, 140, 160, 180, 200,
220, 240, 260, 280, 300,
320, 340, 360, 380, 400,
440, 460, 480, 500, 520,
540, 560, 580, 600, 620,
640, 660, 680, 700, 720,
740, 760, 780, 800, 820,
840, 860, 880, 900, 920,
940, 960, 980, 1000, 1020,
1060, 4294967295], dtype=uint32)