量化系统日志

发表于 更新于 分类于 阅读次数： 本文字数： 5.6k 阅读时长 ≈ 5 分钟

FQuant Issue

ISSUE

  • [ ] 市场的日常状态统计
  • [ ] 集合竞价情况统计分析
  • [ ] Future数据感觉从 tdx 服务器中取数存在问题，主要是vol 和 amount。
  • [ ] pandas 的逐步替代，BaseFunction开始 ？？

基本分类及特殊的问题

索引

  • 每个新建数据表的索引！！！

除权除息分类

1: 除权除息, 2: 送配股上市, 3: 非流通股上市, 4: 未知股本变动,5: 股本变化,6: 增发新股, 7: 股份回购, 8: 增发新股上市, 9: 转配股上市,10: 可转债上市,11: 扩缩股, 12: 非流通股缩股, 13: 送认购权证, 14: 送认沽权证

stock_day

取数

停盘日，会存在一条记录，O/C/H/W 为上日收盘价格, V/A 为最小浮点数。从数据库直接取数需过滤掉数据。条件：vol > 1

复权

运算

  • 复权需要考虑复权参数，价格，总股本和流通股
  • 历史市值需要总股本
  • 历史换手率需要流通股，无法考虑可流通股，只能从财务报告中体现。暂时不考虑可流通股，只使用流通股运算。

Data_Factor 数据的使用

  • 价格为前复权价格，预算市值时候需要使用复权数据。 values / adj
  • 每日需要根据财务信息重新运算xdxr 变化的标的

港股及外盘

通达信港股数据会延迟15分钟，是否需要替换数据源

已知可能存在的问题

stock_info 中会漏掉某一日的数据（通达信服务器取数问题）
stock_adj 在运算中会漏掉当前某一天的数据，（原因不明，可能会导致运算错误）

日志

2023.01.25

  • 修订行业 Facator 的重复数据问题,以及引起的图表问题。
  • 重新运算 stock_data_corr 数据，便于后期使用。
  • 更新FQuant Web 的 Echarts 插件，修订了一些显示上的错误。
  • 更新了每日盘前策略输出。
  • 增加行业分类：深度价值、价值成长、高成长，重构了相关图表。

2022.12.02

  • 模拟盘新增股票池参数，增加排序和分段取数参数。

2022.12.01

  • QA_SU_save_stock_xdxr，函数效率优化
  • 新增函数QA_SU_save_stock_xdxr_one，QA_SU_check_stock_xdxr

2022.11.11

  • 完成FQuant Web 1.3.3更新。

2022.10.31

  • 竞价前5分钟

2022.10.28

  • 新增实时5分钟累计量比提升个股。
  • 新增仓位控制策略，上证5日线。需要同步调整下跌空仓逻辑

2022.10.27

  • 更新 FQuant Web的一些统计算法错误。

2022.10.26

  • FQuant Web 新增一些图表

2022.10.25

  • 指数3日线空仓逻辑，这个不是个宏观逻辑。溢价不高，但是可以用。

2022.10.24

  • 市场百分位统计

2022.10.21

  • concept_data_base, industry_data_base。修订流通股本。
  • concept_data_base, 增加

2022.10.19

  • 整理资金容量，整理策略及收益，去除 hhv 逻辑。
  • [ ] hhv 逻辑动态浮动。
  • QA_util_date_gap, 存在一个 wrong date 的隐患，有可能导致取数错误。修订后待观察。

2022.10.17

  • concept 中位数评分体系无法使用，暂不考虑概念类的应用。

2022.10.15

  • 增加 concept, industry 的统计中位数评分体系
  • 评分阈值 -3, 回测, 结果低于str60_base, 由于其他策略, 可以考虑应用。

2022.10.13

  • 增加回测清仓逻辑
  • 增加行业、概念的20日最小量的统计
  • 修改了行业、概念的_data_base 的数据表名称

2022.10.12

  • 输出两个策略结果到微信
  • 更新 industry_base_data ,删除不在使用的字段，新增成交金额和流通市值，后续做图用。
  • 更新 concept_base_data ,删除不在使用的字段，新增成交金额和流通市值，后续做图用。

2022.10.11

  • 修正回测交易记录的存储错误, 显示错误
  • 修正回测图表显示中的两个错误。
  • 新增每日上证/创业的风格判断
  • 新增市场多空状态和策略统计，更新了 Web 客户端
  • [ ] VitePWA 自动更新问题

2022.10.10

  • 去除成交金额相关的过滤器
  • DataFrame_StockList, 增加指数沪深300/中证500/中证1000/其他标识
  • 新增每日盘后数据统计及简单分析

2022.10.09

  • 删除cr相关算法，无明显效果
  • 调整spcorr算法，删除 cr 相关，效果待查看
  • 重新运算market_data_base，增加强势指数、行业、概念。

2022.10.08

  • 重新调整 str_all 策略池，提高池子的综合成功率。
  • 成交金额测算，金额越小，弹性越好，成功率越高，风险越大。

2022.10.02

  • 完善空仓逻辑，可以多逻辑组合
  • 修正了empty_stra_base的逻辑错误，可以提升部分净值。

2022.09.27

  • 统计市场涨跌停情况，最高空间板等。重新运算 market_data_base
  • SaveMarketBaseData 需要重新运算，解决 rate 的问题

2022.09.26

  • 优化 market 基础统计数据，改成按日期运算保存。
  • 市场成交金额百分位统计，并部署
  • 调整 stock_data_base 涨跌停统计算法，不统计 ST 的票
  • 重新运算 stock_data_base

2022.09.25

  • 校验stock服务器，删除部分无法连接的服务器。部分服务器读取880008数据从2022年开始，已经删除。
  • 更新880008的数据

2022.09.23

  • 去掉100%换手百分位，效率太低。
  • 暂时去掉周线运算。
  • 更新手机端预测日成交量显示图下限。

2022.09.22

  • 重新运算所有票的ExtentData，增加liutongguben
  • 运算全市场状态

2022.09.21

  • Factor Data 新增 MA3，删除 Position，调整 CROSSMA5，CROSSMA10，CROSSMA20，CROSSMA30，CROSSMA60，CROSSMA120，CROSSMA250
  • 重新运算所有股票池数据
  • 调整 QA_util_date_gap 返回值，不在输出wrong date，避免后期运算的错误。

2022.09.18

  • 新增股票周线的 Factor 运算，每日重新运算。
  • [ ]QA 中 stock_day_adv 存在 week/month/year 的函数错误，需要使用 resample 函数
  • str60p20策略，卖出策略调整根据指定列的价格卖出。测试止损配置：根据最高值的-7%止损，拟合效果最好。

2022.09.16

  • 回测 str60p20策略，周期下跌的空仓和仓位算法，不理想。

2022.09.15

  • extent_data 列增加前一日交易日收盘价格，重新运算数据。
  • 重构回测算法逻辑，①买入逻辑，逻辑中包括买入点、总仓位管理和不交易逻辑三部分。
  • 重构回测算法逻辑，②卖出逻辑，包括开盘卖出、盘中卖出、收盘卖出等三部分。

2022.09.14

  • 增加了突破策略的逻辑

2022.09.13

  • str60p20策略定形！
  • 增加盘前15分钟保存市场数据，便于研究竞价情况。
  • 晚上数据校验功能，校验指数、股票数据零、股票扩展数据的验证，可以提前发现数据问题。
  • 修订了 strong 策略的一个逻辑问题。

2022.09.12

  • 完成全市场数据重新运算，消除了之前的所有数据问题。
  • 策略回测增加 reportHTML 函数，使用quantstats。并在每日交易后输出到https://www.anno189.com/h5/data/策略代码.HTML 。
  • 增加宽指权重、行业权重的时序切片显示。
  • 修正了新上市股票复权流通股和总股本的无数据错误。
  • 重新运算所有股票池数据。

2022.09.10

  • 完成回测算法，效率大幅提升，并重新运算所有现有策略。
  • 修正了相关性运算的一个高度错误， pd.concat。
  • 重新运算所有指数数据
  • 新增宽指月趋势热力图

2022.09.09

  • 整理交易原则
  • 回测完善了日仓位记录信息，包括持仓标的日内价格，便于统计分析。
  • 重新整了回测算法，提升效率，待测试。

2022.09.08

  • 整理 Base/Future 的服务器列表。剔除连接测试失败的。
  • 整理MFI 指标
  • 检测支持序列的基础函数，支持序列包括COUNT/HHV/LLV/REF, 优化运算高度，提升运算效率。高度应该为运算的开始日期到结束日期的交易周期
  • 优化 Future 数据计算的高度，提高效率。

2022.09.07

  • REF_STR 函数，增加了非数值的 REF 功能。
  • 优化了 HHV/LLV 的序列参数时的运算高度，增加 length，提高运算效率。
  • 优化了 Factor 中结果运算的效率，增加了日期周期的判断。
  • stock_data_position 增加索引
  • 补充季报数据 2020.Q4/2020.Q3/2020.Q2/2020.Q1
  • 补充季报数据 2019.Q4/2019.Q3/2019.Q2/2019.Q1
  • 补充季报数据 2018.Q4/2018.Q3/2018.Q2, 同花顺没有2018Q1之前的数据

2022.09.06

  • 增加策略仓位管理入口类函数，可以根据某种规则调整仓位策略。CPools_PositionStra
  • 回测来看，仓位管理可以降低波动，但还是要跟随核心策略的逻辑。如果是高频趋势的，仓位管理的意义不大。
  • 优化DataFrame_StockList的列属性，ipo_data, 字符串

2022.09.05

  • 重新运算所有指数的Factor
  • 修正 MAX()/MIN()函数

2022.09.04

  • 重新运算所有指数的Factor，MAX()函数错误，需要重算
  • 补充季报数据 2022.Q2/2022.Q1/2021.Q4/2021.Q3/2021.Q2/2021.Q1
  • 北向83只 ETF 初步统计分析，Jupyter Notebook。

2022.09.03

  • 整理通达信函数，优化 HHV, LLV, 新增 SUBBARS。
  • 从 MyTT 中整理函数，新增若干 https://github.com/mpquant/MyTT
  • [ ] 待整理二级函数
  • 新增总股本复权，QA_data_stock_liquidity, to_liquidity。可用于运算市值。
  • 校验历史数据中换手率算法
  • Factor 增加100%换手率周期，总市值和流通市值。
  • 修订 Factor 的 open, close, high, low的运算错误。重新运算股票的所有数据。

2022.09.02

  • 策略空仓入口方式改成类函数，可以根据某种规则调整空仓策略。CPools_EmptyStra。
  • 新增空仓策略市场60min。empty_stra_ins60min, 效果不理想。
  • 测试空仓的清仓逻辑，无明显效果，弃用。
  • 同步2022年中报数据。
  • martet新增函数marketWillStockList，未上市股票列表，返回DataFrame
  • 调整marketInitStockList函数，去除未上市股票，增加 sse 列标记沪深市场
  • 增加每周末重新计算净值功能，每周五17点35分运行，消除除权导致的误差。会导致净值变化。
  • 恢复每日15:00的数据运算
  • 整理Celery 的代码逻辑，删除一些无用的代码和功能

2022.09.01

  • 修改策略回测函数入口，改成数组组合方式。可以对相同的股票池进行不同策略的回测。
  • 策略回测出口方式改成类函数，可以根据某种规则调整止盈止损比例。CPools_SellStra。
  • 回测宽指动态止盈止损逻辑，效果不明显，放弃。
  • 重新运算近期回测，08.29 修订stock 运算中复权后数据的后续，因小数四舍五入的问题。

2022.08.29

  • 修订stock 运算中复权后数据的小数位，压缩数据库大小。价格保留2位。复权 adj 保留4位。

2022.08.27

  • 新增 strong_long 策略及回测，选择有可能形成趋势的标的，持仓过程中去弱存强。未拟合。效果不理想。

2022.08.26

  • 恢复回测的上证空仓逻辑, 调整到2022.09.02功能中

2022.08.25

  • 更新code_province表数据，从 csv 文件中读取维护，不在使用stock_info_tushare表，并删除数据表stock_info_tushare
  • 修订分时运算的 HSI, IFL0取数，使用分类参数，确保取数正确
  • 行业和概念暂时取消的 RPS 的运算
  • 增加夜间自动压缩数据库功能
  • 去除 sotck 的 corr 运算，暂时没有使用场景。
  • 仅计算几个指数的 corrma 用于多空判断。

2022.08.24

  • 修复 QuantAxis 中QA_SU_save_future_list的唯一索引错误。
  • [ ] QA_SU_save_single_future_day函数依然存在代码和分类重叠的情况，临时修改!!
  • [ ] pytdx 的Future取数有些问题。 在取美股的 YANG 和 YINN 的时候，但是5_CNTY，8_ATY没有这个问题。问题同上。
  • [ ] pytdx 的Future取数, trade和 vol 的问题以及 position 的问题。trade 是成交量但是有问题，需要调整。
  • future_day 的取数运作增加了 amount 的列
  • 修订了由于 Future 取数问题导致数据错误，‘000961’, ‘000962’, ‘000963’, ‘000994’, ‘000995’
  • 删除数据表 index_data_base，使用 index_data_extent
  • 增加数据表 stock_data_extent，为了用于 rps 的运算，extent 表用于 rps 的运算