打开微信,扫一扫登录

量化交易,如何防止策略研究中的过度拟合

网络   2019-04-13 18:19 14210 25

人们能力有限,数据不完全、心智的掌握不足、处理数据困难,加上决策本身的多变量复杂性,做出选择的时间有限,人们很难自己来做出合乎逻辑的、理性的决定。为了克服先天不足,人们使用偏见过滤器来简化和加速决策过程。

  每位潜在的系统交易者必须决定使用哪款软件。考虑到可供出售或订阅的有上千种系统,不可能每个人都知道哪种会提供一个好的风险收益比。人类是被资源束缚的代理人,也就是说:人们能力有限,数据不完全、心智的掌握不足、处理数据困难,加上决策本身的多变量复杂性,做出选择的时间有限,人们很难自己来做出合乎逻辑的、理性的决定。为了克服先天不足,人们使用偏见过滤器来简化和加速决策过程。

  交易员在浏览海量的业绩报告、股票曲线、学术论文、开专业研讨会以及遇到千载难逢的机会时,必需客观的意识到偏见的存在。这篇文章的主题是伴随着系统的开发中出现的固有的偏见,以及它最臭名昭著的结果:过度拟合。

  曲线拟合是数学中的一个概念。例如,给定坐标对(0,1)和(5,4),求出他们的直线方程。依据线性方程“上升运行”的定义用代数方法求解,最终以:y=mx+b的形式给出答案

  在二维中更复杂的线需要更复杂的技术。将一些在同一条直线附近分布的点拟合成一条直线的过程称为曲线拟合。他涉及到使用一种算法生成一个多项式(或函数)产生一条相交于图上所有点的直线。许多不同的多项式方程可以满足对图中所有点相交的基本要求。算法在端点之间找到一个等式,这个等式可以囊括中间的点。你可以插值来得到在你原始点之间的线上的新点的答案,只要你保持在端点之间就行。这就是本质上曲线拟合的全部内容。

  现在,当你尝试着使用这个多项方程式得到在原始边界之外的一个点上时,你开始做所谓的外推。当你外推出用于生成多项式的边界时,你会得到预测错误。越界越远,错误越严重。

  交易系统的不同之处在于:交易系统并不把所有的数据点放在一张图表上。我们可以认为金融市场的数据充斥着带有噪声的信号。基于一些有效的前提,函数和规则用于开发一个系统,用这个系统来描述某种类型的市场价格行为或者是趋势。这意味着我们是曲线拟合,尽管是松散的,我们想要一个宽松的交易系统,而不是严格的匹配。我们捕捉到信号的一些可获利的特性,同时拒绝大部分的噪音,由此产生的系统应该在外推效果上做得好,也就是说:运行时达到预期设计的目标,脱胎于开发时涉及的数据。

  回测过度拟合是一种的错误的拟合,它对于交易系统与历史数据的联系过于紧密,以求获利最高,损失最低。其实,从开发交易系统的开始,开发者就是默认交易系统具有盈利可能的,且其偏好将一直影响开发过程。开发者越是根据历史数据引入增利减损的新算法,其初始偏好便体现得越强。如果此过程重复次数过多,且利用了大多数或全部历史数据,即会导致所谓的回测过度拟合。开发者甚至可能不曾意识到在如此的开发过程中,系统受其偏好的影响已经越来越大,而只会认为自己是在最大化地增利减损。