数据是信息的最重要核心,数字化就是信息时代的关键所在,这则是一种区别于人性欲望的商业性语言,它让事物便于统筹、控制以及衡从量,甚至它是通向人工智慧的必经之路,计量方法在于根据经验、历史统计结果、基本经济模型以及统计局公布的数据中找到相关要素来建立函数和模型,并且进行分析判断预测。
数据可以包含所有这一切。数据中最重要的价格已经把一切相关因素包含在其中,不管是基本面的、技术面的还是心理因素方面的,模型事实上已经把这些因素融合在里面,因此在历史数据的基础上归纳、分析、总结以及计算出的交易策略成功率是很高的。在这个大数据时代“一切以数据来说话”。
目前产生一种大数据挖掘交易系统,则是运用先进生产科学技术进行数据挖掘,来判断市场热点和转换状况,从而发现交易机会,再运用自动下单系统进行操作。
1.大教据时代的金融交易
在金融交易中,人们总是企图用一切已知的信息来对金融市场的走势进行预测,而大数据时代的来临极大地拓展了人们运用和处理海量信息的能力,只是对股票市场来说,在过去,投资者能够运用到的数据只有可怜的量价和公司财务的数据等一些对计算能力要求不高的结构化数据。大数据时代的来临,给予了人类处理海量非结构化数据的能力,大家能够想象到的、一切可以收集到的信息,均可能被金融所运用,不管是公司相关的财务数据、新闻还是社交网络上的舆论倾向,甚至公司管理层的某些花边消息。这其中都可能蕴藏着无法想象的财富,最关键的就是如何能够运用创新的手段和想法,使得手里的数据带来价位。
在过去的时代,是因为计算能力非常有限以及数据获得很困难,投资者总是小心地选择认为很可能对金融市场产生影响的数据来建立金融模型,或是仅仅可以利用手头少得可怜的数据进行研究;然而在大数据时代,所有这些将会发生很大的改变,计算机的计算能力以及存储能力不再受到限制。投资者能够获得的数据量也在不断地提高,并且不论是计算机的性能还是互联网上的数据仍然还是以爆炸性的速度增长。在这个时代投资者们完全有能力并且有目的地去利用更多的数据来建立更优秀的模型。
在大数据时代,投资者则倾向于更多次数、更频繁的交易,并非选取一只股票,或是一掷千金的豪赌。随着交易次数不断地增多,大数定律就会发挥作用,最后的胜负更取决于总体概率而不是每一笔的盈亏。而平庸的基金经理更加无法依靠侥幸获取稳定的业绩,只有真正优异的投资者才能获得巨额的利润。
大数据挖掘的原理就是依据人类的行为都有惯性和习惯,通过对于习惯的挖掘只是代表一种高概率的推测,但并非一定100%完全与结果相符合,其优势是能够提高投资决策的胜算。
2.数据挖掘技术
目前,数据采集以存储技术的发展让很多数据库的数据量相当大,想要从里面分析有价位的信念、知识变得越来越困难,但是这种分析需求却不断地在增加。数据挖掘则是在海量数据中发现那些隐藏的、人们感兴趣的有着特定规律的信息。事实上它是一种发现知识和提取有用信息的过程,而这些信息能够用以预测和决策。
也就是说,数据挖掘就是从大量的、不完全的、有噪声的数据中提取隐含在其中的、人们事先不知道的,而又是潜在有用的信息和知识的过程。
数据挖掘就是一门极其广义的交叉学科,涉及数据库技术、统计学、模式识别、人工智能、机器学习、神经网络、知识库系统、知识获取、信息检索、高性能计算和数据可视化等诸多学科领域,并且自身还在持续不断地发展。
具体来说,数据挖掘的流程大概可以分为“总体规划、数据仓库以及数据挖掘”三个步骤。是因为数据挖掘人员必须具有不同的知识结构,所以一个数据挖掘团队往往至少要有5人左右。
先要经由负责总体规划的人员提出需求,就是要做哪些方面的分析。然后,必须有专门的人员负责收集来自不同数据源的海量数据,并且用统一的形式整合在数据仓库里,最后还要设立多个维度,从而形成针对不同主题的结构化数据。
3.数据挖掘的分析方法
数据挖掘有如下这些分析方法:
(I)分类(Classification)。
(2)估值(Estimation)。
(3)预言(Prediction)。
(4)相关性分组。
(5)聚集(Clustering)。
(6)描述以及可视化(Description and Visualization)。
(7)复杂数据类型挖掘(Text、Web、视频、图形图像、音频等)。
4.数据挖掘的交易策略
数据挖掘技术,比如关联规则、人工神经网络、决策树、小波变换和贝叶斯网络等,能够帮助投资者发现和总结数据中的规律。比如,金融市场微结构领域尚未成熟的理论体系,许多研究只是观察性质的。数据挖掘能够帮助发现这个领域的交易策略。具体来说,数据挖掘有这些交易策略。
(1)关联规则。关联规则是指挖掘发现大量数据中项集之间有趣的关联或者相关联系。股票交易记录等都能够用到关联规则挖掘的对象;运用关联规则挖掘股价涨幅问的关联性,从而对股票走势趋势进行预测。
由于股票交易各个业务系统积累了许多大量的数据。因而必须对这些数据进行有效的分析处理,来发现在股票交易数据间的内在相互联系,对指导投资决策有着极其重要的意义。
(2)决策树。决策树指的是一种通常用于预测模型的算法,它通过把大量数据有目的地进行分类,从而找出一些有价值的和潜在的信息。
按照决策树获得的分类规则,就可以预测单只股票在一段时间之内的走势,可以有效地帮助投资者进行理性交易。
(3)人工神经网络。人工神经网络就是一种模仿动物神经网络行为特点,进行分布式并且进行信息处理的算法数学模型。该网络依赖系统的复杂程度,经由调整内部大量节点之间相互连接的关系。从而能够达到处理信息的目的。
由于股票价格的走势短期随机性非常强,然而从长期上来看,有着一定的规律性。人工神经网络能够在处理很难精确建模的问题上具有巨大的优势。运用MATLAR中的人工神经网络工具箱,对某些股票的价格进行建模,从而能够很准确地预测它们的近期走势。
(4)小波变换。小波变换事实上就是傅里叶变换的发展。最近以来,在工程技术领域形成了一股研究和应用的热潮。目前,在信号处理领域中具有非常广阔的运用前景。小波变换有着很好的“自适应性”以及“变焦特性”,被称为“数学显微镜”,在处理非稳定信号上具有非常特殊的地位以及功能。多分辨率分析就是根据这个特性的一种简化空间表示方法。并对小波分析的奇异点检测特性进行全面的分析。提出一种根据小波分析的奇异性度量算法,并用来分析股市信号的分形特性;根据股市信号的分形特性提出一种根据小波分析和统计的奇异点枪测算法;运用小波分析的变焦特性来研究了股市周期性,并且对它的成因进行分析。
(5)贝叶斯网络。贝叶斯网络实际上就是一种概率网络,它是根据概率推理的图形化网络,而贝叶斯公式就是在这个概率网络的基础而形成的。贝叶斯网络是根据概率推理的数学模型,而概率推理是通过一些变量的信息来获得其他的概率信息的过程,根据概率推理的贝叶斯网络是为了解决不定性以及不完整性问题而提出的。是当前不确定知识表达和推理领域最有效的理论模型之一。经过对历史数据的整理以及归纳,贝叶斯网络能够对将来的不确定性事件进行概率推断。运用贝叶斯网络对开盘价和收盘价的价差进行预测,从而把预测结果转化为投资决策。
5.从数据挖掘技术到盈利系统的进化链条
从整个交易来看,成熟的盈利交易系统,其进化链条。从数据分析到盈利系统,可以分为数据、策略、模型以及管理这四个阶段。
第一阶段,市场大数据→隐含数据。
第二阶段,隐含数据→投资交易策略。
第三阶段,交易策略→交易模型。
第四阶段,交易模型→管理状态。
从市场大数据中来提取隐含数据,则是投资交易的第一阶段。各种各样的市场研究、分析都是围绕这个进化环节来工作的,然而有的能够成功,有的则失败了。提取具有关键价位和作用的隐含数据,是投资交易盈利的基础和起点。
根据隐含数据来设计投资策略,是投资交易的第二阶段。依据一对隐含数据能够设计出基本的策略,对许多基本策略进行方向、数值、止损、再进以及循环等项目的调整,能够演变成千上万的策略。可以盈利的成功策略不仅仅是一套,而是数量非常大,这就是“条条大路通罗马”。
从交易策略中提取来建立交易模型。是投资交易的第三阶段。从很多、粗略的策略当中提取一个或着少数几个适合自己用途的模到型;体系化,补充、测试让它成为具有完整要素和特定参数的模型,从而形成系统。
从交易模型进入投资交易的管理状态,是投资交易的第四阶段。从物化的模型及其系统到形成长期持续盈利的、常态化的投资交易行动的管理,从而达到了“交易盈利”的目标,这就是投资交易的最终目标。
整个交易以及交易的系统设计方法和思路必须是清晰的、全局的,不应该像局部交易、孤立交易那样是盲目的摸索状态。