vb.net编译_vbnet编译器

python数据分析需要哪些库?

① NumPy

一般我们会将科学领域的库作为清单打头,NumPy是该领域的主要软件库之一.它旨在处理大型的多维数组和矩阵,并提供了很多高级的数学函数和方法,所以呢可以用它来执行各种操作.

另一个科学计算核心库SciPy,基于NumPy而构建,并扩展了NumPy的功能.SciPy的主要数据结构是多维数组,使用Numpy实现.该库提供了一些用于解决线性代数、概率论、积分计算等任务的工具.

Pandas是一个Python库,提供了高级的数据结构和各种分析工具.该库的一大特色是能够将相当复杂的数据操作转换为一两个命令.Pandas提供了很多内置的方法,用于分组、过滤和组合数据,还提供了时间序列功能.所有这些方法的执行速度都很快.

Statsmodels是一个Python模块,为统计数据分析提供了很多可能性,例如统计模型估计、运行统计测试等.你可以借助它来实现很多机器学习方法,并探索不同的绘图可能性.

Matplotlib是一个用于创建二维图表和图形的低级库.你可以用它来构建各种图表,从直方图和散点图到非笛卡尔坐标图.此外,很多流行的绘图库都为Matplotlib预留了位置,可与Matplotlib结合在一起使用.

Seaborn实际上是基于matplotlib库构建的高级API.它为处理图表提供了更恰当的默认选项.此外,它还提供了一组丰富的可视化图库,包括时间序列、联合图和小提琴图等复杂的类型.

Bokeh库使用JavaScript小部件在浏览器中创建交互式和可伸缩的可视化图形.该库提供了多种图形、样式、链接图形式的交互能力、添加小部件、定义回调以及更多有用的功能.

Pydot是一个用于生成面向复杂图形和非面向复杂图形的库.它作为面向Graphviz的一个接口,使用Python编写.我们可以借助它来显示图形的结构,这在构建神经网络和基于决策树的算法时经常会用到.

使用python做量化交易策略测试和回验,有哪些比较成熟一些的库

比较成熟的库可以参考如下几个：

pybacktest

pyalgotrader

zipline

bt

backtrader

pybacktest基于vector,不是event based,快得多得多,缺点也明显.

python数据统计分析

① 常用函数库

? scipy包中的stats模块和statsmodels包是python常用的数据分析工具,scipy.stats以前有一个models子模块,后来被移除了.这个模块被重写并成为了现在独立的statsmodels包.

?scipy的stats包含一些比较基本的工具,比如：t检验,正态性检验,卡方检验之类,statsmodels提供了更为系统的统计模型,包括线性模型,时序分析,还包含数据集,做图工具等等.

(1) 用途

?夏皮罗维尔克检验法 (Shapiro-Wilk) 用于检验参数提供的一组小样本数据线是否符合正态分布,统计量越大则表示数据越符合正态分布,但是在非正态分布的小样本数据中也经常会出现较大的W值.需要查表来估计其概率.由于原假设是其符合正态分布,所以当P值小于指定显著水平时表示其不符合正态分布.

?正态性检验是数据分析的第一步,数据是否符合正态性决定了后续使用不同的分析和预测方法,当数据不符合正态性分布时,我们可以通过不同的转换方法把非正太态数据转换成正态分布后再使用相应的统计方法进行下一步操作.

?科尔莫戈罗夫检验(Kolmogorov-Smirnov test),检验样本数据是否服从某一分布,仅适用于连续分布的检验.下例中用它检验正态分布.

?方差反映了一组数据与其平均值的偏离程度,方差齐性检验用以检验两组或多组数据与其平均值偏离程度是否存在差异,也是很多检验和算法的先决条件.

?最常用的两变量相关性分析,是用作图描述相关性,图的横轴是一个变量,纵轴是另一变量,画散点图,从图中可以直观地看到相关性的方向和强弱,线性正相关一般形成由左下到右上的图形；负面相关则是从左上到右下的图形,还有一些非线性相关也能从图中观察到.

?从图中可以看到明显的正相关趋势.

?皮尔森相关系数（Pearson correlation coefficient）是反应两变量之间线性相关程度的统计量,用它来分析正态分布的两个连续型变量之间的相关性.常用于分析自变量之间,以及自变量和因变量之间的相关性.

?斯皮尔曼等级相关系数(Spearman's correlation coefficient for ranked data ),它主要用于评价顺序变量间的线性相关关系,在计算过程中,只考虑变量值的顺序（rank, 值或称等级）,而不考虑变量值的大小.常用于计算类型变量的相关性.

?返回结果的第一个值为相关系数表示线性相关程度,本例中correlation趋近于1表示正相关.第二个值为p-value,p-value越小,表示相关程度越显著.

?单样本T检验,用于检验数据是否来自一致均值的总体,T检验主要是以均值为核心的检验.注意以下几种T检验都是双侧T检验.

?由于比较两组数据是否来自于同一正态分布的总体.注意：如果要比较的两组数据不满足方差齐性, 需要在ttest_ind()函数中添加参数equal_var = False.

①.0. 配对样本T检验

?配对样本T检验可视为单样本T检验的扩展,检验的对象由一群来自正态分布独立样本更改为二群配对样本观测值之差.它常用于比较同一受试对象处理的前后差异,或者按照某一条件进行两两配对分别给与不同处理的受试对象之间是否存在差异.

①.1. 单因素方差分析

?方差分析(Analysis of Variance,简称ANOVA),又称F检验,用于两个及两个以上样本均数差别的显著性检验.方差分析主要是考虑各组之间的平均数差别.

?单因素方差分析（One-wayAnova）,是检验由单一因素影响的多组样本某因变量的均值是否有显著差异.

?当因变量Y是数值型,自变量X是分类值,通常的做法是按X的类别把实例成分几组,分析Y值在X的不同分组中是否存在差异.

?当有两个或者两个以上自变量对因变量产生影响时,可以用多因素方差分析的方法来进行分析.它不仅要考虑每个因素的主效应,还要考虑因素之间的交互效应.

?上面介绍的T检验是参数检验,卡方检验是一种非参数检验方法.相对来说,非参数检验对数据分布的要求比较宽松,并且也不要求太大数据量.卡方检验是一种对计数资料的假设检验方法,主要是比较理论频数和实际频数的吻合程度.常用于特征选择,比如,检验男人和女人在是否患有高血压上有无区别,如果有区别,则说明性别与是否患有高血压有关,在后续分析时就需要把性别这个分类变量放入模型训练.

?基本数据有R行C列, 故通称RC列联表(contingency table), 简称RC表,它是观测数据按两个或更多属性（定性变量）分类时所列出的频数表.

?单变量统计描述是数据分析中最简单的形式,其中被分析的数据只包含一个变量,不处理原因或关系.单变量分析的主要目的是通过对数据的统计描述了解当前数据的基本情况,并找出数据的分布模型.

?单变量数据统计描述从集中趋势上看,指标有：均值,中位数,分位数,众数；从离散程度上看,指标有：极差、四分位数、方差、标准差、协方差、变异系数,从分布上看,有偏度,峰度等.需要考虑的还有极大值,极小值（数值型变量）和频数,构成比（分类或等级变量）.

?此外,还可以用统计图直观展示数据分布特征,如：柱状图、正方图、箱式图、频率多边形和饼状图.

?多元线性回归模型（multivariable linear regression model ）,因变量Y（计量资料）往往受到多个变量X的影响,多元线性回归模型用于计算各个自变量对因变量的影响程度,可以认为是对多维空间中的点做线性拟合.

二级Python----Python的内置函数及标准库（DAY 8）

python内置了很多内置函数、类方法属性及各种模块.当我们想要当我们想要了解某种类型有哪些属性方法以及每种方法该怎么使用时,我们可以使用dir()函数和help()函数在python idle交互式模式下获得我们想要的信息.

? dir()函数获得对象中可用属性的列表

Python中的关键词有哪些?

dir(__builtins__)：查看python内置函数

help('keywords')：查看python关键词

如微分积分方程的求解程序、访问互联网、获取日期和时间、机器学习算法等.这些程序往往被收入程序库中,构成程序库.

只有经过严格检验的程序才能放在程序库里.检验,就是对程序作充分的测试.通常进行的有正确性测试、精度测试、速度测试、边界条件和出错状态的测试.经过检验的程序不但能保证计算结果的正确性,而且对错误调用也能作出反应.程序库中的程序都是规范化的.所谓规范化有三重含义：①同一库里所有程序的格式是统一的；② 对这些程序的调用方法是相同的；③ 每个程序所需参数的数目、顺序和类型都是严格规定好的.

Python的库包含标准库和第三方库

标准库：程序语言自身拥有的库,可以直接使用.help('modules')

第三方库：第三方者使用该语言提供的程序库.

标准库： turtle 库（必选）、 random 库（必选）、 time 库（可选）.

? turtle 库：图形绘制库

原理如同控制一只海龟,以不同的方向和速度进行位移而得到其运动轨迹.

使用模块的帮助时,需要先将模块导入.

例如：在IDLE中输入import turtle

dir(turtle)

help(turtle.**)

①画布

setup()方法用于初始化画布窗口大小和位置,参数包括画布窗口宽、画布窗口高、窗口在屏幕的水平起始位置和窗口在屏幕的垂直起始位置.

参数:width, height: 输入宽和高为整数时,表示 像素 ;为小数时,表示占据电脑屏幕的比例.(startx,starty):这一坐标表示

矩形窗口左上角顶点的位置,如果为空,则窗口位于屏幕中心:

? color() 用于设置或返回画笔颜色和填充颜色.

例如：color('red')将颜色设为红色,也可用fillcolor()方法设置或返回填充颜色,或用pencolor()方法设置或返回笔触颜色.

python常用到哪些库?

Python作为一个设计优秀的程序语言,现在已广泛应用于各种领域,依靠其强大的第三方类库,Python在各个领域都能发挥巨大的作用.

下面我们就来看一下python中常用到的库：

数值计算库：

支持多维数组与矩阵运算,也针对数组运算提供大量的数学函数库.通常与SciPy和Matplotlib一起使用,支持比Python更多种类的数值类型,其中定义的最重要的对象是称为ndarray的n维数组类型,用于描述相同类型的元素集合,可以使用基于0的索引访问集合中元素.

在NumPy库的基础上增加了众多的数学、科学及工程计算中常用的库函数,如线性代数、常微分方程数值求解、信号处理、图像处理、稀疏矩阵等,可进行插值处理、信号滤波,以及使用C语言加速计算.

基于NumPy的一种工具,为解决数据分析任务而生.纳入大量库和一些标准的数据模型,提供高效地操作大型数据集所需的工具及大量的能快速便捷处理数据的函数和方法,为时间序列分析提供很好的支持,提供多种数据结构,如Series、Time-Series、DataFrame和Panel.

数据可视化库：

第一个Python可视化库,有许多别的程序库都是建立在其基础上或者直接调用该库,可以很方便地得到数据的大致信息,功能非常强大,但也非常复杂.

利用了Matplotlib,用简洁的代码来制作好看的图表.与Matplotlib最大的区别为默认绘图风格和色彩搭配都具有现代美感.

跟ggplot一样,Bokeh也基于<<图形语法>>的概念.与ggplot不同之处为它完全基于Python而不是从R处引用.长处在于能用于制作可交互、可直接用于网络的图表.图表可以输出为JSON对象、HTML文档或者可交互的网络应用.

可以通过Python notebook使用,与Bokeh一样致力于交互图表的制作,但提供在别的库中几乎没有的几种图表类型,如等值线图、树形图和三维图表.

与Bokeh和Plotly一样,提供可直接嵌入网络浏览器的可交互图像.与其他两者的主要区别在于可将图表输出为SVG格式,所有的图表都被封装成方法,且默认的风格也很漂亮,用几行代码就可以很容易地制作出漂亮的图表.

①.0. geoplotlib

用于制作地图和地理相关数据的工具箱.可用来制作多种地图,比如等值区域图、热度图、点密度图.必须安装Pyglet（一个面向对象编程接口）方可使用.

①.1. missingno

用图像的方式快速评估数据缺失的情况,可根据数据的完整度对数据进行排序或过滤,或者根据热度图或树状图对数据进行修正.

web开发库：

一个高级的Python Web框架,支持快速开发,提供从模板引擎到ORM所需的一切东西,使用该库构建App时,必须遵循Django的方式.

一个使用Python实现的基于事件驱动的网络引擎框架,建立在deferred object之上,一个通过异步架构实现的高性能的引擎,不适用于编写常规的Web Apps,更适用于底层网络.

数据库管理：

纯Python实现的驱动,速度比MySQLdb慢,最大的特点为安装方式简洁,同时也兼容MySQL-python.

一种既支持原生SQL,又支持ORM的工具.ORM是Python对象与数据库关系表的一种映射关系,可有效提高写代码的速度,同时兼容多种数据库系统,如SQLite、MySQL、PostgreSQL,代价为性能上的一些损失.

自动化运维：

一种由Python编写的开源跳板机（堡垒机）系统,实现了跳板机的基本功能,包含认证、授权和审计,集成了Ansible、批量命令等.

一种用Python开发的自动化监控系统,可监控常用系统服务、应用、网络设备,可在一台主机上监控多个不同服务,不同服务的监控间隔可以不同,同一个服务在不同主机上的监控间隔、报警阈值可以不同,并提供数据可视化界面.

一种由Python开发的任务调度系统,主要用于自动化地将一个服务进程分布到其他多个机器的多个进程中,一个服务进程可作为调度者依靠网络通信完成这一工作.

一种使用Python语言编写的调度和监控工作流的平台,内部用于创建、监控和调整数据管道.允许工作流开发人员轻松创建、维护和周期性地调度运行工作流,包括了如数据存储、增长分析、Email发送、A/B测试等诸多跨多部门的用例.

GUI编程：

一款开源软件跨平台GUI库wxWidgets的Python封装和Python模块,是Python语言的一套优秀的GUI图形库,允许程序员很方便地创建完整的、功能健全的GUI用户界面.

一个跨平台的应用程式框架Qt的Python绑定版本,提供与PyQt类似的功能,并相容API,但与PyQt不同处为其使用LGPL授权.

更多Python知识请关注Python自学网.