张恭庆院士:数学的意义(最全面的解释)

数学既是一种文化、一种“思想的体操”,更是现代理性文化的核心。马克思说:“一门科学只有当它达到了能够成功地运用数学时,才算真正发展了。”在前几次科技革命中,数学大都起到先导和支柱作用。我们不能要求决策者本人一定要懂得很多数学,但至少要经常想想工作中有没有数学问题需要请数学家来咨询。因为数学是科技创新的一种资源,是一种普遍适用的并赋予人以能力的技术。
>>>>

1、世界强国与数学强国

张恭庆院士:数学的意义(最全面的解释)

数学实力往往影响着国家实力,世界强国必然是数学强国。数学对于一个国家的发展至关重要,发达国家常常把保持数学领先地位作为他们的战略需求。17-19世纪英国、法国,后来德国,都是欧洲大国,也是数学强国。17世纪英国牛顿发明了微积分,用微积分研究了许多力学、天体运动的问题,在数学上这是一场革命,由此英国曾在数学上引领了潮流。

 

法国本来就有良好的数学文化传统,一直保持数学强国的地位。19世纪德、法争雄,在数学上的竞争也非常激烈,到了20世纪初德国哥廷根成为世界数学的中心。

 

俄罗斯数学从19世纪开始崛起,到了20世纪前苏联时期成为世界数学强国之一。特别是苏联于1958年成功发射了第一颗人造地球卫星,震撼了全世界。

 

当时美国总统约翰·肯尼迪决心要在空间技术上赶超苏联。他了解到:苏联成功发射卫星的原因之一,是苏联在与此相关的数学领域处于世界的领先地位。此外,苏联重视基础科学教育(包含数学教育)也是它在基础科学研究中具有雄厚实力的一个重要原因,于是下令大力发展数学。

 

第二次世界大战前美国只是一个新兴国家,在数学上还落后于欧洲,但是今天他已经成为唯一的数学超级大国。战前德国纳粹排犹,大批欧洲的犹太裔数学家被迫移居美国,大大增强了美国的数学实力,为美国打胜二战、提升战后的经济实力做出了巨大贡献。苏联发射第一颗人造地球卫星后,美国加强了对数学研究和数学教育的投入,使得本来在科技界、工商界、军事部门等方面就有良好应用数学基础的美国,迅速成为一个数学强国。苏联、东欧解体后,美国又吸纳了其中大批的优秀数学家。

2、数学及其基本特征

数学是一门“研究数量关系与空间形式”(即“数”与“形”)的学科。一般地说,根据问题的来源把数学分为纯粹数学与应用数学。研究其自身提出的问题的(如哥德巴赫猜想等)是纯粹数学(又称基础数学);研究来自现实世界中的数学问题的是应用数学。利用建立数学“模型”,使得数学研究的对象在“数”与“形”的基础之上又有扩充。各种“关系”,如“语言” “程序” “DNA排序” “选举”、“动物行为” 等都能作为数学研究的对象。数学成为一门形式科学。

 

纯粹数学与应用数学的界限有时也并不那么明显。一方面由于纯粹数学中的许多对象,追根溯源是来自解决外部问题(如天文学、力学、物理学等)时提出来的;另一方面,为了要研究从外部世界提出的数学问题(如分子运动、网络、动力系统、信息传输等)有时需要从更抽象、更纯粹的角度来考察才有可能解决。

 

数学的基本特征是:

  • 一是高度的抽象性和严密的逻辑性。

  • 二是应用的广泛性与描述的精确性。

它是各门科学和技术的语言和工具,数学的概念、公式和理论都已渗透在其他学科的教科书和研究文献中;许许多多数学方法都已被写成软件,有的数学软件作为商品在出售,有的则被制成芯片装置在几亿台电脑以及各种先进设备之中,成为产品高科技含量的核心。

  • 三是研究对象的多样性与内部的统一性。

数学是一个“有机的”整体,它像一个庞大的、多层次的、不断生长的、无限延伸的网络。高层次的网络是由低层次网络和结点组成的,后者是各种概念、命题和定理。各层次的网络和结点之间是用严密的逻辑连接起来的。这种连接是客观事物内在逻辑的反映。

 

数学家,包括纯粹数学家和部分应用数学家,他们的工作就在于:建立新的结点,寻找新的连接,清理和整合众多的连接,并从客观世界吸取营养来丰富、延伸这个网络。在研究现实世界的问题当中,一旦建立的数学模型和我们已有的结点或者低层次的网络相关,所有建立起来的连接都可能发挥作用,为我们提供解决问题的思路、理论和方法。

 

在现代社会,人们的生活愈来愈离不开数学,我们天天享受着数学的服务,但许多人可能根本不知道!这种例子俯拾皆是。人人都用手机,但并不是人人都知道其中许多关键技术是数学提供的。

3、数学与当代科学技术

(一)数学与科学革命和技术革命

第一次科学革命的标志是近代自然科学体系的形成。是以哥白尼的“日心说”为代表, 后经开普勒、伽利略, 特别是牛顿等一大批科学家的推动完成的。牛顿为了研究动力学,发明了微积分。他的著作《自然哲学的数学原理》影响遍布经典自然科学的所有领域。

 

被称为19世纪自然科学三大发现的能量守恒与转化定律、细胞学说和进化论是第二次科学革命的主要内容。19世纪末到20世纪初,X射线、电子、天然放射性、DNA双螺线结构等的发现,使人类对物质结构的认识由宏观进入微观,相对论和量子力学的诞生使物理学理论和整个自然科学体系以及自然观、世界观都发生了重大变革,成为第三次科学革命。

 

在这次革命中,数学起了很大作用。建立相对论需要黎曼几何,爱因斯坦本人就承认,是几何学家走到前头去了,他不过学了几何学家的东西,才发明了相对论。在量子力学中用到的概率、算子、特征值、群论等基本概念和结论都是数学上预先准备好了的,所以数学对第三次科学革命起到了推动作用。

 

  • 第一次技术革命是蒸汽机和机械的革命。

  • 第二次技术革命是电气和运输的革命。

虽然我们很难说出其中哪一项发明直接来自数学,但19世纪和20世纪数学家们发展了常微分方程、偏微分方程、变分学和函数论等数学分支,并把它们用于研究力学—包括流体力学和弹性力学、热学、电磁学等中的物理问题和工程问题,推动了这些学科的发展。此外还值得一提的是:电磁波的发现是麦克斯韦先从数学推导中预见,然后由赫兹用实验验证的。

 

  • 第三次技术革命以原子能技术、航天技术、电子计算机的应用为代表。

电子计算机从设想、理论设计、研制一直到程序存储等过程,数学家在其中起决定性的主导作用。从理论上哥德尔创建了可计算理论和递归理论,图灵第一个设计出通用数字计算机,他们都是数学家。冯·诺依曼是第一台电子计算机的研制、程序和存储的创建人,维纳和香农分别是控制论和信息论的创始人,他们也都是数学家。由此可见,数学差不多在历次科技革命中,都起过先导和支柱的作用。

 

(二)数学与自然科学

任何一门成熟的科学都需要用数学语言来描述,在数学模型的框架下来表达它们的思想和方法。当代数学不仅继续和传统的邻近学科保持紧密的联系,而且和一些过去不太紧密的领域的关联也得到发展,形成了数学化学、生物数学、数学地质学、数学心理学等众多交叉学科。数学在模拟智能和机器学习中也起了很重要的作用,包括:环境感知、计算机视觉、模式识别与理解以及知识推理等。

 

(三)数学与社会科学

数学在社会科学,如经济学、语言学、系统科学、管理科学中占居重要位置。现代经济理论的研究以数学为基本工具。通过建立数学模型和数学上的推演,来探求宏观经济和微观经济的规律。从1969年到2001年间,50名诺贝尔经济学奖得主中,有27人其主要贡献是运用数学方法解决经济问题。数学与金融科学的交叉—金融数学是当代十分活跃的研究领域。冯·诺依曼与摩根斯登的“对策论与经济行为”使“决策”成为一门科学。

 

控制理论与运筹学,特别是线性规划、非线性规划、最优控制、组合优化等在交通运输、商业管理、政府决策等许多方面得到广泛的应用。在工业管理方面,统计质量管理起很大的作用。在运用数学理论之前,质量管理是通过事后检验把关来完成的,难以管控,而且成本也很高。根据概率分布的原理,可以将数理统计的方法应用到质量管理当中去,产生了统计质量管理的理论和方法。

 

(四)数学与数据科学

人们利用观察和试验手段获取数据,利用数据分析方法探索科学规律。数理统计学是一门研究如何有效地收集、分析数据的学科,它以概率论等数学理论为基础,是“定量分析”的关键学科,其理论与方法是当今自然科学、工程技术和人文社会科学等领域研究的重要手段之一。为了处理网络上的大量数据,挖掘、提取有用的知识,需要发展“数据科学”。

 

近年来大家都从媒体上知道掌握“大数据”的重要性。美国启动了“大数据研究与发展计划”,欧盟实施了“开放数据战略”,举办了“欧盟数据论坛和大数据论坛”。大数据事实上已成为信息主权的一种表现形式,将成为继边防、海防、空防之后大国博弈的另一个空间。此外,大数据创业将成就新的经济增长点(电子商务—产品和个性化服务的大量定制成为可能,疾病诊断、推荐治疗措施,识别潜在罪犯等)。

 

所以“大数据”已经成为各国政府管理人员、科技界和媒体十分关注的一个关键词。“大数据”的核心是将数学算法运用到海量数据上,预测事情发生的可能性。人们普遍认识到研究大数据的基础是:数学、计算机科学和统计科学。

 

(五)数学与技术科学

马克思说过:“一门科学只有当它达到了能够成功地运用数学时,才算真正发展了。”

今天的技术科学如信息、航天、医药、材料、能源、生物、环境等都成功地运用了数学。信息科学与数学的关系最为密切。信息安全、信息传输、计算机视觉、计算机听觉、图象处理、网络搜索、商业广告、反恐侦破、遥测遥感等都大量地运用了数学技术。

 

高性能科学计算被认为是最重要的科学技术进步之一,也是21世纪发展和保持核心竞争力的必需科技手段。例如核武器、流体、星系演化、新材料、大工程等的计算机模拟都要求高性能的科学计算。但有了最快的计算机并不等于高性能科学计算就达到了国际先进水平。应用好高性能计算机解决科学问题,基础算法与可计算建模是关键。相对于计算机硬件,我国在基础算法与可计算建模研究方面的投入不足,不利于我国高性能计算机的持续发展。

 

药物分子设计已经成为发现新药的主要方向。其中计算机辅助设计扮演着不可替代的角色。用计算的方法从小分子库中搜索发现各种与酶可能的结合构象来筛选药物,或者采用基于受体结构的特征,以及受体和药物分子之间的相互作用方式来进行药物设计,已成为当前耗费计算资源最多的领域之一。

4、数学与国防

在二战中,数学家对于盟军取胜起到了什么作用?
冯·诺依曼是20世纪一位顶级数学家,也是第一台电子计算机程序和存储的研制构思者。他对美国原子弹的制造做了两大贡献:
  • 一是帮助洛斯阿拉莫斯找到了数学化的途径。“数学化”是指用快速计算机去模拟计算原子弹的爆炸过程和爆炸威力。

  • 二是研究爆聚炸弹,就是把一些炸弹、原子弹捆绑起来发出更大的威力。

乌拉姆是波兰数学家,他从欧洲逃到美国后参加了曼哈顿计划。为了模拟核实验,他发明了蒙特卡罗计算方法。
 
前苏联大数学家柯尔莫哥洛夫在二战中提出了平稳随机过程理论。美国数学家维纳提出了滤波理论,这些理论对于排除噪音的干扰,处理雷达所得的信息发挥了作用。
 
英国数学家图灵是设计出通用数字计算机的第一人。二战中,他与一些优秀数学家一起,最终破译了德军所用的密码体制Enigma。美国的密码分析学家也于1940年破译了日本的“紫密”密码。
 
1942年日本突袭中途岛海战失败,一个重要原因是美国破译了日本攻击中途岛的情报;1943年4月,利用所破译的情报,美国打下了山本五十六的座机,成为密码史上精彩的一页。
 
在现代化战争中,数学的作用更为突出。在武器方面有核武器、远程巡航导弹等先进武器的较量。在信息方面有保密、解密、干扰、反干扰的较量。对策方面有战略、策略、武器配制等方面的较量。每一项都和数学有紧密的关系。
 
核反应过程是在高温高压下进行的,核爆炸的巨大能量在微秒量级的时间内释放出来,很难在核试验中测量出核爆炸内部的细微过程,只能得到一些综合效应的数据。但通过核反应过程的数学模型,进行数值计算却可以给出爆炸过程中各个细节的图像、定量的数据以及各种因素与机制的相互作用。在参加全面禁止核试验条约后,通过数值计算模拟核试验就更重要了。
 
在巡航导弹方面,《解放军报》在一篇《数学的威力》报道中写道:“一个方程将卫星图像质量提高30%,一个公式改变了一个部队的知情模式。”信息的“加密”与“解密”是一种对抗,正如人们所说 “魔高一尺,道高一丈”。而这种对抗力量的表现全在所依靠的数学理论之上。
 
例如,公开密钥算法大多基于计算复杂度很高的难题,要想求解,需要在高速计算机上耗费许多时日才能得到答案。这些方法通常来自于数论。例如,RSA源于整数因子分解问题,DSA源于离散对数问题,而近年发展快速的椭圆曲线密码学则基于与椭圆曲线相关的数学问题。
 
自从费曼提出量子计算机以来,人们希望设计出一种计算机,它能实现在冯?诺依曼计算机上不能实现的算法。如果一旦能把某种类型的计算速度大大增加,那么破解现有的密码就有可能。
 
1994年数学家Shor已经对假想的量子计算机,提出了一种大合数的因子分解方法,其复杂度大大降低,使得在量子计算机上有可能破解许多现有的密码。从大的战役指挥,到小的作战方案,都需要了解敌我双方的实力,运筹帷幄,不打无准备之仗。这都需要进行定量化分析,建立模型,形成随机应变的作战指挥系统。其中概率统计、运筹学等数学分支发挥着重要作用。

5、数学与国民经济

数学与国民经济中的很多领域休戚相关。互联网、计算机软件、高清晰电视、手机、手提电脑、游戏机、动画、指纹扫描仪、汉字印刷、监测器等在国民经济中占有相当大的比重,成为世界经济的重要支柱产业。其中互联网、计算机核心算法、图像处理、语音识别、云计算、人工智能、3G等IT业主要研发领域都是以数学为基础的。所以信息产业可能是雇用数学家最多的产业之一。
 
这里用到许多不同程度的数学工具,有的还有相当的深度,包括:编码、小波分析、图像处理、优化技术、随机分析、统计方法、数值方法、组合数学、图论等等。
 
上世纪70年代之后,计算机技术和计算流体力学的发展使数值模拟在大型客机的研制中发挥了巨大作用,计算流体力学与风洞试验、试飞一起并列成为获得气动数据的三种手段。
 
传统的大型工程,如水坝的设计需要对坝体和水工结构作静、动应力学分析。数学中的有限元方法是其中最基本的计算方法。
 
在石油勘探与开采中都大量运用数学方法,涉及到数字滤波、偏微分方程的理论和计算以及反问题等。数学模拟在化学工业中也起很大的作用。被称为现代化工之父的美国人埃莫森,把有些化工实验在“小试”阶段之后,通过成熟的数学建模手段取代“中试”,直接进入“大试”,缩短了实验周期,节省了经费。
 
现代医疗诊断中常用的CT扫描技术,其原理是数学上的拉东变换。CT螺旋式的运动路线记录X光断层的信息。计算机将所有的扫描信息按数学原理进行整合,形成一个详细的人体影像。在更先进的生物光学成像技术的研究中也吸引了不少数学家的参与。
 
药物检验—要评估一种新药能否上市,需要经过新药疗效测试,这就要科学地设计试验,以排除各种随机性的干扰,真正评估出药物的效果和毒性。为此,人们设计出了双盲试验等试验手段。国外流行的SAS软件,是药物检验的必经之径。发达国家制药公司聘用大批拥有数理统计学位的雇员从事药检工作。
 
国际金融市场用“金融高技术”运作。“金融数学”是利用数学工具来研究金融,进行数学建模、理论分析、数值计算等定量分析的一种金融高技术。它是数学和计算技术在金融领域的应用。华尔街和一些发达国家大银行、证券公司高薪雇用大批高智商的数学、物理博士从事资本资产定价、套利、风险评估、期货定价等方面的工作。
 
发达国家的保险业中早已使用“精算”为金融决策提供依据。精算学是一门运用概率、统计等数学理论和多种金融工具,研究如何处理保险业及其他金融业中各种风险问题的定量方法和技术的学科,是现代保险业、金融投资业和社会保障事业发展的理论基础。灾害预测与风险评估关乎国计民生。
 
数值模拟是大气科学、地震预测等实验性科学中的重要实验手段。而要提高预测的准确性必须缩小计算网格 (提高分辨率)、复杂化物理过程,这些都导致计算量呈几何级数增加,解决的途径不仅要加大计算机、加快计算机的速度,还要改进数学方法。
 
有关的研究表明,我们国家计算软件工业相对落后,并不是因为我们缺少一般的程序人员,而是缺乏有较高数学修养的高水平的程序开发人员。与此相对照的是,比如贝尔实验室、朗讯、IBM、微软、谷歌、雅虎这类IT行业领袖,不但大量地招聘数学专业的博士、硕士到公司工作,而且还专门设有相当规模的数学研究部门,支持数学家开展纯粹数学理论研究,以确保长期的核心竞争力。IBM公司还为本公司五万名咨询人员建立了数学学历档案,以便能够针对每项工作任务,指派最合适的团队人员。

6、数学与文化教育

(一)数学是一种文化

数学作为现代理性文化的核心,提供了一种思维方式。这种思维方式包括:抽象化、运用符号、建立模型、逻辑分析、推理、计算,不断地改进、推广,更深入地洞察内在的联系,在更大范围内进行概括,建立更为一般的统一理论等一整套严谨的、行之有效的科学方法。按照这种思维方式,数学使得各门学科的理论知识更加系统化、逻辑化。

 

作为一种文化,它的特点在于:

  • 追求一种完全确定的、完全可靠的知识。在数学上是非分明,没有模棱两可。即使对于“偶然”发生的随机现象,对于“不确定”的事件,也要提出精确的概念和研究方法,确切回答某个事件发生的概率是多少,在什么确切的范围以内等等。

  • 追求更深层次的、更为简单的、超出人类感官的基本规律。数学家们是把原始的来自实际的问题,经过了层层抽象,在抽象的、仍然是客观事物真实反映的更深层次上来考察、研究其内在规律。

  • 它不仅研究宇宙的规律,而且也研究它自己。特别是研究自身的局限性,并在不断否定自身中达到新的高度。

由此可见,数学文化是一种非常实事求是的文化,它体现了一种真正的探索精神,一种毫不保守的创新精神。

 

(二)数学教育的重要性

在知识社会,数学对于国民素质的影响至关重要。1984年美国国家研究委员会在《进一步繁荣美国数学》中提出:“在现今这个技术发达的社会里,扫除‘数学盲’的任务已经替代了昔日扫除文盲的任务,而成为当今教育的主要目标”。

 

1993年美国国家研究委员会又发表了《人人关心数学教育的未来》的报告,提出:“除了经济以外,对数学无知的社会和政治后果给每个民主政治的生存提出了惊恐的信号。因为数学掌握着我们的基于信息的社会的领导能力的关键。”当年读了这后一段话,很不理解,发生“棱镜事件”之后才恍然大悟。

 

在我国有没有扫除“数学盲”的必要?答案是肯定的。

 

普及数学知识。信息社会对于公民的逻辑能力要求明显提高。中、小学数学教育最主要的目的之一,应当在于提高学生的逻辑能力。因此数学作为一种“思想的体操”,应该是中、小学义务教育最重要的组成部分。此外,多举办各种科学普及讲座,向公众普及数学知识,介绍数学在各个领域中的应用也是必要的。

 

数学开阔人的视野,增添人的智慧。一个人是否受过这种文化熏陶,在观察世界、思考问题时会有很大差别。数学修养不但对于一般科学工作者很重要,就是有了数学修养的经营者、决策者,在面临市场有多种可能的结果,技术路线有多种不同选择时,也有可能减少失误。

 

亿万富翁詹姆斯·赛蒙斯就是一个最好的例证。在进入华尔街之前,赛蒙斯是个优秀的数学家,进入华尔街之后,他和巴菲特的“价值投资”理念不同,赛蒙斯依靠数学模型和电脑管理旗下的巨额基金,用数学模型捕捉市场机会,由电脑做出交易决策。他称自己为“模型先生”,认为建立好的数学模型可以有效地降低风险。

 

发达国家在大型公共设施建设,管道、网线铺设以及航班时刻表的编排等方面,早已普遍应用运筹学的理论和方法,既省钱、省力又提高效率。可惜,运筹学的应用在我国还不普遍。其实我们不能要求决策者本人一定要懂得很多数学,但至少要经常想想工作中有没有数学问题需要请数学家来咨询。

 

加强和改善高等数学教育,培养创新人才。在1988年召开的国际数学教育大会上,美国数学教育家在 “面向新世纪的数学的报告”中指出,“对于中学后数学教育,最重要的任务是使数学成为一门对于怀着各种各样不同兴趣的学生都有吸引力的学科,要使大学数学对于众多不同的前程都是一种必要的不可少的预备”。

 

对于我们来说,就是改革“高等数学课”,使得它对于非数学专业的学生都有吸引力,而且也使他们学到的内容能在今后工作中发挥作用。因为数学是科技创新的一种资源,是一种普遍适用的并赋予人以能力的技术,改善高等数学教育,提高大学生的数学水平,定将促进这种资源的开发和科技的创新。

 

壮大应用数学队伍,重视纯粹数学的研究和人才。今天,数学几乎已经深入到我们能想到的一切方面。这么多有用处的数学,表面上看都属于应用数学,然而,纯粹数学与应用数学的关系如同一座冰山,浮在水面上的是应用数学,而埋在水下的是纯粹数学。没有埋于水下的深厚积累,这些“应用”是建立不起来的。

 

数学是一个有机的整体,许多深刻的纯粹数学理论把看似毫不相关的概念和结论链接了起来,为研究现实世界中的问题提供强有力的思想和方法。无数事例证明:许多当时看不到有任何应用前景的纯粹数学理论,后来在现实世界应用中发挥了巨大作用。例如:数论与现代密码学,调和分析与模式识别,几何分析与图像处理,随机分析与金融等等不胜枚举。

 

人们认为:下一次科技革命将以人类三种新的“生存形式”为重要标志,即网络人(生活在网络空间的虚拟人)、仿生人(高仿真智能人)和再生人(具有自然人特征的“复制人”)。预计这次科技革命大约将在2020-2050年到来。回顾前几次科技革命,数学大都起到了先导和支柱的作用。
 
因此有理由相信:数学必将成为下一次科技革命最重要的推动力之一。我们要以早日实现中国梦的强烈责任感和紧迫感,加速建设数学强国,为在下次科技革命中赢得主动、抢占先机,奠定坚实基础,提供强大动力!

来源:程序员数学之美

转自:https://mp.weixin.qq.com/s/il2vgwgqko4VFCLd_EvvFQ

一行 Python 代码去除照片背景

今天来教大家如何使用Python去除照片背景,说到去除照片背景的方法,我们首先想到的是第三方接口(如:百度AI),但本文重点在于免费使用,不花钱的那种

下面就开始介绍两种免费去除照片背景的方法

 

第一种

第一种方法是:removebg(实际上还是第三方接口,不过removebg是免费的)

 

一行 Python 代码去除照片背景

remove官方地址

https://www.remove.bg/


首先先注册一个账号,然后访问下方链接获取api_keys(代码里面会用到)

https://www.remove.bg/api#remove-background


一行 Python 代码去除照片背景

点击Get API Key 即可获取key值

一行 Python 代码去除照片背景

获取到key值后,咱们就开编写python程序

# 导入库
from removebg import RemoveBg
api_keys = "上面获取到的key值"
rmbg = RemoveBg(api_key, "error.log")
#rmbg.remove_background_from_img_file("图片路径")
rmbg.remove_background_from_img_file("chen.jpg")

样例效果

一行 Python 代码去除照片背景

(图片来源网络)

总结

优点:不限于证件照,任何图片都可以去除背景(包括全身照片以及多人合影照片等)

缺点:这个方法只能免费使用50次,超过50次就会提示报错(如下所示)

一行 Python 代码去除照片背景

第二种

第二种方法就是backgroundremover,其实就是一个Python库

github地址

https://github.com/nadermx/backgroundremover


使用很简单:就两步(github介绍安装中有一些没必要安装,可忽略)

第一步:安装库

pip install backgroundremover

第二步:执行命令

# backgroundremover -i "带背景照片" -o "去除背景照片"
backgroundremover -i "cg.jpg" -o "cg_outopt.jpg"

Python方式调用:

# 导入库
import os
os.system('backgroundremover -i "cg.jpg" -o "cg_output.jpg"')

原理:实际上就是python通过os去执行终端命令。

 

注意

在第二步时,初次使用需要下载模型(大概170m),下载地址是google,因此需要能够访问google,才能下载。

我们已经把模型下载好了,关注 Python开发者 公号,后台回复 u2net 即可获取。

一行 Python 代码去除照片背景

(模型文件名称)

 

下载好的模型需要放到当前系统用户的目录下:

## Window:
c:/Windows/user/.u2net/u2net.pth

## Mac:
/Users/lyc/.u2net/u2net.pth

## Linux:
/root/.u2net/u2net.pth

如果找不到这个位置的,直接搜索.u2net文件夹位置,将模型放到.u2net文件夹也可以

 

样例效果

一行 Python 代码去除照片背景

(图片来源网络)

同一张照片,使用这两种不同的方法去除背景

效果差别不大(推荐第二种方法)

总结

优点:不限次数使用,不仅可以对照片去除背景,还可以对视频去除背景(github上有使用方法,感兴趣的可以去看看)

 

总结

对比这两种方法,推荐使用第二种,理由:完全免费、功能多

– EOF –

转自:https://mp.weixin.qq.com/s/nTTDN9NhYYlwlb9gKKSqXQ

Python+机器学习寻找股票交易信号

1
引言

近年来,随着技术的发展,机器学习和深度学习在金融资产量化研究上的应用越来越广泛和深入。目前,大量数据科学家在Kaggle网站上发布了使用机器学习/深度学习模型对股票、期货、比特币等金融资产做预测和分析的文章。从金融投资的角度看,这些文章可能缺乏一定的理论基础支撑(或交易思维),大都是基于数据挖掘。但从量化的角度看,有很多值得我们学习参考的地方,尤其是Pyhton的深入应用、数据可视化和机器学习模型的评估与优化等。下面借鉴Kaggle上的一篇文章《Building an Asset Trading Strategy》,以上证指数为例,构建双均线交易策略,以交易信号为目标变量,以技术分析指标作为预测特征变量,使用多种机器学习模型进行对比评估和优化。文中的特征变量构建和提取,机器学习模型的对比评估和结果可视化都是很好的参考模板。

 

02
数据获取与指标构建

先引入需要用到的libraries,这是Python语言的突出特点之一。这些涉及到的包比较多,包括常用的numpy、pandas、matplotlib,技术分析talib,机器学习sklearn和数据包tushare等。

#先引入后面可能用到的libraries
import numpy as np
import pandas as pd  
import tushare as ts
#技术指标
import talib as ta
#机器学习模块
from sklearn.linear_model import LogisticRegression
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import GradientBoostingClassifier
from xgboost import XGBClassifier,XGBRegressor
from catboost import CatBoostClassifier,CatBoostRegressor
from sklearn.ensemble import RandomForestClassifier,RandomForestRegressor
from sklearn.model_selection import train_test_split,KFold,cross_val_score
from sklearn.metrics import accuracy_score
import shap
from sklearn.feature_selection import SelectKBest,f_regression
from sklearn import preprocessing
#画图
import seaborn as sns
import matplotlib.pyplot as plt
import plotly.graph_objects as go
import plotly.express as px

%matplotlib inline   
#正常显示画图时出现的中文和负号
from pylab import mpl
mpl.rcParams['font.sans-serif']=['SimHei']
mpl.rcParams['axes.unicode_minus']=False

数据获取

用tushare获取上证行情数据作为分析样本。

#默认以上证指数交易数据为例
def get_data(code='sh',start='2000-01-01',end='2021-03-02'):
    df=ts.get_k_data('sh',start='2005')
    df.index=pd.to_datetime(df.date)
    df=df[['open','high','low','close','volume']]
    return df
df=get_data()
df_train,df_test=df.loc[:'2017'],df.loc['2018':]

构建目标变量(target variable)

以交易信号作为目标变量,使用价格信息和技术指标作为特征变量进行预测分析。以双均线交易策略为例,当短期均线向上突破长期均线时形成买入信号(设定为1),当短期均线向下跌破长期均线时发出卖出信号(设定为0),然后再使用机器学习模型进行预测和评估。这里将短期移动平均值(SMA1)和长期移动平均值(SMA2)的参数分别设置为10和60,二者的设定具有一定的任意性,参数的选择会影响后续结果,所以理想情况下需要进行参数优化来找到最优值。

def trade_signal(data,short=10,long=60,tr_id=False):
    data['SMA1'] = data.close.rolling(short).mean()
    data['SMA2'] = data.close.rolling(long).mean() 
    data['signal'] = np.where(data['SMA1'] >data['SMA2'], 1.00.0) 
    if(tr_id is not True):
        display(data['signal'].value_counts())

df_tr1 = df_train.copy(deep=True)  
df_te1 = df_test.copy(deep=True) 
trade_signal(df_tr1)  #
trade_signal(df_te1,tr_id=True)  
plt.figure(figsize=(14,12), dpi=80)
ax1 = plt.subplot(211)
plt.plot(df_tr1.close,color='b')
plt.title('上证指数走势',size=15)
plt.xlabel('')
ax2 = plt.subplot(212)
plt.plot(df_tr1.signal,color='r')
plt.title('交易信号',size=15)
plt.xlabel('')
plt.show()
Python+机器学习寻找股票交易信号
df_tr1[['SMA1','SMA2','signal']].iloc[-250:].plot(figsize=(14,6),secondary_y=['signal'])
plt.show()
Python+机器学习寻找股票交易信号
#删除均线变量
df_tr1=df_tr1.drop(['SMA1','SMA2'], axis=1)
df_te1=df_te1.drop(['SMA1','SMA2'], axis=1)
#画目标变量与其他变量之间的相关系数图
cmap = sns.diverging_palette(22010, as_cmap=True)
def corrMat(df,target='demand',figsize=(9,0.5),ret_id=False):

    corr_mat = df.corr().round(2);shape = corr_mat.shape[0]
    corr_mat = corr_mat.transpose()
    corr = corr_mat.loc[:, df.columns == target].transpose().copy()

    if(ret_id is False):
        f, ax = plt.subplots(figsize=figsize)
        sns.heatmap(corr,vmin=-0.3,vmax=0.3,center=0, 
                     cmap=cmap,square=False,lw=2,annot=True,cbar=False)
        plt.title(f'Feature Correlation to {target}')

    if(ret_id):
        return corr
corrMat(df_tr1,'signal',figsize=(7,0.5))

Python+机器学习寻找股票交易信号

当前的特征open、high、low、close、volumes与目标变量的线性相关值非常小,这可能意味着存在高非线性,相对平稳值的稳定振荡(圆形散射),或者也许它们不是理想的预测特征变量,所以下面需要进行特征构建和选取。

技术指标特征构建

为方便分析,下面以常见的几个技术指标作为特征引入特征矩阵,具体指标有:

  • 移动平均线:移动平均线通过减少噪音来指示价格的运动趋势。

  • 随机振荡器%K和%D:随机振荡器是一个动量指示器,比较特定的证券收盘价和一定时期内的价格范围。%K、%D分别为慢、快指标。

  • 相对强弱指数(RSI):动量指标,衡量最近价格变化的幅度,以评估股票或其他资产的价格超买或超卖情况。

  • 变化率(ROC):动量振荡器,测量当前价格和n期过去价格之间的百分比变化。ROC值越高越有可能超买,越低可能超卖。

  • 动量(MOM):证券价格或成交量加速的速度;价格变化的速度。

#复制之前的数据
df_tr2=df_tr1.copy(deep=True)
df_te2=df_te1.copy(deep=True)

计算技术指标

#使用talib模块直接计算相关技术指标
#下面参数的选取具有主观性
def indicators(data):
    data['MA13']=ta.MA(data.close,timeperiod=13)
    data['MA34']=ta.MA(data.close,timeperiod=34)
    data['MA89']=ta.MA(data.close,timeperiod=89)
    data['EMA10']=ta.EMA(data.close,timeperiod=10)
    data['EMA30']=ta.EMA(data.close,timeperiod=30)
    data['EMA200']=ta.EMA(data.close,timeperiod=200)
    data['MOM10']=ta.MOM(data.close,timeperiod=10)
    data['MOM30']=ta.MOM(data.close,timeperiod=30)
    data['RSI10']=ta.RSI(data.close,timeperiod=10)
    data['RSI30']=ta.RSI(data.close,timeperiod=30)
    data['RS200']=ta.RSI(data.close,timeperiod=200)
    data['K10'],data['D10']=ta.STOCH(data.high,data.low,data.close, fastk_period=10)
    data['K30'],data['D30']=ta.STOCH(data.high,data.low,data.close, fastk_period=30)
    data['K20'],data['D200']=ta.STOCH(data.high,data.low,data.close, fastk_period=200)
indicators(df_tr2)
indicators(df_te2)
corrMat(df_tr2,'signal',figsize=(15,0.5))

Python+机器学习寻找股票交易信号

上图可以看到明显线性相关的一组特征是作为特征工程的结果创建的。如果在特征矩阵中使用基本数据集特征,很可能对目标变量的变化影响很小或没有影响。另一方面,新创建的特征具有相当宽的相关值范围,这是相当重要的;与目标变量(交易信号)的相关性不算特别高。

#删除缺失值
df_tr2 = df_tr2.dropna() 
df_te2 = df_te2.dropna()

03
模型预测与评估

下面使用常用的机器学习算法分别对数据进行拟合和交叉验证评估。

models.append(('RF', RandomForestClassifier(n_estimators=25)))

models = []
#轻量级模型 
#线性监督模型
models.append(('LR', LogisticRegression(n_jobs=-1)))
models.append(('TREE', DecisionTreeClassifier())) 
#非监督模型
models.append(('LDA', LinearDiscriminantAnalysis())) 
models.append(('KNN', KNeighborsClassifier())) 
models.append(('NB', GaussianNB())) 
#高级模型
models.append(('GBM', GradientBoostingClassifier(n_estimators=25)))
models.append(('XGB',XGBClassifier(n_estimators=25,use_label_encoder=False)))
models.append(('CAT',CatBoostClassifier(silent=True,n_estimators=25)))

构建模型评估函数

def modelEval(ldf,feature='signal',split_id=[None,None],eval_id=[True,True,True,True],
              n_fold=5,scoring='accuracy',cv_yrange=None,hm_vvals=[0.5,1.0,0.75]):

    ''' Split Train/Evaluation <DataFrame> Set Split '''

    # split_id : Train/Test split [%,timestamp], whichever is not None
    # test_id : Evaluate trained model on test set only

    if(split_id[0is not None):
        train_df,eval_df = train_test_split(ldf,test_size=split_id[0],shuffle=False)
    elif(split_id[1is not None):
        train_df = df.loc[:split_id[1]]; eval_df = df.loc[split_id[1]:] 
    else:
        print('Choose One Splitting Method Only')

    ''' Train/Test Feature Matrices + Target Variables Split'''
    y_train = train_df[feature]
    X_train = train_df.loc[:, train_df.columns != feature]
    y_eval = eval_df[feature]
    X_eval = eval_df.loc[:, eval_df.columns != feature]
    X_one = pd.concat([X_train,X_eval],axis=0)
    y_one = pd.concat([y_train,y_eval],axis=0)

    ''' Cross Validation, Training/Evaluation, one evaluation'''
    lst_res = []; names = []; lst_train = []; lst_eval = []; lst_one = []; lst_res_mean = []
    if(any(eval_id)):
        for name, model in models:  
            names.append(name)

            # Cross Validation Model on Training Se
            if(eval_id[0]):
                kfold = KFold(n_splits=n_fold, shuffle=True)
                cv_res = cross_val_score(model,X_train,y_train, cv=kfold, scoring=scoring)
                lst_res.append(cv_res)

            # Evaluate Fit Model on Training Data
            if(eval_id[1]):
                res = model.fit(X_train,y_train)
                train_res = accuracy_score(res.predict(X_train),y_train); lst_train.append(train_res)
            if(eval_id[2]):
                if(eval_id[1is False):  # If training hasn't been called yet
                    res = model.fit(X_train,y_train)
                eval_res = accuracy_score(res.predict(X_eval),y_eval); lst_eval.append(eval_res)

            # Evaluate model on entire dataset
            if(eval_id[3]):
                res = model.fit(X_one,y_one)
                one_res = accuracy_score(res.predict(X_one),y_one); lst_one.append(one_res)

            ''' [out] Verbal Outputs '''
            lst_res_mean.append(cv_res.mean())
            fn1 = cv_res.mean()
            fn2 = cv_res.std();
            fn3 = train_res
            fn4 = eval_res
            fn5 = one_res

    s0 = pd.Series(np.array(lst_res_mean),index=names)
    s1 = pd.Series(np.array(lst_train),index=names)
    s2 = pd.Series(np.array(lst_eval),index=names)
    s3 = pd.Series(np.array(lst_one),index=names)
    pdf = pd.concat([s0,s1,s2,s3],axis=1)
    pdf.columns = ['cv_average','train','test','all']

    ''' Visual Ouputs '''
    sns.set(style="whitegrid")
    fig,ax = plt.subplots(1,2,figsize=(15,4))
    ax[0].set_title(f'{n_fold} Cross Validation Results')
    sns.boxplot(data=lst_res, ax=ax[0], orient="v",width=0.3)
    ax[0].set_xticklabels(names)
    sns.stripplot(data=lst_res,ax=ax[0], orient='v',color=".3",linewidth=1)
    ax[0].set_xticklabels(names)
    ax[0].xaxis.grid(True)
    ax[0].set(xlabel="")
    if(cv_yrange is not None):
        ax[0].set_ylim(cv_yrange)
    sns.despine(trim=True, left=True)
    sns.heatmap(pdf,vmin=hm_vvals[0],vmax=hm_vvals[1],center=hm_vvals[2],
            ax=ax[1],square=False,lw=2,annot=True,fmt='.3f',cmap='Blues')
    ax[1].set_title('Accuracy Scores')
    plt.show()

基准模型:使用原始行情数据作为特征

modelEval(df_tr1,split_id=[0.2,None])
Python+机器学习寻找股票交易信号

结果显示,cross_val_score徘徊在准确度= 0.5的区域,这表明仅使用指数/股票的价格数据(开盘、最高、最低、成交量、收盘)很难准确预测价格变动的方向性。大多数模型的训练得分往往高于交叉验证得分。有意思的是,DecisionTreeClassifier & RandomForest即使很少估计可以达到非常高的分数,但交叉验证的得分却很低,表明对训练数据可能存在过度拟合了。

加入技术指标特征

modelEval(df_tr2,split_id=[0.2,None],cv_yrange=(0.8,1.0),hm_vvals=[0.8,1.0,0.9])

Python+机器学习寻找股票交易信号

结果表明,与基准模型相比,准确率得分有了非常显著的提高。线性判别分析(LDA)的表现非常出色,不仅在训练集上,而且在交叉验证中,得分显著提高。毫无疑问,更复杂的模型GBM,XGB,CAT,RF在全样本中评估得分较高。与有监督学习模型相比,kNN和GaussianNB的无监督模型表现较差。

特征的优化

def feature_importance(ldf,feature='signal',n_est=100):
    # Input dataframe containing feature & target variable
    X = ldf.copy()
    y = ldf[feature].copy()
    del X[feature]
    # CORRELATION
    imp = corrMat(ldf,feature,figsize=(15,0.5),ret_id=True)
    del imp[feature]
    s1 = imp.squeeze(axis=0);s1 = abs(s1)
    s1.name = 'Correlation'      
    # SHAP
    model = CatBoostRegressor(silent=True,n_estimators=n_est).fit(X,y)
    explainer = shap.TreeExplainer(model)
    shap_values = explainer.shap_values(X)
    shap_sum = np.abs(shap_values).mean(axis=0)
    s2 = pd.Series(shap_sum,index=X.columns,name='Cat_SHAP').T
    #  RANDOMFOREST
    model = RandomForestRegressor(n_est,random_state=0, n_jobs=-1)
    fit = model.fit(X,y)
    rf_fi = pd.DataFrame(model.feature_importances_,index=X.columns,                                  
            columns=['RandForest']).sort_values('RandForest',ascending=False)
    s3 = rf_fi.T.squeeze(axis=0)
    # XGB 
    model=XGBRegressor(n_estimators=n_est,learning_rate=0.5,verbosity = 0)
    model.fit(X,y)
    data = model.feature_importances_
    s4 = pd.Series(data,index=X.columns,name='XGB').T
    # KBEST
    model = SelectKBest(k=5, score_func=f_regression)
    fit = model.fit(X,y)
    data = fit.scores_
    s5 = pd.Series(data,index=X.columns,name='K_best')
    # Combine Scores
    df0 = pd.concat([s1,s2,s3,s4,s5],axis=1)
    df0.rename(columns={'target':'lin corr'})
    x = df0.values 
    min_max_scaler = preprocessing.MinMaxScaler()
    x_scaled = min_max_scaler.fit_transform(x)
    df = pd.DataFrame(x_scaled,index=df0.index,columns=df0.columns)
    df = df.rename_axis('Feature Importance via', axis=1)
    df = df.rename_axis('Feature', axis=0)
    pd.options.plotting.backend = "plotly"
    fig = df.plot(kind='bar',title='Scaled Feature Importance')
    fig.show()
feature_importance(df_tr2)
Python+机器学习寻找股票交易信号

注意到,对于很多特征,相关性(Pearson’s value)小的在其他方法中也会给出小的得分值。同样,高相关的特征在其他特征重要性方法中得分也很高。当谈到特征的重要性时,有一些特征显示出一些轻微的不一致,总的来说,大多数方法都可以观察到特征评分的相似性。在机器学习中,某些特征对于大多数方法来说都有一个非常低的相对分数值,因此可能没有什么影响,即使把它们删除,也不会降低模型的准确性。删除可能不受影响的特性将使整个方法更加有效,同时可以专注于更长和更深入的超参数网格搜索,可能得到比原来模型更准确的结果。

df_tr2_FI = df_tr2.drop(columns=['open','high','low','close','EMA10'])
modelEval(df_tr2_FI,split_id=[0.2,None],cv_yrange=(0.8,1.0),hm_vvals=[0.8,1.0,0.9])

Python+机器学习寻找股票交易信号

结果显示,删掉预测能力较弱的特征后,某些机器学习方法的预测得分提高了,如线性判别(LDA)、决策树(TREE)和随机森林(RF)等。

04
结语

本文只是以上证指数为例,以技术指标作为特征,使用机器学习算法对股票交易信号(注意这里不是股价或收益率)进行预测评估,目的在于向读者展示Python机器学习在金融量化研究上的应用。从金融维度来看,分析的深度较浅,实际上对股价预测有用的特征有很多,包括(1)外在因素, 如股票相关公司的竞争对手、客户、全球经济、地缘政治形势、财政和货币政策、资本获取等。因此,公司股价可能不仅与其他公司的股价相关,还与大宗商品、外汇、广义指数、甚至固定收益证券等其他资产相关;(2)股价市场因素,如很多投资者关注技术指标。(3)公司基本面因素,如公司的年度和季度报告可以用来提取或确定关键指标,如净资产收益率(ROE)和市盈率(price -to – earnings)。此外,新闻可以预示即将发生的事件,这些事件可能会推动股价向某个方向发展。当关注股票价格预测时,我们可以使用类似的方法来构建影响预测变量的因素,希望本文能起到抛砖引玉的作用。

资料来源:

Andrey Shtrauss. ‘Building an Asset Trading Strategy‘, 2020.

https://www.kaggle.com/shtrausslearning/building-an-asset-trading-strategy

感谢转发点赞的各位~

作者:CuteHand

来源:Python金融量化

转自:https://mp.weixin.qq.com/s/7NP0AAYi4F-v-OQlFQSNtA

3800亿的特高压,如何补齐新能源的最后一块短板?

3800亿的特高压,如何补齐新能源的最后一块短板? 风光发电+储能+特高压,打造新能源发电产业闭环。
假期结束的第一周,小张在周末休息时与朋友聚会。茶歇话题自然少不了过年回家,尤其关于春运这一点,小张感触颇深。
 
因为老公家在北方,自己的家在南方,每年过年探亲都很不方便,更何况还带着孩子。以往过年时间全部浪费在路上,只能在家里呆上一两天。
 
然而,今年的情况截然不同,因为老公家建成了高铁。以往需要2天时间耽搁在路上,现在只需半天时间便可到家,难得过了个安稳的团圆年。
 
小李听后深有同感,现在的交通实在太方便了,年前和朋友发起了一场说走就走的旅程。早上还在北京,大雪纷飞捂着羽绒服瑟瑟发抖,下午就到了海口,艳阳普照穿上了比基尼晒着日光浴,自己的脑子一时都转不过来弯。
 
大美也说到,就在前两天出差到上海谈成了一个重要的单子。早上快到北京的时候,后台审核出现了问题,需要客户重新签字确认。
由于涉及到年终封账等问题,必须今天搞定。可是,由于天气时间等问题赶不上飞机。幸亏现在交通便利,大美赶上了下一班高铁在晚餐时间准时约上了客户。
 
交通运输的演变不光影响到个人的日常工作生活,甚至于时代的进程。
 
古今中外,人类的文明发源地大多数诞生于江海河流之畔。对于中华民族而言,黄河是中华文明最主要的发源地,被誉为母亲河。对于欧洲而言,最早的文明是爱琴海文明,至今流传着希腊神话和斯巴达的传说。
 
经济发达的国家、城市亦是诞生于流域之区,不得不承认的是运输基础条件是一个重要的因素。交通要道,自古以来便是兵家必争之地。
 
从道路和运输的变迁来看,公路从羊肠小道到土路,再演变成柏油马路、高速公路;火车从绿皮车到特快直达再到动车高铁。
可以说,交通运输演变的历史进程承载着经济的发展、人类的迁徙、社会的变迁,甚至于国家之间的博弈,人类文明的传承。
 
能源运输同样如此。
 
公元前600年,希腊哲学家泰勒斯发现了磁吸铁现象,而中国早在公元2500年前就已经具备了磁石知识。
 
直到1831年,法拉第发现了伟大的电磁感应现象,奠定了发电的基础。而后爱迪生和特斯拉分别代表直流电和交流电相爱相杀。
期间,包括火电、水电等电力建设开始大规模铺展开来,电力系统、电力应用进入高速发展期。
 
近几年,在全球双碳背书下,绿电掀起的新能源浪潮中,对电力系统提出了新的需求。
 
就我国而言,十四五规划新能源发电占据了20%的发电量,未来将会达到80%以上。想要达成这一目标,电网迫切需要改变,电网对清洁能源的输送,调配,促进消纳等就显得尤为重要。
 
实现这一切离不开这样一项至关重要的技术——特高压。
3800亿的特高压,如何补齐新能源的最后一块短板?
对电力资源的整合离不开特高压
 
通常电压按照大小等级分为安全电压——36V以下;低压——220V和380V;高压——10KV-220KV;超高压——330KV-750KV。
 
我们常见的家庭用电压220V,普通电池1.5V,人体安全电压36V。
 
特高压是指电压等级在交流1000千伏以上和直流±800千伏及以上的输电技术,具有输送容量大、距离远、效率高和损耗低等技术优势。
 
正是这一优势决定了特高压在电网建设中无法取代的核心地位。
 
具体来看,受经济发展水平和人口密度因素,我国电力供给和需求呈现出明显的不均衡现象。广东、浙江为代表的东南部各省严重依赖外省电力输送,而西南、西北各省则存在着富余现象。
 
3800亿的特高压,如何补齐新能源的最后一块短板?
 
受环保和资源限制,在东南各省大量新增发电厂显然不具备实际意义。需要将西南、西北省市富余的电力调配到东南电力紧缺的各省使用。
 
西北、西南到东南各省距离大于1000KM,甚至3000KM,需具备大容量、长距离的电力输送方式。
 
西电东输实则是对资源的一种调配,完成资源的整合,提升效率。这种思想不乏先例,比如西气东输,南水北调。
 
技术落地推广的一个重要因素是经济性,特高压在远距离输送电力上具备更大的竞争力。
据估计,1条1150千伏输电线路的输电能力可代替5~6条500千伏线路,或3条750千伏线路。可减少铁塔用材三分之一,节约导线二分之一,节省包括变电所在内的电网造价10~15%。
 
1150千伏特高压线路走廊约仅为同等输送能力的500千伏线路所需走廊的四分之一。这对于人口稠密、土地宝贵或走廊困难的国家和地区会带来重大的经济和社会效益。
 
另一方面,新能源发电为代表的风光大型基地主要分布于西南、西北地区,距离东部较远。通过特高压调配电力的同时也减少了弃光、弃风的现象,进一步提升了新能源发电的消纳能力。
 
3800亿的特高压,如何补齐新能源的最后一块短板?
特高压的高增时刻
特高压的规模化推广应用不仅仅在于新能源发电对电力系统提出新的需求,迫切需要改变,也在于电网有较强的投资支撑能力。
 
伴随着我国经济持续发展,用电量需求也在逐步攀升。根据国家能源局统计,2021年,全社会用电量83128亿千瓦时,同比增长10.3%,较2019年同期增长14.7%,两年平均增长7.1%。
 
与此同时,新能源发电高速发展,风电装机容量约3.3亿千瓦,同比增长16.6%;太阳能发电装机容量约3.1亿千瓦,同比增长20.9%。
 
用电需求的增加叠加新能源发电建设使得我国电网投资重归增长态势。
2020年国家电网投资金额达4605亿元,较2019年增加了132亿元,同比增长2.95%,2021年国网计划投资4730亿元。
据中国能源报报道,2022年电网投资额规划为5012亿,同比增长6%,创造历史新高。
 
2021能源电力转型国际论坛上,国家电网公司董事长、党组书记辛保安披露,“十四五”期间国家电网计划投入3500亿美元(约合2.23万亿元),推进电网转型升级。整体保持增长态势。
 
3800亿的特高压,如何补齐新能源的最后一块短板?
 
相比于以往年电网的建设情况,市场更加关注十四五特高压的建设规划以及超预期的空间。
 
国网提出将于“十四五”期间新建特高压线路“24 交 14 直”,涉及线路长 3 万余公里,总投资共计3800亿元。
 
2020年十三五结束时“14交12直”共3.59万公里规模,十四五的计划接近翻倍,力度之大为历史首次。也体现出作为最有效的远距离输电手段。
特高压在保证风光大基地消纳和中东部地区提高可再生能源消费比例需求方面的重要性和迫切性。
 
据业内人士称,交流线路平均投资规模为115亿元,直流线路为232亿元。因此2022年仅新开工涉及的特高压项目规模将达到约1843亿元,叠加过往项目(4交2直)建设稳步推进。项目涉及总投资规模将达到2781亿元。
3800亿的特高压,如何补齐新能源的最后一块短板?
 
储备规划项目方面目前已披露6交9直,未来建设后劲充足。
据国网披露,2020年特高压项目投资规模为1811亿元,有效带动社会投资3600亿元,拉动了近两倍社会投资。特高压建设加速将有效助力稳增长目标实现,稳定社会预期。
 
如此看来,特高压赛道长期景气。
3800亿的特高压,如何补齐新能源的最后一块短板?
设备是重中之重
特高压产业链可分为上游材料、中游设备与建设以及下游电网与配电设备。
上游环节主要涉及相关材料与元器件,包括钢材、有色金属、化工材料以及电子元器件等环节,原材料成本约占特高压电器的20%-30%。
 
中游特高压电器设备主要包括站内设备与电缆、铁塔。其中,站内设备是全产业链中的技术密集环节。下游市场较为集中,主要是国网、南网等电网公司,还有配网设备公司。
 
3800亿的特高压,如何补齐新能源的最后一块短板?
 
在特高压技术路径中,有两条分支,分别是直流和交流。可能部分投资者对于特高压交流和直流输电存在着争议。
中国科学院院士、中国电科院研究员周孝信指出,直流输电和交流输电只能互补,不能互相取代。
 
直流输电只具有输电功能、不能形成网络,类似于“直达航班”,中间不能落点,定位于超远距离、超大容量“点对点”输电。
直流输电可以减少或避免大量过网潮流,潮流方向和大小均能方便地进行控制。但高压直流输电必须依附于坚强的交流电网才能发挥作用。
 
交流输电则具有输电和构建网络双重功能,类似于“公路交通网”,可以根据电源分布、负荷布点、输送电力、电力交换等实际需要构成电网。
中间可以落点,电力的接入、传输和消纳十分灵活。定位于构建坚强的各级输电网络和经济距离下的大容量、远距离输电,广泛应用于电源的送出,为直流输电提供重要支撑。
 
尽管因输电形式不同,特高压直流与交流在基站数量与基站关键设备上存在差异,但设备投资均是特高压项目的重中之重。
 
就特高压直流项目而言,需建设换流站以实现交直流之间的转变,并达到电力系统对于安全稳定及电能质量的要求,投资重心是换流站。
 
站内主要包括换流变压器、换流器、平波电抗器、交流滤波器、直流滤波器以及无功补偿等。而换流站中最关键的设备就是实现换流功能的换流阀和换流变压器,二者分别占项目投资的15%与12%。
 
3800亿的特高压,如何补齐新能源的最后一块短板?
 
换流阀,它由数量繁多的多种元器件组成,结构较复杂。换流阀的设计应用了电力电子技术、光控转换技术、高压技术、等多种技术融合以及高压用绝缘材料的最新技术和研究成果。
通过依次将三相交流电压连接到直流端得到期望的直流电压和实现对功率的控制。
 
从20世纪50年代开始运行的第一个瑞典哥特兰岛直流工程开始,换流阀的制造技术随着大功率半导体器件的制造技术发展,换流阀装备制造技术实现快速升级。
 
从分类上看,除了常规的晶闸管阀、还有低频门极关断晶闸管阀(GTO阀)、高频绝缘栅双极晶闸管阀(IGBT阀)。
 
尤其是IGBT阀是实现柔性直流技术压舱石。柔性直流技术相比传统直流输电具备安全可控与灵活实用两大优势,是实现新能源大规模并网的必要前提。
 
柔性直流输电是构建智能电网的重要装备。与传统方式相比,柔性直流输电在孤岛供电、城市配电网的增容改造、交流系统互联、大规模风电场并网等方面具有较强的技术优势,是海上风电的最佳选择。
 
柔性直流输电在实现区域联网提高供电可靠性、缓解负荷密集地区电网运行压力等更多领域得到应用,是改变大电网发展格局的战略选择。
 
相比传统特高压输电项目,IGBT换流阀和极线断路器投资占比更高,投资占比接近20%。
2007年以前,世界范围内实现柔性直流换流阀工程应用的只有ABB公司,且采用的是两电平/三电平技术路线,存在运行损耗高、容量扩展难等问题。
 
2007年年底,国家电网公司决定建设上海南汇风电场柔性直流输电工程。
2013~2021年,柔性直流换流阀参数不断提升,新技术不断涌现,工程应用形式从两端到多端再到组成直流电网,实现了从科技示范到大规模应用的飞跃。
 
由于柔性直流输电的低惯性特点,故障发展速度极快,所以需要断路器超高速的保护与之配合,作用十分关键。极线断路器成本占比也达10.9%,占比甚至高于换流变压器。
 3800亿的特高压,如何补齐新能源的最后一块短板?
从2020年的换流阀市场竞争格局来看,国电南瑞占据半壁江山,其次是许继电气和中国西电。
 
从工程中标情况看,柔直换流阀环节仍以国电南瑞、许继集团、四方电工、特变电工、中国西电等主要电网设备公司参与为主。极线断路器方面,国电南瑞、思源电气、许继电气等保持领先。
 
3800亿的特高压,如何补齐新能源的最后一块短板?
 
特高压直流输电另外一个核心设备便是换流变压器,其主要用于长距离直流输电的电能转换等。
因为有交、直流电场、磁场的共同作用,所以换流变压器的结构特殊、复杂,关键技术高难,对制造环境和加工质量要求严格。
 
这一细分行业的竞争格局较为激烈,特变电工略微领先,中国西电、保变电气、山东电力设备相差不大。
 
3800亿的特高压,如何补齐新能源的最后一块短板?
 
在特高压交流项目中,投资重点是变电站。变电站内的电气设备分为一次设备和二次设备。
 
一次设备主要包括变压器、高压断路器、隔离开关、母线、电容器等。二次设备主要包括继电保护装置、自动装置、测控装置、计量装置、自动化系统以及为二次设备提供电源的直流设备。
 
简单来讲,完成发电-输电-配电功能的设备叫做一次设备,如发电机,断路器,电流电压互感器,变压器,避雷器等;对一次设备进行控制,保护作用的设备叫做二次设备,如继电器,控制开关,指示灯,测量仪表等。
 
二者之间最大的差别就在于所针对的电压等级不同。一次设备是根据高压侧来设计的,所带电压是强电,二次设备基本带的是弱电。
 
变电站中GIS(气体绝缘全封闭组合电器)与交流变压器是核心组件,据国泰君安统计,二者分别占项目成本的9%与7%。
从毛利率角度看,核心设备毛利率在30%左右,净利率在10%左右,相关环节公司业绩在特高压投资建设加速背景下弹性较大。
  3800亿的特高压,如何补齐新能源的最后一块短板?
综合来看,特高压电器支出约占特高压项目成本的60%。
假如国家电网3500亿美元的电网转型升级投资中,有40%投入到特高压建设项目,则2021-2025年我国对特高压电器的年均需求为1092亿元,特高压电器行业的市场规模有望扩大。
3800亿的特高压,如何补齐新能源的最后一块短板?
尾声
在新能源发电替代传统能源的道路上,储能、特高压技术是必不可少的。储能负责调峰调频,特高压则负责整合资源、分配资源。
 
风光发电+储能+特高压,三者将发电、运输、用电有机整合,形成新能源发电产业闭环。
 
作为新基建的重要领域之一,特高压建设具备产业链长、带动力强、经济社会效益显著等优势。
 
可以预见的是,新能源发电产业配套产业随着发电渗透率的提升同步发展,特高压产业已经蓄势待发。
转自:https://mp.weixin.qq.com/s/erhp6QGf28F4AR1ZbDlN0g
 
 
 

快狗打车们正驶入平台经济死胡同

本文系基于公开资料撰写,仅作为信息交流之用,不构成任何投资建议。

 

现在再来看,快狗打车、货拉拉、滴滴货运等一众网络同城货运平台,除去“移动互联网”“数字化”等一系列来自时代标签的特征,它们其实与本地物流货运的挂靠公司(即本地货运中介)没有根本区别——都是从撮合供需中抽取佣金的信息掮客。

如果网络平台的介入没有为行业带来新的合作关系或商业模式、没有为从业人员带来收入增长、也无法做大整体行业的蛋糕,那么网络平台之于该行业的必要性就大大降低,而这就是网络同城货运平台不得不面对的问题。

 

“不管是货拉拉还是快狗,都并未对同城货运带来更加革命性的改变。”常识之下,实质性问题在于:

 

  • 环境对于互联网平台公司已经不友好,而快狗们的集中度提升战争还未打完。

 

  • 低集中度的情况下,全行业已经在快速提高抽佣,司机挣得少行业怎么做大?

 

  • 以上两点,导致货运平台份额和盈利两不沾,这不只是IPO进程中的快狗的问题,也是全行业的问题。

  

快狗打车们正驶入平台经济死胡同

图:部分货运行业参与者,来源:网络

 

 

01

还是那套老故事

 

 

经历了这么多年共享经济的市场教育,平台的商业逻辑也就变得再清楚不过,每个参与者都在大肆烧钱朝着行业“龙一”的位置去发展,当其中一位开始坐拥市场绝对份额之后,再祭出大杀器——涨价,这一模板式的路数往往被市场称之为“平台税”。

 

照猫画虎,同城货运场景亦具备天然平台经济的组成要素,参与者通过“买流量”的方式(投入营销、地推等方式)汇集本地货运市场需求,另一方面则通过“补贴”的方式(低佣金、高配单等)吸引司机入驻平台;等到市场份额较高之后,再通过降低补贴、提高客单价和调高抽佣比例开始坐地收钱。

  

快狗打车们正驶入平台经济死胡同

图:平台税,来源:网络

 

这种平台套路基本上是一打一个准,无论是在电商、支付、外卖、打车市场,还是在共享经济、网络招聘等市场,无一例外都遵循“先做大、再称王”的平台经济思路。

 

但随着针对平台经济一系列的上层操作,以上商业逻辑已经在资本市场开始暗淡,导致整个互联网平台经济的估值都在回调。

 

与此同时,同城货运的参与者们仍然在加码争夺这一场景,又表明行业的竞争还很激烈,整体上行业仍处在烧钱换份额的阶段,这也是变数最大、风险最高的发展时期,而能够在行业中存活下来的往往最多不会超过3家。

 

所以,当错过最佳窗口期之后,再看如今依然处于烧钱阶段的同城货运平台们,对他们的故事已没有过多期待,已有物是人非的叹息之感。

 

 

02

平台中司机赚钱变难

 

 

聊完行业总体逻辑之后,我们可以将注意力先集中在现阶段司机端的资源供应上。当下平台货运司机收入的增长与否,将决定整体同城货运平台的市场渗透进度。

 

如果现在还有司机或是新人想咨询“加入同城货运平台是否赚钱的问题”时,那么部分老司机会这么回答,“如果你现在就有5-6千元的稳定月收入,那么还是乖乖回去继续上班吧。”

 

稍微分析老司机的回答,单纯的理解就是现在同城货运司机的收入一来不稳定,二来可能不比月入5-6千元;而复杂一点的理解也可能是,现在的月收入也可能要大于5-6千元,但是司机的月收入相较过去已经出现下降,所以直接劝退新人以延长供给资源的紧缺,从而保障收入。

 

但总体上,大致可以肯定的是,目前平台司机的收入呈现下降的趋势,它主要表现在如下3个方面:之前单吊“会员费模式”的货拉拉,现在也开始抽佣(比例在5%-15%之间);快狗打车的收入主要依靠抽佣,辅以会员费,从2018年至2021年9月,其国内市场的整体抽佣比例从5.8%增长到11.7%,海外则从4.5%增到9.2%;现在,平台司机哪怕成为付费会员,订单业务量并不能得到保障,空窗时间越来越多。

 

而针对货拉拉“899元开通超级会员月入3万”的传言,在某视频网站上,一位身在杭州的年轻货运司机(自有车、有经验)通过身体力行的方式验证,开通899元/月的超级会员服务后,一个月的流水大概在1.1万元,刨去加油费、餐食费、高速费、会员费等开支后,当月实际到手收入在7200元左右。 

 

快狗打车们正驶入平台经济死胡同

图:老司机草根调研,来源:网络

 

简言之,现在同城货运平台里的司机的收入正在走下坡路。

 

 

03

盈利与份额两不沾

 

正在IPO的快狗打车,是最早一批加入同城货运领域的平台玩家,也是从一众平台里脱颖而出的一家,其近年来的运营数据不仅能够反映个体公司的经营状况,也能够折射行业的基本情况。 

 

快狗打车们正驶入平台经济死胡同

图:快狗利润表,来源:招股书

 

截至2021Q3,快狗打车最新数据的营收为4.73亿元,毛利率增长至36%,亏损则达2.14亿元,亏损占比总营收再增至45.3%,亏损再次拉大。其中,销售及营销费用为2.31亿元,占比总营收约48.9%,同比2020Q3的1.5亿元同比增长了54%。

 

一方面快狗要在司机端扩大收入,另一方面其又在市场推广上进行大投入,这有别于先前平台经济的发展逻辑,意味着快狗在还没有取得稳固市场的情况下,开始打压自身平台的运力基石。 

 

快狗打车们正驶入平台经济死胡同

图:快狗现金流表,来源:招股书

 

造成快狗采取这一别扭行为的原因有很多,包括自有现金不足、IPO时间紧迫、滴滴货运半路搅局等等,导致快狗在财务盈利和市场份额之间难以做到“面儿上”的平衡,最终是两头都没沾上,一来亏损再次拉大,二是市场份额(同城货运线上平台交易额)从2020年的5.5%下降至2021Q3的3.4%,排名也从第二位下滑至第三位。

 

而对于快狗平台中的司机而言,收入被平台持续压降,平台份额的减少导致业务量缩减,越来越多的司机将离开平台。数据显示,从2018至2020年,快狗拥有的活跃司机数分别为21.68万、27.24万、23.29万,提供货运服务的司机分别为5.75万、7.99万、7.05万;而2020Q3和2021Q3的活跃司机数是20.20万和16.50万,其中提供货运服务的司机是5.67万和5.74万。

 

现在快狗的处境是,司机资源随着市场份额一起流失,平台没有突出的造血能力,现在再与市占第一的是货拉拉(在互联网同城货运市场中市占额超过50%,整体C端市场份额不高)以及第二的滴滴货运竞争抢市场,依靠IPO融资逆风翻盘的可能性有多高呢?

 

 

04

同城货运是平台经济的死胡同

 

 

事实上,快狗的失意并非会是个例,货拉拉或滴滴货运并不会因为少了一个竞争对手就更容易获得成功,平台经济的打法很可能并不适用于同城货运市场。

 

首先,我们需要搞清楚同城货运市场的规模和结构。中国的同城货运确实是一个万亿市场的规模,其中个人货运的需求大概只有15%,其余约85%的份额则来自于中小企业和大型企业的货运需求。

 

就细分市场增速而言,个人货运规模增长幅度最小,近年来基本维持在2000亿元规模;中小企业货运规模年均增长15%,2020年规模在3700亿元;大型企业的年均增长达到16%,2020年的规模在6700亿元,市场整体增量和份额都主要在于非个人业务。

 

直观上就很好理解,如果能够有一家同城货运平台在B端业务上取得30%以上的份额,那么他将会在烧钱竞争中获胜。换言之,谁擅长做B端货运业务,谁的优势将更加明显。

 

在货拉拉、滴滴货运和快狗打车三强中,快狗打车的发展路径和优势就在于B端业务(如为共享单车调度车辆、小型餐饮门店的原材料配送等),但其显然是一个证伪的例子,B端业务并没有让其市场份额持续提升。

 

核心在于,B端业务基本都来自于企业的经常性配送货需求,由于供需关系、物流路线、运货时点都比较稳定,所以企业与货车司机或是本地物流挂靠公司的合作关系也很稳固,这中间无法再容纳一个网络货运平台的角色。所以,前期平台能够通过烧钱的方式在企业和司机之间横插一脚,但平台开始反向收钱的时候,企业和司机自然就会排挤掉平台的牵绊。

 

既然无法在企业和司机之间插一杠,换成个人与司机之间的关系似乎又变得合乎情理,毕竟2000亿元个人同城货运的规模也不容小嘘,货拉拉就在于攻陷了个人用户的心智从而实现在网络同城货运平台中的一骑绝尘,而滴滴货运也同样依靠滴滴的C端流量迅速赶超快狗打车。 

 

快狗打车们正驶入平台经济死胡同

图:滴滴货运通过补贴快速起量,来源:网络

 

不过,C端同城货运平台的发展命门仍在司机这一环。

 

1、与打车场景不同,个人同城货运的频率要低得多;

 

2、货运司机基本都是职业人员,出行司机除了专职司机之外,还有众多的兼职司机,所以出行平台具备庞大的潜在运力,令平台的信息整合和实时撮合变得非常必要,而运力相对固定且需求频次很低的货运平台的信息撮合价值大大降低;

 

3、同城货运司机不可能专职跑个人类的零碎订单,他们大部分时间都在运送B端的货物,只会抽出富余时间跑个人业务,从总量看,货运司机在个人业务上投入的时间不会超过总工作时间的20%。

 

所以,哪怕有平台能够坐拥30%的C端货运市场份额,也很难通过提佣的方式获利,因为司机大部分收入来自于更为稳定的B端业务,平台对司机没有绝对把控能力,同样也无法在财务盈利和市场份额中达到平衡。

 转自:https://mp.weixin.qq.com/s/SPurjW7liZffMaHMRF1U1w