imgimg
imgimg
img
img
imgimg
首页
公共政策研究院
關於公共政策研究院
研究領域
img
精選內容
最新消息
研究刊物資料庫
img
活動回顧
img
中國文化研究院
香港地方志中心
活動資​​訊
媒體中心
關於我們
關於團結香港基金
img
惠澤機構/人士
img
管治架構
團結香港基金
img
中國文化研究院
img
香港地方志中心
img
顧問成員
img
管理層
法律及審計事務
年報
加入我們
聯絡我們
立即捐款
imgimgimgimgimgimgimg
Banner
评论文章

岑棓琛:开放数据以应付互联网的未来

2016年1月4日 (周一)
文章原載《am730》 2016年1月4日 (周一)

撰文:岑棓琛 视野机器人有限公司创办人及首席科学官 获IBM Smart Camp 2014全球年度创业家奖 
        
过去十多年,ICT行业在外国悄悄地起革命;而香港则由于偏重金融和房地产,ICT的发展落后于国际浪潮。这浪潮主要为M2M和物联网革命,以及大数据革命两方面。本文集中谈谈大数据革命,期望港府积极采取开放数据措施。

港府早于2008年把开放数据计划包括在“数码21”资讯科技策略之中。政府资讯科技总监办公室于2015年推出了公共资料入门网站data.gov.hk,提供18类公共资料和超过4,500个资料集。这些资料分别由42个政府部门提供。港府宜制定全面的政策协调各部门开放方方面面的数据,将更能便利公众使用,以促进创新产业的发展。

我们面对的大数据革命是怎样的呢?现在已经有很多自动化数据采集机器(天气感应器、视像镜头和手提电话等)每分每秒在采集世界各地的现实资讯 (realityinformation)。但采集这么大量的数据后还要详细分析,才能让这些杂乱无章的资讯(information)变成有用并能快速搜寻、排序和调用的数据(data)。科技界近年这些无穷无尽地推送的数据创一个名词──大数据(big data)。

Photo_1_1.jpg
现在已经有很多自动化数据采集机器每分每秒在采集世界各地的现实资讯。

大数据比较通俗的定义是:所涉及的资料量规模巨大到无法透过人手,在合理时间内达到采集、管理、处理、并整理成为人类所能解读的资讯。由于以往电脑硬件性能和软件算法都未成熟,从前每当数据工程师处理大量数据时,他们都只能把数据拆分成小型资料集,然后每个资料集微观地分析结果。透过现代化的电脑大数据处理,我们能把所有储存在数码资料库内的资料一次性合并进行宏观分析。宏观分析往往可以观测出一些微观处理方法无法突显的资讯和资料关联性。

大数据分析可用来察觉商业趋势、判定研究品质、推测疾病扩散、寻找恐怖分子、搜寻失踪人口、打击犯罪或测定即时交通路况等。在进行大数据分析前最重要的是有大型资料集,而大型资料集的建构就有赖于M2M和物联网的发展,为大数据分析软件提供无穷的真实数据以进行趋势分析。

大数据最简单的分析可以是“透过人口普查数据库,找出全国各地区居民平均结婚年龄和各地婴儿出生率的关系”,也可以复杂到“麦当劳麦乐鸡加价对于全国各地罪案率的影响”…… 美国其中一家最大的大数据分析公司Palantir。就推出了一个系统,可以透过社交媒体、报警热线等不同的数据库采集资料,自动搜寻被拐带儿童所在的位置。

Photo_2_3.jpg
透过现代化的电脑大数据处理,我们能把所有储存在数码资料库内的资料一次性合并进行宏观分析。
 

从前,如果要找寻一个失踪小孩,美国国家失踪及被利用儿童中心(The National Center for Missing & Exploited Children)的工作人员要搜寻多个数据库,并用人工配对各数据库的结果,看看是不是同一小孩。这过程非常慢,而且容易出错,Palantir就用电脑链接到数码地图和多个失踪儿童数据库,自动找出某种特点的小孩最大机会在哪里出现。

大数据分析包含了人工智能

大数据分析一般并不是简单的数据库搜索过程,而是包含了人工智能的成分。其中一个人工智能领域称之为机器学习(machine learning)。机器学习是一门比较高深的学问,涉及机率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。极端简化来说,它主要涉及了数据建模和学习进步这两个步骤。

首先,数据科学家会要求程式解决一些问题,例如要找出证券市场某股票价格会不会因为天气状况而大幅波动。电脑就会根据过去几十年的天气状况和股价上升和下降的关系建立一条公式,这就是数据建模。同时,程式会持续监控今天到下星期一之间的天气和股价关系,再微调关系公式,以预测下星期二台风来到时的股价趋势,这就是学习进步。

Photo_3_1.jpg
未来最珍贵的肯定不是石油,而是数据!

要编写一个万能的机器学习程序,在现在来说,基本是不可行的,因为不同的事和物都有着不同的相互关系,公式也是独一无二的。如何能编写一个有用的程式,透过大数据分析掌握别人想不到的社会或经济趋势,将会是未来大数据竞争最激烈的一个范畴。

马云和奥巴马都说过,未来最珍贵的肯定不是石油,而是数据,我十分认同!如果你能从无人飞机和衞星采集的大数据图片中推测到美国棉花3个月后会否失收,现在就是买入棉花期货的大好时机了!我相信在未来的互联网世界内,谁能实时掌握大量资讯,并妥善高效地整理成有用数据,谁就能拥有大量财富。

原文刊于《AM730》2016年1月4日,获作者授权转载。


最后更新于 2024年10月23日 (周三)
文章原載《am730》 2016年1月4日 (周一)

撰文:岑棓琛 视野机器人有限公司创办人及首席科学官 获IBM Smart Camp 2014全球年度创业家奖 
        
过去十多年,ICT行业在外国悄悄地起革命;而香港则由于偏重金融和房地产,ICT的发展落后于国际浪潮。这浪潮主要为M2M和物联网革命,以及大数据革命两方面。本文集中谈谈大数据革命,期望港府积极采取开放数据措施。

港府早于2008年把开放数据计划包括在“数码21”资讯科技策略之中。政府资讯科技总监办公室于2015年推出了公共资料入门网站data.gov.hk,提供18类公共资料和超过4,500个资料集。这些资料分别由42个政府部门提供。港府宜制定全面的政策协调各部门开放方方面面的数据,将更能便利公众使用,以促进创新产业的发展。

我们面对的大数据革命是怎样的呢?现在已经有很多自动化数据采集机器(天气感应器、视像镜头和手提电话等)每分每秒在采集世界各地的现实资讯 (realityinformation)。但采集这么大量的数据后还要详细分析,才能让这些杂乱无章的资讯(information)变成有用并能快速搜寻、排序和调用的数据(data)。科技界近年这些无穷无尽地推送的数据创一个名词──大数据(big data)。

Photo_1_1.jpg
现在已经有很多自动化数据采集机器每分每秒在采集世界各地的现实资讯。

大数据比较通俗的定义是:所涉及的资料量规模巨大到无法透过人手,在合理时间内达到采集、管理、处理、并整理成为人类所能解读的资讯。由于以往电脑硬件性能和软件算法都未成熟,从前每当数据工程师处理大量数据时,他们都只能把数据拆分成小型资料集,然后每个资料集微观地分析结果。透过现代化的电脑大数据处理,我们能把所有储存在数码资料库内的资料一次性合并进行宏观分析。宏观分析往往可以观测出一些微观处理方法无法突显的资讯和资料关联性。

大数据分析可用来察觉商业趋势、判定研究品质、推测疾病扩散、寻找恐怖分子、搜寻失踪人口、打击犯罪或测定即时交通路况等。在进行大数据分析前最重要的是有大型资料集,而大型资料集的建构就有赖于M2M和物联网的发展,为大数据分析软件提供无穷的真实数据以进行趋势分析。

大数据最简单的分析可以是“透过人口普查数据库,找出全国各地区居民平均结婚年龄和各地婴儿出生率的关系”,也可以复杂到“麦当劳麦乐鸡加价对于全国各地罪案率的影响”…… 美国其中一家最大的大数据分析公司Palantir。就推出了一个系统,可以透过社交媒体、报警热线等不同的数据库采集资料,自动搜寻被拐带儿童所在的位置。

Photo_2_3.jpg
透过现代化的电脑大数据处理,我们能把所有储存在数码资料库内的资料一次性合并进行宏观分析。
 

从前,如果要找寻一个失踪小孩,美国国家失踪及被利用儿童中心(The National Center for Missing & Exploited Children)的工作人员要搜寻多个数据库,并用人工配对各数据库的结果,看看是不是同一小孩。这过程非常慢,而且容易出错,Palantir就用电脑链接到数码地图和多个失踪儿童数据库,自动找出某种特点的小孩最大机会在哪里出现。

大数据分析包含了人工智能

大数据分析一般并不是简单的数据库搜索过程,而是包含了人工智能的成分。其中一个人工智能领域称之为机器学习(machine learning)。机器学习是一门比较高深的学问,涉及机率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。极端简化来说,它主要涉及了数据建模和学习进步这两个步骤。

首先,数据科学家会要求程式解决一些问题,例如要找出证券市场某股票价格会不会因为天气状况而大幅波动。电脑就会根据过去几十年的天气状况和股价上升和下降的关系建立一条公式,这就是数据建模。同时,程式会持续监控今天到下星期一之间的天气和股价关系,再微调关系公式,以预测下星期二台风来到时的股价趋势,这就是学习进步。

Photo_3_1.jpg
未来最珍贵的肯定不是石油,而是数据!

要编写一个万能的机器学习程序,在现在来说,基本是不可行的,因为不同的事和物都有着不同的相互关系,公式也是独一无二的。如何能编写一个有用的程式,透过大数据分析掌握别人想不到的社会或经济趋势,将会是未来大数据竞争最激烈的一个范畴。

马云和奥巴马都说过,未来最珍贵的肯定不是石油,而是数据,我十分认同!如果你能从无人飞机和衞星采集的大数据图片中推测到美国棉花3个月后会否失收,现在就是买入棉花期货的大好时机了!我相信在未来的互联网世界内,谁能实时掌握大量资讯,并妥善高效地整理成有用数据,谁就能拥有大量财富。

原文刊于《AM730》2016年1月4日,获作者授权转载。

最后更新于 2024年10月23日 (周三)
支持我们
立即捐款
联络我们
img
香港中环干诺道中88号南丰大厦19楼
img
+852 2603 3001
关注我们
imgimgimgimg
imgimgimg
ESG Care Organization
© 团结香港基金有限公司版权所有
支持我们
立即捐款
联络我们
香港中环干诺道中88号南丰大厦19楼
关注我们
imgimgimgimg
imgimgimg
ESG

© 团结香港基金有限公司版权所有