当前位置:   金科网 > 人工智能 > 正文

机器学习 101:一文带你读懂梯度下降

  机器学习 101:一文带你读懂梯度下降

机器学习 101:一文带你读懂梯度下降

  原标题 Machine Learning 101: An Intuitive Introduction to Gradient Descent

  作者 Thalles Silva

  译者 汪鹏(重庆邮电大学)、通夜(中山大学)

  编辑:王立鱼

  英语原文:https://towardsdatascience.com/machine-learning-101-an-intuitive-introduction-to-gradient-descent-366b77b52645

机器学习 101:一文带你读懂梯度下降

  梯度下降无疑是大多数机器学习(ML)算法的核心和灵魂。我绝对认为你应该花时间去理解它。因为对于初学者来说,这样做能够让你更好地理解大多数机器学习算法是如何工作的。另外,想要培养对复杂项目的直觉,理解基本的概念也是十分关键的。

  为了理解梯度下降的核心,让我们来看一个运行的例子。这项任务是这个领域的一项老任务——使用一些历史数据作为先验知识来预测房价。

  我们的目标是讨论梯度下降。所以我们让这个例子简单一点,以便我们可以专注于重要的部分。

  但是在我们开始之前,你可以点击此处获取代码

  基本概念假设你想爬一座很高的山,你的目标是最快到达山顶,可你环顾四周后,你意识到你有不止一条路可以走,既然你在山脚,但似乎所有选择都能让你离山顶更近。

  如果你想以最快的方式到达顶峰,所以你要怎么做呢?你怎样才能只迈出一步,而能够离山顶最近?

  到目前为止,我们还不清楚如何迈出这一步!而这就是梯度的用武之地。

  正如可汗学院的这段视频所述,梯度获取了一个多变量函数的所有偏导数。

  让我们一步步来看看它是如何工作的。

  用更简单的话来说,导数是一个函数在某一点的变化率或斜率。

  以f(x)=x2函数为例。f(x)的导数就是另一个函数f'(x)在一个定点x的值,f'(x)就是f(x)的斜率函数。在这种情况下,当x=2时,f(x) = x2的斜率是2 x,也就是2*2=4。

  

机器学习 101:一文带你读懂梯度下降

  

f(x) = x2在不同点的斜率。

  简单地说,导数指向上升最陡的方向。恰巧的是,梯度和导数基本上是一样的。除了一点,即梯度是一个向量值函数,向量里包含着偏导数。换句话说,梯度是一个向量,它的每一个分量都是对一个特定变量的偏导数。

  以函数f(x,y)=2x2+y2为另一个例子。

  这里的f(x,y)是一个多变量函数。它的梯度是一个向量,其中包含了f(x,y)的偏导数,第一个是关于x的偏导数,第二个是关于y的偏导数。

  如果我们计算f(x,y)的偏导数。

  

机器学习 101:一文带你读懂梯度下降

  得到的梯度是以下这样的向量:

  

机器学习 101:一文带你读懂梯度下降

  请注意,其中每个元素都指示了函数里每个变量的最陡上升方向。换句话说,梯度指向函数增长最多的方向。

  回到爬山的例子中,坡度指向的方向是最快到达山顶的方向。换句话说,梯度指向一个面更高的地方。

  同样的,如果我们有一个有四个变量的函数,我们会得到一个有四个偏导数的梯度向量。通常,一个有n个变量的函数会产生一个n维梯度向量。

  

机器学习 101:一文带你读懂梯度下降

  但是对于梯度下降,我们不想让f函数尽快地最大化,我们想让它最小化。

  所以让我们先定义我们的任务,让目标变得更清晰明确一点。

  房价预测我们的目标是基于历史数据来预测房价。而想要建立一个机器学习模型,我们通常需要至少3个要素——问题T、性能度量P和经验E,我们的模型将从这其中学习到一些模式知识。

  为了解决问题T,我们将使用一个简单的线性回归模型。该模型将从经验E中学习,经过训练,模型就能将其知识推广到未知数据中。

  线性模型是一个很好的学习模型。它是许多其他ML算法的基础,比如神经网络和支持向量机。

  在本例中,经验E就是房屋数据集。房屋数据集包含了圣路易斯奥比斯波县及其周边地区最近的房地产清单。

  数据集包含了781条数据记录,可以在原文下载CSV格式的数据文件。为了简便,在数据的8个特征中,我们只关注其中的两个特征 : 房屋大小和价格。在这781条记录中,每一条记录的房屋大小(以平方英尺为单位)将是我们的输入特征,而价格则是我们的预测目标值。

  此外,为了检查我们的模型是否正确地从经验E中学习到了模式知识,我们需要一个机制来衡量它的性能。因此,我们将平方误差(MSE)的均值作为性能度量P。

  

机器学习 101:一文带你读懂梯度下降

  多年来,MSE一直是线性回归的标准。但从理论上讲,任何其他误差测量方法,比如绝对误差,都是可用的。而MSE的一些优点是,它对误差的衡量比绝对误差更好。

  现在我们已经公式化了我们的学习算法,让我们深入研究代码。

  首先,我们使用pandas在python中加载数据,并分离房屋大小和价格特征。之后,我们对数据进行标准化,以防止某些特征的大小范围与其他特征不同。而且,标准化过的数据在进行梯度下降时,收敛速度比其他方法快得多。

  

机器学习 101:一文带你读懂梯度下降

  下面,你可以看到以平方米为单位的房价分布。

  

机器学习 101:一文带你读懂梯度下降

  

按面积计算的房价分布。数据被标准化到了[0,1]区间。

  线性回归模型的工作原理是在数据上画一条线。因此,我们的模型由一个简单的直线方程表示。

  

机器学习 101:一文带你读懂梯度下降

  

线性方程,m和b分别是斜率和y轴的截距,x变量是输入值。

  对于线性模型,斜率m和y轴的截距b是两个自由的参数。我们则要通过改变这两个参数来找到最好的直线方程。

  我们将对它们迭代执行一些细小的改变,这样它就可以沿着误差曲面上最陡的下降方向走。在每次迭代之后,这些权重变化将改善我们的模型,使得它能够表示数据集的趋势。

  在继续往下看之前,请记住我们要取梯度的反方向来进行梯度下降。

  你可以把梯度下降想象成一个球滚下山谷。我们想让它落在最深的山谷里,然而很明显,我们看到实际情况可能会出错。

  

机器学习 101:一文带你读懂梯度下降

  

打个比方,我们可以把梯度下降想象成一个球滚下山谷。最深的山谷是最优的全局最小值,这是我们的目标。

  根据球开始滚动的位置,它可能停在某一个山谷的底部。但不是最低的。这叫做局部极小值,在我们的模型中,山谷就是误差面。

  注意,在类比中,并不是所有的局部极小值都是糟糕的。实际上其中一些几乎和最低的(全局)一样低(好)。事实上,对于高维误差曲面,最常见的方法是使用这些局部极小值中的一个(其实也不是很糟糕)。

  类似地,我们初始化模型权重的方法可能会导致它停留在局部极小值。为了避免这种情况,我们从均值为零且方差较小的随机正态分布中初始化两个权值向量。

  在每次迭代中,我们将取数据集的一个随机子集,并将其与权重线性组合。这个子集称为迷你批处理(mini-batch)。在线性组合后,我们把得到的向量输入MSE函数,计算新的误差。

  利用这个误差,我们可以计算出误差的偏导数,然后得到梯度。

  首先,我们得到关于W0的偏导数:

  

机器学习 101:一文带你读懂梯度下降

  

W0的偏导数

  接下来,我们求W1的偏导数

  

机器学习 101:一文带你读懂梯度下降

  

W1的偏导数

  由这两个偏导数,我们可以得到梯度向量:

机器学习 101:一文带你读懂梯度下降

  

梯度向量

  其中Err是MSE错误函数。

  有了这个,我们的下一步是使用梯度更新权重向量W0和W1,以最小化误差。

  我们想要更新权重,以便它们可以在下一次迭代中将错误降低。我们需要使它们遵循每个相应梯度信号的相反方向。为此,我们将在这个方向上采取小尺寸η的小步骤。

  步长η是学习率,它控制学习速度。根据经验,一个好的起点是0.1。最后,更新步骤规则设置为:

  

机器学习 101:一文带你读懂梯度下降

  在代码中,完整的模型看起来像这样。查看两个梯度DW0和DW1前面的减号。这保证了我们将在与梯度相反的方向上采取步骤。

  

机器学习 101:一文带你读懂梯度下降

  更新权重后,我们使用另一个随机小批量重复该过程,就是这样。

  逐步地,每次重量更新导致线路中的小的移动朝向其最佳表示。最后,当误差方差足够小时,我们就可以停止学习。

  

机器学习 101:一文带你读懂梯度下降

  随时间变换的线性模型。第一次权重更新使线条快速达到理想的表示。

  此版本的梯度下降称为迷你批处理(Mini-Batch)随机梯度下降。在这个版本中,我们使用一小部分训练数据来计算梯度。每个小批量梯度提供最佳方向的近似值。即使梯度没有指向确切的方向,实际上它也会收敛到非常好的解决方案。

  

机器学习 101:一文带你读懂梯度下降

  

每一个Epoch的错误信号。请注意,在非常快地减小误差信号之后,模型会减慢并收敛。

  如果你仔细观察错误图表,你会注意到,在开始时学习速度会更快。

  然而,在经过一些Epoch之后,它会放慢速度并保持平稳。这是因为,在开始时,指向最陡下降的梯度向量的幅度很长。结果,两个权重变量W0和W1遭受更大的变化。

  接着,随着它们越来越靠近误差表面的顶点,梯度逐渐变得越来越小,这导致了权重的非常小的变化。

  最后,学习曲线稳定,并且过程完成。金科网金科网(公众号:金科网)金科网

  想要继续查看该篇文章相关链接和参考文献?

  点击【机器学习101:一文带你读懂梯度下降】即可访问!

  今日博客推荐:「元学习」解析:学习如何梯度下降与学习新的算法

  本文作者 Cody Marie Wild,她是一位机器学习领域的数据科学家,在生活中还是名猫咪铲屎官,她钟爱语言和简洁优美的系统。在这篇文章中,Cody介绍了元学习的基本概念和方法类别,讨论了「元学习」到底在学什么、又有哪些限制。

  详情查看点击:https://ai.yanxishe.com/page/blogDetail/5798

  金科网原创文章,未经授权禁止转载。详情见转载须知。

机器学习 101:一文带你读懂梯度下降

415事件 415事件 IFO abcc交易所 ama事件 bibox bitfinex bitshares bitstamp btcguild btcguild主页 btcc btcguild btc论坛 chain coin coinbase coinmarket coinmarketcap dc资讯 deepbit ether ethereum filecoin fiscobcos hotstuff huobi huobiwang hyperledger ico比特币 imtoken kncminer kyle lsk mtgox破产 nervos okcoin okcoin okcoin交易平台 okex公众号被封 purpleline purse r3 ripple thundernetwork usdt暴跌 vdf zcash 爱德华·斯诺登 暗黑币 巴菲特比特币 巴西比特币洗钱案 百度bet36体育滚球投注_bet36大陆备用网址_bet36体育投注备用链白皮书 斑马社 比特币8000美元 比特币价格 比特币暴涨 比特币跌破 比特币风险 比特币工厂 比特币汇率 比特币交易平台 比特币交易网 比特币今日价格 比特币勒索 比特币论坛 比特币骗局 比特币期货 比特币世界 比特币是什么 比特币听证会 比特币现金 比特币行情 比特大陆 比特股 比特论坛 比特现金 比原链 币贝 币创网 币网 币盈网 币众筹 博纳云 蔡欣 超主权货币 传销组织售暗黑币 达世币 复杂美bet36体育滚球投注_bet36大陆备用网址_bet36体育投注备用链 公信宝 共享财经 狗狗币 关于防范比特币风险的通知 韩锋 韩国vs委内瑞拉 荷兰皇家壳牌集团 荷兰式拍卖 贺华成 恒星币 火币网 基亚索 极度贪婪 加密货币 蒋旭宪 金磊 矩阵元 烤猫 老猫 雷霆网 量化交易 邻萌宝 孟岩 摩根币官网 魔兽世界密保卡 旁氏骗局 bet36体育滚球投注_bet36大陆备用网址_bet36体育投注备用链 bet36体育滚球投注_bet36大陆备用网址_bet36体育投注备用链知乎 bet36体育滚球投注_bet36大陆备用网址_bet36体育投注备用链是什么 bet36体育滚球投注_bet36大陆备用网址_bet36体育投注备用链游戏 区域链 全球bet36体育滚球投注_bet36大陆备用网址_bet36体育投注备用链大会 荣格财经 瑞波币 瑞波币交易平台 塞浦路斯事件 闪电网络 什么是bet36体育滚球投注_bet36大陆备用网址_bet36体育投注备用链 史玉柱女儿史静 首家互联网法院 数秦科技 溯源链 算力吧 特朗普任命幕僚长 填补空白 万向bet36体育滚球投注_bet36大陆备用网址_bet36体育投注备用链 王峰十问 王瑞锡 网易王磊 微宽网 维卡币官网 乌克兰前总理 西湖龙井资讯平台 下架币 小企股 小喵 迅雷在美遭遇诉讼 迅雷资讯 央行比特币 以太 以太币 以太坊 以太坊官网 以太坊价格 隐私云 于佳宁 元界 张海宁 账本 质数币 中本聪 朱波 朱嘉明 资本实验室 资产上链 1吨tnt的威力 1吨tnt的威力 2016深圳双创周 2016影响因子 2017新增院士名单公示 2017院士增选名单 2017支付宝扫码领红包 21吨tnt 2g物联网芯片 360ak47 360百度大战 360ak47 360百度大战 360大战百度 360和百度大战 360黑匣子 360手机ak47 360与百度大战 5.3寸手机 9505和9500区别 SmartisanOS发布会 bada论坛 build2017大会 csdn泄密 cv狗狗 dubike官网 evad3rs官网 facebook时间线 flappybird记录 google资讯 gpu是什么 icloud艳照门 inwatch官网 ios7支持机型 iphone5nanosim卡 iphone5宣传片 iphone5最新消息 iphone6mini iphone7或成爱疯最终形态 i美股 jwotch腕宝 lbs观景台 lily无人机 lytro光场相机 miuiv6发布会直播 mobileye被收购 myo腕带 nasa最新消息 nest恒温器 norse黑客大战 okex公众号被封 pepper机器人 pornhubcom日本视频 prynt手机壳 pythonmatplot绘图 qq火炬 qq天降红包 smartphone手机 sophone官网 tegra3四核处理器 ttg优惠券 vr爱情动作片在线播放 vr爱情动作片资源 vr左右格式爱情动作片 wifi怎么读 wp7越狱 阿里巴巴上市视频直播 阿里巴巴新任ceo 阿里无人超市 艾薇儿艳照事件 爱搞机 爱稀奇网 安卓挖矿蠕虫 暗黑机器人 奥巴马僵尸粉 奥迪男 百步淘 百度财报 百度360大战 百度财报 百度美拍 百度通讯录 百融 暴风播控云 暴风资讯 贝利珠 便利贴相机 播控云 草榴最新 草榴11 草榴客户端 草榴色导航 草榴色区 草榴时光 草榴网站 畅呼吸 超光速引擎 车国网 陈小同 陈孝良 池泽彩野花 锤子手机发布会2016 垂直搜索引擎有哪些 春运车票四大陷阱 大旗网 大旗网首页 大色鱼网站 戴珊 地沟油航班首飞行 点滴网络 点心os 点心rom 电信董事长调任移动 电蟒 丁道师 丁香园用药助手 独立调查员 兑吧积分商城 多听v电台 发改委罚高通60亿 发现应用克隆漏洞 凡宇资讯 飞飞发 风火轮滑板 符德坤 福岛电站辐射爆表 福岛核电站辐射爆表 高通8064 工业互联网 宫爆老奶奶bug 共享女友项目被罚 狗眼看世界 谷歌资讯 广告资讯 桂花网 桂卫华 郭佳 郭子威 国产手机信息网 国外选美辣眼睛 海尔透明电视 韩寒的杂志 航芯一号 毫米波 黑莓a10 虹膜支付 红米首发新品 红星操作系统 后pc时代 胡时伟 互联网最新资讯 华纳资讯 华佗智能医生 黄网 黄修源 徽剑 机器人技术 机器人记者崛起 极飞科技 极幕 极幕vr眼镜 集群飞行器 计算机图形学 记忆球 记者700元买同事行踪 贾跃亭令计划 监听门 江苏快3上宏发玩 街旁app 金蝶微博 金立e7发布会 京东金融更名 京东数据泄露 九又vr 凯文·米特尼克 考拉班车 考拉盒子 科大讯飞教育 科技媒体 科学家探测到引力波 空中巴铁 酷开vr 酷六网 快按钮 快播咨询 快播资讯 快播资讯首页 快播最新 雷峰 雷锋 雷锋电影 雷锋2012 雷锋报 雷锋的 雷锋的电影 雷锋的死因 雷锋的头像 雷锋的真相 雷锋电影 雷锋介绍 雷浪声 李开复写的书 李文栋 李一舟 李一舟微博 李一周 量子态隐形传输 林德康 林志颖iphone5 刘成敏 刘明辉 刘韧磊 刘世康 路宝盒子 鹿晗清晗基金陷色情门 罗永浩西门子 美国大选实时 美立知 蒙特卡洛树搜索 猛犸4浏览器 米多娱乐 觅创 明日合伙人 爬行者 潘翔 苹果ceo年薪 苹果飞行器 苹果新ceo 苹果最新消息 ⑵桨宓缒宰钚伦恃?企业社交网络 抢购信息 乔治·霍兹 亲心小号 邱懿武 曲奇单车 趣店数据疑似外泄 仁宝回应乐视欠款 人工智能图普科技. 人工智能技术 人工智能建站系统 人工智能图普科技 人魔网 日志宝 如果云 三星gearvr-vive 山寨iphone5 舌尖上的元素周期表 申威1600 申威1600处理器 深航app劫持微信 深圳车牌 神舟天宫对接成功 沈向洋 视频压缩算法 试用目录 手机气压感应器 手机水货和行货的区别 手机水货与行货的区别 数据丢失 数字化医疗 斯诺登事件最新消息 私家车不允许当专车 宋黎明 孙冰 孙丕恕 索尼honami 探针盒子 唐杨林 特斯拉处破产边缘 特斯拉进入迪拜 腾讯安全反病毒实验室 腾讯创业服务平台 腾讯优图实验室 同盾科技 图片搜索引擎大全 玩客币骗局 玩客云骗局 汪滔 王汉华 王思聪吐槽ios9 王星 王自如致歉 网红脸识别大战 网红脸识别人机大战 网易邮箱密码泄露 网易邮箱泄露 微软补丁 微软漏洞 微软面试题 微软宣布完成收购 微信5.5 为盲胞读书 温州电视台被黑 温州广电被黑 温州有线电视被黑 文件大师 无人机配件清单 吴俊杰 西湖论剑 夏航 先声教育 鲜果联播 小米2013年度发布会 小米4c发布会 小米iot 小米畅聊 小米资讯网 肖恩·范宁 肖力 新浪轻博客 嗅探 虚拟房间 迅雷大数据 迅雷新闻 迅雷资讯 迅雷资讯首页 亚航客机失联8大事实 岩田聪 遥控直升机原理 业界新闻 一吨tnt的威力 一数科技 医疗问答平台 伊莉 移动互联 易趴网 银行数据挖掘 印度发104颗卫星 英伟达收购mellanox 硬件资讯 优谈宝宝 游戏画风让人流鼻血 有鹏出行 俞太尉 俞扬 约翰斯卡利 岳路平 月饼事件 云罐 责令运营商整改 宅客 窄播 张嘉伟 张梦华 张首晟去世 张溪梦 哲也 臻识 臻识科技 织点智能 智慧 智能 智能网站 智适应 智铀科技 周鸿祎天天向上 周路明 朱坤 抓小三软件 追气球的熊孩子 咨询快播 资讯快播 资讯快播下载 自动驾驶出租车 最新病毒信息 最新色情片 最新艳照 汶川地震6周年 炫轮 睿医智能医生 魅蓝metal发布会 魅族mx四核评测 chengren游戏 chengren游戏 htc视频 htc游戏 htc游戏免费下载 h单机游戏下载 vr评测 vr世界 vr体验馆 vr网站 vr下载 vr虚拟现实 vr游戏 vr资讯 vr资源 安卓h游戏 安卓成人游戏 安卓手机成人游戏 奥秘世界 暴风魔镜4 北京虚拟现实 成年网络游戏 成仁游戏 成仁游戏单机 成人网页游戏 成人网游 成人游戏 成人h单机游戏 成人h游戏下载 成人youxi 成人单击游戏 成人单机版游戏 成人单机小游戏下载 成人单机游戏排行榜 成人单机游戏网 成人单机游戏下载 成人单机游戏下载基地 成人电脑单机游戏 成人电脑游戏 成人网络游戏 成人网页 成人网页小游戏 成人网页游戏 成人网游下载 成人游戏 成人游戏单机版 成人游戏电脑版 成人游戏机 成人游戏免费下载 成人游戏排行榜 成人游戏下载网站 成人游戏迅雷下载 成人娱乐 成人娱乐中心 成人之家 承认游戏 大朋看看 单机版成人游戏 单机成人小游戏 单机成人游戏 单机成人游戏下载 多哚 风云客 极维客 九又vr 乐客vr 罗技游戏方向盘 色请游戏 体感游戏 外星人alw17er 网页成人游戏 微软眼镜 虚拟现实游戏 虚拟现实中国社区 移动vr 掌网 最新h单机游戏 嗨镜