向右踏步:优化机器学习

机器学习模型,也称人工智能模型,近些年来在复杂性方面飞跃惊人并大规模进入公共领域高可见度例子有聊天机聊天GPT和图像生成器DALLE2尽管取得了这些进步,但仍需要做大量工作才能提高机器学习效率、可靠性、安全性和公平的程度,然后才能完全融入社会-无论是文本生成器或高取技术如自驾驶车

Flatiron研究研究员内海瓦达研究者之一努力提高机器学习的效率和可靠性一个项目,她研究应用方法 从数值分析培训机器学习模型 效率更高

瓦佳加入扁平学院s类计算数学中心或CCM 2022在此之前,她挣得博士学位加州大学伯克利分校生物物理学硕士 近距离理论物理学院物理硕士 和阿默斯特学院物理学学士她是印度班加罗尔国家生物科学中心初级研究员

必威注册网站瓦达最近与西蒙斯基金会谈起她的工作和机器学习的未来对话编辑清晰

机器学习项目

我当前工作的主要项目之一是优化领域, 即机器学习技术工作马机器学习中,我们通常先从数据集和模型开始,我们训练这些数据集和模型学习数据函数培训通过解决优化问题实现,即通过调优参数最小化模型性能误差举例说,如果我们训练模型识别图像中的人类, 我们可以通过图像数测量性能 模型错误回答

最优化类比: 想象你走在山地上 并试图寻找最深谷通情达理策略是环游最陡坡并朝此方向跨出一步或至少达到最深点 即原创位置以此类比,遍历图中的每一点都可能是模型参数值集,而高度度测量模型误差行进对调模型参数

事实证明计算下一步方向不难难以判断的是要跨出多大步要理解这一点,想走在碗状表面步步过长,可能超底部并死在碗的另一端取步太小时,在到达前可耗尽计算成本以不多步方式选择每一步的大小 并避免误入谷地

选择右尺寸步骤,我们常使用所谓的自适应阶梯法,即算法类,以尊重速度和计算预算权衡的方式调整阶梯长度偏差在于方法常难解析, 并可能比别方法多取计算成本基于这两个原因,我正努力开发新的高效可解释适应方法优化同我的合作者一道,我从数值分析中借用技术-数学领域与模拟动态系统相关-并应用这些技术优化粗略地说,主要思想是重构机学习模型培训过程,并利用现有高效和有原则技术从数值分析模拟系统

做这个项目非常有用 因为CCM拥有世界最优数分析组我一直在学习数值分析验证技巧 从组证明它 并用优化能够走近邻并依赖他们的专业知识是件好事从数学领域看到思想在另一个领域成功使用很酷以美美方式庆祝计算科学一致性

接近大规模应用

尚不初步实验结果似乎显示方法效果极好,小尺度计算效率极强-带数百参数模型按现代标准算这不算多,模型往往有数以百万计的参数。很快我将开始编译方法 大尺度并观察它如何实现

基于我迄今实验所见结果, 我认为我的工作肯定对优化理论圈感兴趣如果方法大尺度性能良好,大模型构建者可能也感兴趣它将为当前大规模使用适应方法提供可解释替代方法

机器学习中我发现的一个有趣的事是 答案类优先原理问题你可能问 以理解管道某些部分工作 通常产生实用意义或产生新算法高效自适应步数方法的工作 从理解机学习常用优化算法动态中产生动态至关重要,因为它们完全影响所学知识,因此,如果我们理解并从而更好地控制动态,我们可以直接将更高效率和其他属性编译入模型

效率很重要,因为大型模型需要巨大的计算电量并有大量碳脚印大模型培训过程释放二氧化碳量可达纽约和旧金山间数百次航班释放量,计算出每位乘客。很明显,越高效培训 越多减少碳排放

强健性是我们所关心的另一个属性,当机器学习模型用于社会环境时,这一点至关重要,特别是当它们的输出值有可能高取决策基础时。举个例子,如果自驱动车图像识别系统无法可靠地区分截牌和速度限号,当它们覆盖涂鸦时,它可能造成危险状况

10年中你在哪里看到机器学习

十年前,如果你告诉机器学习研究者 十年内我们会有这些基因模型-像DALLE2和ChatGPT-

人建模型 令我们大吃一惊 手电机和艺术生成器等新应用我怀疑那会继续 方式我什至无法预测

然而,在研究端和社会端上也都存在巨大的挑战,两者交织在一起。我相信,理解培训动态将使我们能够至少部分解决许多问题,包括缺乏强健性、效率和公平的问题。

下一个大问题 我希望我们在十年内能取得进展 问题是如何分配误差栏举个例子,如果你使用图像识别算法 帮助医生识别癌症肿瘤, 你需要能提供点保证 模型多常正确整体不确定性科学机器学习目前几乎完全缺失

我还有另外两个希望 在不久的将来机器学习研究第一,当我们推向机器学习模型所能实现的极限时,我认为同样重要的是理解他们无法实现的东西。以研究者的身份,当模型用于公共领域-甚至科学本身-时会让我紧张,尽管我们不理解它们的局限性。第二,我也很清楚 即使是机器学习者 大多做笔纸研究 都对世界有影响身为科学家,我们没有受过训练去思考我们的研究和我们的意见可能产生的影响需要改变我认为我们需要多点声音 关于我们工作使用方式