限 时 特 惠： 本站每日持续更新海量各大内部创业教程，一年会员只需98元，全站资源免费下载 点击查看详情
站 长 微 信： muyang-0410
为促进大数据学院同学的学术交流，促进共同学习，大数据学院学术部决定在原数智讲坛之下开创一个新的专项科普栏目。在这里，你可以了解到各种新奇实用的知识，在多个领域给你填补知识细节的空白，解答你可能出现过的疑惑。而我们的第一篇推送，矩阵求导（周允成作），便是填补优化课程中部分知识的空白。
这是一期严谨的推送，主要讲述的是矩阵求导的定义、性质和应用。所以首先我们要了解矩阵求导“是谁、从哪里来、到哪里去”。那么首先：什么是矩阵求导？
想想函数的导数是什么，我们就可以猜到，矩阵求导不是自变量变成了矩阵就是因变量变成多维度的了。事实上矩阵的求导方法在国际上没有统一的定义，这是因为每一个学者的专注领域不同会导致矩阵求导写法上的差异。虽然大同小异，但依旧不是能够轻易相互转化的。到底使用哪一种求导准则和符号表示，取决于我们的目标是什么矩阵的1范数，这就是“从哪里来”。
在统计学习领域，问题的目标惊人地简单：优化目标函数。而且多数情况下目标函数还是二次函数。在这种情况下，通常我们只需要求解一阶导数。基于这些理由，就可以如下定义矩阵相关函数的导数。
定义 1 （函数矩阵及其导数）
若有排列成 的 个函数 ，定义 满足如下映射关系：
则称 为函数矩阵，并可以定义其导数矩阵为
或使用矩阵元素的简写： 。
定义 2 （矩阵函数及其导数）
若有一个 的矩阵 ，定义 将矩阵 应设为一个实数。
则称 为矩阵函数，并可以定义其导数矩阵为
或使用矩阵元素的简写： 。
如此定义的符号体系之下，我们可以得到许多有趣的计算公式。
在这里，大写字母表示矩阵（或向量）、小写字母表示标量。
关于函数矩阵，以下算式成立。
，若 是一个常数矩阵
，其中 表示常见的乘法规则，如矩阵乘法、逐项乘法、卷积等
而关于矩阵函数我们可以证明以下矩阵函数求导公式：
有了这两个工具，大部分的简单二次优化问题就懂可以非常快速的解决了！
例 1 最小二乘法求解线性回归
对于矩阵 以及矩阵 ，求解矩阵 ，使得 最小。
其中 是 Frobenius 范数，。
证明：
对上式求导，得到
即
由于目标函数是凸函数， 即为所求。
熟练运用上面的公式，就可以很快地解决此类问题。对于嵌套问题，也有以下公式。
，其中 表示矩阵逐元素乘积
，是一个逐元素的函数
矩阵的1范数，其中 表示矩阵卷积，定义为
，其中 且 表示带有边际的矩阵 ，即
这里简单列举了一些平时经常可以用到的公式，读者可以尝试着自己证明一下，遇到新的问题的话可以自己推导新的公式简化运算噢！
文案|学术部
排版|新媒体中心
限 时 特 惠： 本站每日持续更新海量各大内部创业教程，一年会员只需98元，全站资源免费下载 点击查看详情
站 长 微 信： muyang-0410
