易混淆的基本概念
标量:单个数字
向量:行数/列数
矩阵:二维数组
张量:一般指多维(0维张量是标量,1维张量是向量,2维张量是矩阵)
转弯:沿主对角线折叠
Numpy中定义矩阵的方法和转置法;
import numpy as npa = np.array([[1, 2, 3], [4, 5, 6]])a = a.reshape(3, 2)print(a)[[1 2] [3 4] [5 6]]复制代码
基本算术关系
与高等数学中矩阵乘法的内容一致:
a = np.array([[1, 2], [3, 4]])b = np.array([[5, 6], [7, 8]])print(a * b)print(a.dot(b))print(np.dot(a, b))print(np.linalg.inv(a))# 星(*)[[ 5 12] [21 32]]# 点乘[[19 22] [43 50]]# 点乘[[19 22] [43 50]]# 逆运算[[-2. 1. ] [ 1.5 -0.5]]复制代码
有界范数
Norm是用于测量长度的函数。数学上,范数包括向量范数和矩阵范数。
向量范数
先讨论向量的范数。向量有方向和大小,这个大小用范数来表示。
严格地说,范数是满足以下性质的任意函数:
当p=2时,范数(,可以简写为)称为欧氏范数,可以计算距离。但是我们可以看到这里有一个平方根运算,所以为了去掉这个平方根,我们可能会求范数的平方,也就是范数,这样会减少一个开运算。在后面提到的损失函数中,范数和平方范数都提供了相同的优化目标,所以平方范数更常用,计算起来也更简单。可以算出来,很快。
当p=1时,范数()是向量中每个元素的绝对值之和。在机器学习领域,范数优于区分0和非0的范数。
当p=0时,范数实际上不是范数。大部分提到范数的地方都会强调它不是真范数,用来表示这个向量中有多少个非零元素。但实际上在非加文百科中非常有用,在机器学习中的正则化和稀疏编码中有应用。在一个例子中,据说判断用户名和密码是正确的。当,登录成功,当,用户名和密码有错误,当,用户名和密码都有错误。我们知道是这样的,以后看到相关内容知道就好了。
当p为无穷大时,范数也称为无穷范数和最大范数。表示向量中元素的最大绝对值。
矩阵范数
对于矩阵范数,我们只说弗罗贝纽斯范数。简单地说,这意味着矩阵中所有元素的平方和被重新平方。还有其他定义,如下,其中表示共轭转置,tr是迹;表示的奇异值:
奇异值分解
我们熟悉的特征值分解矩阵:,奇异分解类似于:,其中矩阵的行和列的值为,正交矩阵,对角矩阵和正交矩阵,矩阵对角线上的元素称为的奇异值,其中非零奇异值为或的特征值的平方根;称为左奇异向量,它是文佳社会百科全书的特征向量;称为右奇异向量,是特征向量。因为奇异矩阵是不能求逆的,而求逆是一种非常好的研究矩阵的方法,所以考虑退而求其次的方法,伪求逆,这种方法最接近矩阵求逆,把矩阵变成最舒服的形式来研究其他性质。伪求逆把矩阵变成非零元素,主对角线上那么多秩,矩阵中其他元素都是零。这也是统计学中常用的方法,在机器学习中非常有用。
定义
对角矩阵:只有主对角线包含非零元素;
单位向量:有单位范数的向量;
正交向量:如果两个向量都不为零,则角度为90度;
正交性:相互正交,范数为1;
正交矩阵:行向量和列向量分别是标准正交的;
分解:将矩阵分解为特征向量和特征值;
以及特征值和特征向量:之和;
正定、半正定、负定:所有特征值都是正的、非负的、负的。
摘要
线性代数的一个特点就是“一堆”,知识体系统一,相互联系紧密,而且非常漂亮。它在深度学习中有重要的应用,我们要学好它。
以上就是由优质生活领域创作者 嘉文社百科网小编 整理编辑的,如果觉得有帮助欢迎收藏转发~
本文地址:https://www.jwshe.com/679163.html,转载请说明来源于:嘉文社百科网
声明:本站部分文章来自网络,如无特殊说明或标注,均为本站原创发布。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。分享目的仅供大家学习与参考,不代表本站立场。