Zhang XiJun

BLOGS

发表于 分类于 ，

实验1：变量输出与机器数分析

1.1 运行代码并分析输出

源代码： 

1
2
3
4
5
6
7
8
#include <stdio.h>
int main() {
    int x = -1;
    unsigned u = 2147483648;
    printf("x = %u = %d.\n", x, x);
    printf("u = %u = %d.\n", u, u);
    return 0;
}

编译与运行： 

1
2
gcc -o test1 test1.c
./test1

输出结果（假设32位系统）： 

1
2
x = 4294967295 = -1.
u = 2147483648 = -2147483648.

结果分析： - x = %u：
x 是 int 类型的 -1，二进制补码为 0xFFFFFFFF。用 %u（无符号）解释时，0xFFFFFFFF 对应 4294967295。 - x = %d：
正常输出 -1。 - u = %u：
u 是 unsigned 类型的 2147483648（即 0x80000000），直接输出为 2147483648。 - u = %d：
用 %d（有符号）解释 0x80000000，最高位为1，表示负数，结果为 -2147483648。

1.2 反汇编分析机器数

步骤： 1. 生成目标文件： 

1
gcc -c test1.c -o test1.o
2. 反汇编查看变量赋值： 
1
objdump -d -M intel test1.o

关键汇编代码（简化）： 

1
2
mov DWORD PTR [rbp-4], 0xffffffff   ; x = -1 (机器数 0xFFFFFFFF)
mov DWORD PTR [rbp-8], 0x80000000   ; u = 2147483648 (机器数 0x80000000)

变量机器数总结： | 变量 | 机器数（十六进制） | | —- | —————— | | x | 0xFFFFFFFF | | u | 0x80000000 |

实验2：表达式结果与反汇编分析

2.1 验证表达式结果

源代码： 

1
2
3
4
5
6
7
8
#include <stdio.h>
int main() {
    printf("-1 < 0\t\t -> %d\n", (-1 < 0));
    printf("-1 < 0U\t -> %d\n", (-1 < 0U));
    printf("2147483647 > -2147483647 - 1\t -> %d\n", (2147483647 > -2147483647 - 1));
    printf("2147483647U > -2147483647 - 1\t -> %d\n", (2147483647U > -2147483647 - 1));
    return 0;
}

编译与运行： 

1
2
gcc -o test2 test2.c
./test2

输出结果： 

1
2
3
4
-1 < 0           -> 1
-1 < 0U          -> 0
2147483647 > -2147483647 - 1  -> 1
2147483647U > -2147483647 - 1 -> 0

结果分析： 1. -1 < 0：
有符号比较，-1 小于 0，结果为真（1）。 2. -1 < 0U：
0U 是无符号，-1 被转换为无符号数 0xFFFFFFFF（4294967295），远大于 0U，结果为假（0）。 3. 2147483647 > -2147483647 - 1：
右侧表达式 -2147483647 - 1 等于 -2147483648（INT_MIN），有符号比较，2147483647（INT_MAX）大于 INT_MIN，结果为真（1）。 4. 2147483647U > -2147483647 - 1：
左侧是无符号，右侧 INT_MIN 被转换为无符号数 0x80000000（2147483648），比较 2147483647 和 2147483648，结果为假（0）。

2.2 反汇编分析表达式

步骤： 1. 生成目标文件： 

1
gcc -c test2.c -o test2.o
2. 反汇编查看比较指令： 
1
objdump -d -M intel test2.o

关键汇编代码（以 -1 < 0U 为例）： 

1
2
3
mov DWORD PTR [rbp-4], 0xffffffff   ; -1 的机器数
cmp DWORD PTR [rbp-4], 0            ; 比较时，-1 被视为无符号数 4294967295
setb al                             ; 设置结果（0 表示假）

总结： - 类型转换规则决定了比较结果。 - 反汇编显示编译器如何处理有符号与无符号的隐式转换。

实验报告建议

  1. 源代码与输出结果：附上代码及运行结果。
  2. 反汇编截图：展示变量赋值和表达式比较的汇编代码。
  3. 分析：
    • 解释类型转换对输出的影响。
    • 说明反汇编中机器数与表达式比较的底层实现。

如果需要更详细的反汇编代码或具体步骤解释，请随时告知！

发表于 分类于 ，

环境搭建

安装vmware虚拟机

安装ubuntu

在Ubuntu终端里编写C语言程序

打开终端：ctrl+alt+t

新建文件：vim hello.c

输入

1
2
3
4
5
6
7
8
#include <stdio.h>
#define DISPLAY "hello c!"
int main(void)
{
  printf("%s\n", DISPLAY);
  return 0;
}
ZZ（*说明：ZZ当前文件进行快速保存操作*）

退出编译模式：shift+：

输入：w保存q退出

预编译(Preprocessing)

对各种预处理指令（#include #define #ifdef 等#开始的代码行）进行处理，删除注释和多余的空白字符，生成一份新的代码

输入：gcc -E hello.c -o hello.i

  1. 命令分解
  • gcc ：GNU Compiler Collection（GCC）的编译器命令。
  • -E ：选项表示 仅执行预处理阶段 ，不进行编译、汇编和链接。
  • hello.c ：输入的C语言源文件。
  • -o hello.i ：指定预处理后的输出文件名为 hello.i（.i 是预处理文件的默认后缀）。

2. 预处理阶段的作用

预处理是编译过程的第一个阶段，主要处理以下内容：

  1. 头文件展开
    • 将 #include <stdio.h> 等指令替换为对应头文件的实际内容。
  2. 宏展开
    • 替换 #define PI 3.14 等宏定义。
  3. 条件编译
    • 处理 #ifdef, #ifndef, #endif 等条件编译指令。
  4. 删除注释
    • 移除代码中的注释（// 或 /* */）。

编译(Compilation)

对代码进行语法、语义分析和错误判断，生成汇编代码文件

gcc -S hello.i -o hello.s

编译阶段的作用

在编译流程中，-S 选项对应 编译阶段 ，主要完成以下任务：

  1. 语法分析 ：检查代码是否符合C语言语法规则。
  2. 中间代码生成 ：将预处理后的代码转换为中间表示（如抽象语法树）。
  3. 优化 ：根据优化选项（如 -O2）对代码进行优化。
  4. 生成汇编代码 ：将优化后的中间代码转换为目标平台的汇编指令（如x86-64汇编）。

汇编(Assembly)

gcc -c hello.s -o hello.o

汇编阶段的作用

该命令执行 汇编阶段 ，将人类可读的汇编代码（如 mov, call 等指令）转换为 二进制机器码 ，生成目标文件（.o）。 目标文件包含：

  • 机器指令（二进制代码）。
  • 符号表（函数名、变量名等）。
  • 未解析的引用（如外部函数 printf 的地址）。

链接(Linking/Build)

gcc hello.o -o hello

链接阶段的作用

链接器（ld）完成以下任务：

  1. 合并代码和数据
    • 将 hello.o 中的机器码与标准库（如 stdio.h 中的 printf）的二进制代码合并。
  2. 解析符号引用
    • 解决外部符号（如 printf）的地址，确保所有函数和全局变量正确关联。
  3. 生成可执行文件格式
    • 创建符合操作系统要求的可执行文件（如Linux的ELF格式）。

程序运行

./hello

手动安装VMware tools

手动安装VMware Tools（提示VMware Tools 不再随旧版客户机操作系统的 VMware Workstation 一起提供的解决办法）_哔哩哔哩_bilibili

在线安装

如果方法一不行，可以试试方法二，我是通过方法二进行安装的。

首先更新系统已安装的软件源，以确保是最新的，在终端输入命令：

1
sudo apt update

然后再输入命令：

1
sudo apt install open-vm-tools-desktop

完成后运行upgrade命令，来升级系统中已安装的软件包(命令后面的 -y可以跳过确认询问)：

1
sudo apt upgrade -y

完成后进行重启，重启过后，点击菜单栏查看，变成重新安装就是成功了。

发表于 分类于 ，

以下是针对表1和表2中所有函数的实现和验证分析，严格按照约束条件和操作符数量限制设计：

表1 位操作函数实现

1. lsbZero (将x的最低有效位清零)

1
2
3
int lsbZero(int x) {
    return x & (~1);  // 操作符: & ~ 1 (共3个)
}

验证：
x = 0x05 (0b101) → 0x04 (0b100)

2. byteNot (将x的第n个字节取反)

1
2
3
4
int byteNot(int x, int n) {
    int mask = 0xFF << (n << 3);  // 构造字节掩码
    return x ^ mask;               // 操作符: << << 3 << 8 (共6个)
}

验证：
x = 0x12345678, n=1 → 0x1234A978（第1字节 0x56 取反为 0xA9）

3. byteXor (比较x和y的第n个字节)

1
2
3
4
5
6
int byteXor(int x, int y, int n) {
    int shift = n << 3;
    int x_byte = (x >> shift) & 0xFF;
    int y_byte = (y >> shift) & 0xFF;
    return !!(x_byte ^ y_byte);  // 操作符: << >> & ^ !! (共20个)
}

验证：
x=0x12345678, y=0x12745678, n=2 → 1（第2字节 0x34 vs 0x74）

4. logicalAnd (模拟x && y)

1
2
3
int logicalAnd(int x, int y) {
    return (!!x) & (!!y);  // 操作符: !! & (共2个)
}

验证：
x=0, y=5 → 0；x=1, y=2 → 1

5. logicalOr (模拟x || y)

1
2
3
int logicalOr(int x, int y) {
    return (!!x) | (!!y);  // 操作符: !! | (共2个)
}

验证：
x=0, y=0 → 0；x=0, y=1 → 1

6. rotateLeft (循环左移n位)

1
2
3
4
int rotateLeft(int x, int n) {
    int mask = (0xFF << 24) >> (32 - n);  // 构造高位掩码
    return (x << n) | ((x >> (32 - n)) & mask);  // 操作符: << >> | & (共25个)
}

验证：
x=0x12345678, n=4 → 0x23456781（左移4位，高位循环到低位）

7. parityCheck (奇偶校验)

1
2
3
4
5
6
7
8
int parityCheck(int x) {
    x ^= x >> 16;
    x ^= x >> 8;
    x ^= x >> 4;
    x ^= x >> 2;
    x ^= x >> 1;
    return x & 1;  // 操作符: ^ >> & (共20个)
}

验证：
x=0b1010 → 0（2个1，偶数）；x=0b101 → 1（奇数）

表2 补码运算函数实现

**8. mul2OK (判断2*x是否溢出)**

1
2
3
4
5
int mul2OK(int x) {
    int sign = x >> 31;
    int result = x << 1;
    return !(((result >> 31) ^ sign) & (!!(x ^ (x << 1))));  // 操作符: >> << ^ & !! (共20个)
}

验证：
x=0x40000000 → 0（溢出）；x=0x3FFFFFFF → 1

**9. mult3div2 (计算(x*3)/2)**

1
2
3
4
5
int mult3div2(int x) {
    int temp = x + x + x;
    int sign = temp >> 31;
    return (temp + (temp >> 31 & 1)) >> 1;  // 操作符: + >> & (共12个)
}

验证：
x=-3 → (-9)/2 = -4（向零取整）

10. subOK (判断x - y是否溢出)

1
2
3
4
5
6
7
int subOK(int x, int y) {
    int sub = x + (~y + 1);
    int x_sign = x >> 31;
    int y_sign = (~y + 1) >> 31;
    int sub_sign = sub >> 31;
    return !((~(x_sign ^ y_sign)) & (x_sign ^ sub_sign));  // 操作符: ~ ^ + >> & (共20个)
}

验证：
x=0x80000000, y=1 → 0（溢出）

11. absVal (求绝对值)

1
2
3
4
int absVal(int x) {
    int mask = x >> 31;
    return (x + mask) ^ mask;  // 操作符: >> + ^ (共10个)
}

验证：
x=-5 → 5；x=3 → 3

验证方法

  1. 编写测试代码：为每个函数设计边界值（如0、最大值、最小值）。
  2. 反汇编分析：使用 objdump -d 检查生成的机器码是否符合操作符限制。
  3. 覆盖率测试：确保所有分支条件被触发（如正负数、溢出情况）。

关键技巧

  • 位掩码：使用 0xFF、0x80000000 等构造特定模式。
  • 符号位操作：通过 x >> 31 提取符号位。
  • 逻辑运算替代：用 !!x 将非零值转换为1，用 x ^ (x >> 31) 处理绝对值。

如果需要具体函数的详细推导或测试用例，可进一步说明！

发表于 更新于 分类于 ，

线性回归

任务1. 一元线性回归

任务介绍：

  • 自定义一元回归函数MyLinearRegression()，输入参数为x和y的数组xArr和yArr，输出为参数w1和w0，利用最小二乘法求得参数;
  • 使用美国医疗保险费数据insurance.csv中的输入特征age和目标特征charges，输入MyLinearRegression()函数，得到回归参数值w1和w0，并保留到小数点后两位;
  • 调用sklearn的LinearRegression()函数，比较其运行结果与上述自定义函数MyLinearRegression()的输出结果是否一致。
  • 利用age与charges绘制真实样本点，利用w1与w0计算预测值，再绘制age与预测值的点图，观察真实样本点与预测点之间的拟合程度。

补全代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

insurance = pd.read_csv('insurance.csv')
age = insurance['age'].values
charges = insurance['charges'].values

# 请在下方作答
# 定义一元线性回归函数
def MyLinearRegression(xArr, yArr):
    
    # x均值, y均值计算
    mean_x = xArr.mean()
    mean_y = yArr.mean()
    
    # w0, w1计算，公式
    numerator = np.sum((xArr - mean_x) * (yArr - mean_y))
    denominator = np.sum((xArr - mean_x)**2)
    w1 = numerator / denominator
    w0 = mean_y - w1 * mean_x
    
    return round(w0,2), round(w1,2)
    
print("模型训练，得到参数值")
w0, w1 = MyLinearRegression(age, charges)
print(w1,'\n', w0)

print("sklearn的训练结果")
lr = LinearRegression()
#线性回归模型训练
lr.fit(age.reshape(-1, 1), charges)
print(round(lr.coef_[0],2))
print(round(lr.intercept_,2))

# 观察真实样本点与预测点之间的拟合程度
plt.scatter(age, charges, marker='.')  # 画样本点，随机散点
# 利用w1与w0计算预测值，绘制预测点
plt.scatter(age, w1 * age + w0, marker='+')  # 画预测点，形成直线
plt.show()

# 请直接运行处结果，然后提交作业，该运行结果会自动一同提交上去
模型训练，得到参数值
257.72 
 3165.89
sklearn的训练结果
257.72
3165.89
png

最小二乘法求解公式

目标：最小化预测值与真实值的平方误差之和： $$ \min_{w_0, w_1} \sum_{i=1}^n (y_i - \hat{y}_i)^2 $$

闭式解（Normal Equation）：
1. 斜率 ( w_1 )：
$$ w_1 = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^n (x_i - \bar{x})^2} $$
其中 ({x}) 和 ({y}) 分别是 (x) 和 (y) 的均值。

  1. 截距 ( w_0 )：
    w0 = ȳ − w1x̄

round(w0, 2) 和 round(w1, 2) 的作用是对线性回归模型的参数进行四舍五入处理，保留两位小数。

这段代码使用 scikit-learn 的 LinearRegression 类实现线性回归，并输出模型参数。以下是逐行解释： ### 1. 创建线性回归模型实例 

1
lr = LinearRegression()
- LinearRegression() 是 scikit-learn 中用于线性回归的类。 - lr 是该类的一个实例，后续通过它调用模型训练、预测等方法。 ### 2. 模型训练 
1
lr.fit(age.reshape(-1, 1), charges)
- 作用：用输入数据 age（特征）和 charges（目标值）训练线性回归模型。 - 关键细节： - age 是一维数组（形状如 (n,)），但 scikit-learn 要求输入特征为二维数组（形状如 (n, 1)）。 - age.reshape(-1, 1) 将一维数组转换为二维列向量（n 行 1 列），确保输入格式正确。 - charges 是目标值的一维数组，无需调整形状。 ### 3. 输出模型参数 
1
2
print(round(lr.coef_[0], 2))
print(round(lr.intercept_, 2))
- lr.coef_： - 存储模型的回归系数（即 w1，特征权重）。 - 对于一元线性回归，coef_ 是一个包含单个元素的数组（如 [w1]），因此用 coef_[0] 提取数值。 - lr.intercept_： - 存储模型的截距项（即 w0）。 - 直接通过 intercept_ 访问，无需索引。 - round(..., 2)：将参数四舍五入保留两位小数，便于与自定义函数结果对比。

任务2. 多元线性回归

任务介绍：

  • 自定义多元线性回归函数MyLinearRegression2()，输入参数为X和y的数组xArr和yArr，输出为参数ws，利用最小二乘法求得参数;
  • 使用美国医疗保险费数据insurance.csv中的输入特征age、bmi和children，目标特征charges，根据MyLinearRegression2()函数，得到回归参数值ws；注意判断（X^T X）^{-1}是否为满秩，如果满秩，则引入正则项，参数为alpha，目标函数变为岭回归问题。
  • 为了得到模型的截距，需要在矩阵X最后增加一列，并且该列所有行的值均为1。
  • 调用sklearn的LinearRegression()函数，比较其运行结果与上述自定义函数MyLinearRegression2()的输出结果是否一致。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
from sklearn.linear_model import LinearRegression
import numpy as np
from numpy import linalg, column_stack, ones, array
import pandas as pd
insurance = pd.read_csv('insurance.csv')

# 请在下方作答 #
# 定义多元线性回归函数
def MyLinearRegression2(xArr, yArr):
    
    # 调用mat将Array转换为矩阵
    xMat = np.asmatrix(xArr)
    yMat = np.asmatrix(yArr).T  # 转换为列向量
    xTx = xMat.T*xMat
    # 通过调用linalg计算行列式来判定协方差矩阵是否可逆
    if linalg.det(xTx) < 1e-8:
        print( "singular matrix, can't do inverse")
        # 引入正则项，即 岭回归
        alpha = 0.1
        # 添加岭回归正则项（单位矩阵大小为特征数+1）
        xTx  += alpha * np.eye(xMat.shape[1])

    # 计算参数向量
    # 计算参数并转为一维数组
    ws = xTx.I * (xMat.T * yMat)
    
    return ws

# 模型训练，得到参数值
X = insurance[['age', 'bmi', 'children']].values
# 调用column_stack函数在矩阵X后增加一列，并且该列所有行的值均为1
# 添加截距列（全1）
X = column_stack((X, ones(X.shape[0])))
y = insurance['charges']
ws = MyLinearRegression2(X, y)
print("自定义的训练结果")
print(ws)
# sklearn的训练结果
lr = LinearRegression(fit_intercept=False)  # 关键：禁用自动截距
#线性回归模型训练
lr.fit(X, y)
print("sklearn的训练结果")
print(lr.coef_)
print(lr.intercept_)

# 请直接运行处结果，然后提交作业，该运行结果会自动一同提交上去
自定义的训练结果
[[  239.99447429]
 [  332.0833645 ]
 [  542.86465225]
 [-6916.24334779]]
sklearn的训练结果
[  239.99447429   332.0833645    542.86465225 -6916.24334779]
0.0

任务3. 线性回归应用：预测医疗费用

任务介绍

  • 对insurance.csv中的名义型特征进行One-Hot编码，得到了数据变量insurance
  • 请使用自定义的多元回归函数MyLinearRegression2()得到回归模型参数ws和预测值y_pred，并计算R2分数
  • 比较使用sklearn进行模型训练和模型评价R2分数的结果

复用上一节实验中实现的代码，可以复制粘贴代替下面的代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
import pandas as pd
import numpy as np
from sklearn import linear_model, metrics
from numpy import array, mean, ones
import matplotlib.pyplot as plt

# 调用get_dummies函数对非数值型特征进行 one-hot 编码处理，以便于运算
insurance = pd.read_csv('insurance.csv')
insurance = pd.get_dummies(insurance, drop_first=True)  # One-Hot编码
print(insurance.shape)

# 从insurance中获取X与y
X = insurance.drop(['charges'], axis=1).values.astype(np.float64)
y = insurance['charges'].values.astype(np.float64)

# 对每个特征与y的关系进行可视化，观察与y的相关性
plt.figure(figsize=(20,10))
for i in range(X.shape[1]):
    plt.subplot(2,6,i+1)
    plt.scatter(array(X)[:,i],y,s=20)
plt.show()

def MyLinearRegression2(xArr, yArr):
    
    # 调用mat将Array转换为矩阵
    xMat = np.asmatrix(xArr)
    yMat = np.asmatrix(yArr).T  # 转换为列向量
    xTx = xMat.T*xMat
    # 通过调用linalg计算行列式来判定协方差矩阵是否可逆
    if np.linalg.det(xTx) < 1e-8:
        print( "singular matrix, can't do inverse")
        # 引入正则项，即 岭回归
        alpha = 0.1
        # 添加岭回归正则项（单位矩阵大小为特征数+1）
        xTx  += alpha * np.eye(xMat.shape[1])

    # 计算参数向量
    # 计算参数并转为一维数组
    ws = xTx.I * (xMat.T * yMat)
    
    return ws

# 根据X、y和自定义函数MyLinearRegression2()训练模型参数ws，并计算X的预测值y_pred
ws = MyLinearRegression2(X, y)
y_pred = X.dot(ws)
y_pred = array(y_pred).reshape(y_pred.shape[0],) # 将矩阵转换为一行多列的array格式

# 调用metrics中的r2_score函数根据y和y_pred计算决定系数score
score = metrics.r2_score(y, y_pred)

# sklearn模型训练与预测
lr = linear_model.LinearRegression(fit_intercept=False)
# 模型训练
lr.fit(X, y)
# 计算X的预测值y_pred_sk与R2分数score_sk
y_pred_sk = lr.predict(X)              # 使用训练好的sklearn模型进行预测
score_sk = metrics.r2_score(y, y_pred_sk)  # 计算决定系数R²
print(score_sk)

# 请直接运行处结果，然后提交作业，该运行结果会自动一同提交上去
(1338, 9)
png 
0.7235368166092777
1

发表于 更新于 分类于 ，

广告点击率预测

广告点击率(CTR)预测是广告行业的典型应用，是评估广告效果的一个非常重要的指标。通过历史数据训练预测模型，对于每天的增量数据进行预测，找出广告的CTR符合标准的样本进行投放。 ## 数据集介绍 数据集来自于kaggle，数据包含了10天的Avazu的广告点击数据，训练集10000个，测试集1000个。每一条广告包含：广告id、时间、广告位置等属性。

任务1：导入库和数据集与数据预处理

  • 读入训练数据和测试数据，划分data和label
  • 将string类型的特征转化为int型：1）进行 one-hot 编码处理，会得到高维稀疏的特征，增大内存开销；2）使用python内置的hash函数将那些类型为object的特征变量映射为一定范围内的整数(原来的string被映射成了integer)，可以大大降低内存的消耗。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import gzip
import pandas as pd
import random
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn import linear_model

types_train = {
    'id': np.dtype(int),
    'click': np.dtype(int),         #是否点击,1表示被点击,0表示没被点击
    'hour': np.dtype(int),          #广告被展现的日期+时间
    'C1': np.dtype(int),            #匿名分类变量
    'banner_pos': np.dtype(int),    #广告位置
    'site_id': np.dtype(str),       #站点Id
    'site_domain': np.dtype(str),   #站点域名
    'site_category': np.dtype(str), #站点分类
    'app_id': np.dtype(str),        # appId
    'app_domain': np.dtype(str),    # app域名
    'app_category': np.dtype(str),  # app分类
    'device_id': np.dtype(str),     #设备Id
    'device_ip': np.dtype(str),     #设备Ip
    'device_model': np.dtype(str),  #设备型号
    'device_type': np.dtype(int),   #设备型号
    'device_conn_type': np.dtype(int),
    'C14': np.dtype(int),   #匿名分类变量
    'C15': np.dtype(int),   #匿名分类变量
    'C16': np.dtype(int),   #匿名分类变量
    'C17': np.dtype(int),   #匿名分类变量
    'C18': np.dtype(int),   #匿名分类变量
    'C19': np.dtype(int),   #匿名分类变量
    'C20': np.dtype(int),   #匿名分类变量
    'C21':np.dtype(int)     #匿名分类变量
}

# 添加列名
header_row = ['id', 'click', 'hour', 'C1', 'banner_pos', 'site_id', 'site_domain', 'site_category', \
              'app_id', 'app_domain', 'app_category', 'device_id', 'device_ip', 'device_model',\
              'device_type', 'device_conn_type', 'C14', 'C15', 'C16', 'C17', 'C18', 'C19',\
              'C20', 'C21']

# 读入训练数据和测试数据
train = pd.read_csv('train_data.csv', names=header_row, dtype=types_train)
test = pd.read_csv('test_data.csv', names=header_row, dtype=types_train)
# 去除第0行（表示列的编号，不是样本）
train = train.drop(labels=train.index.values[0])
test = test.drop(labels=test.index.values[0])
print(test.shape)

# 划分data和label
train_data = train.drop('click', axis=1) #去除click 这一列
print(train_data.shape)
train_label = train['click'] #提取click 这一列

# 数据预处理
# 使用pd.get_dummies对非数值型特征进行 one-hot 编码处理，得到高维稀疏的特征
train_data1 = pd.get_dummies(train_data)
print(train_data1.shape)

# 编写convert_obj_to_int()函数将string类型的特征转换为int型
def convert_obj_to_int(self):
    object_list_columns = self.columns
    object_list_dtypes = self.dtypes
    new_col_suffix = '_int'
    for index in range(0, len(object_list_columns)):
        if object_list_dtypes[index] == object:
            # 使用hash和map将string特征变量映射为一定范围内的整数
            self[object_list_columns[index] + new_col_suffix] = self[object_list_columns[index]].map(lambda x: hash(x) % (1 << 32))
            self.drop([object_list_columns[index]], inplace=True, axis=1)
    return self

# 调用convert_obj_to_int()函数，将string类型转换为int型    
train_data = convert_obj_to_int(train_data)
print(train_data.shape)
(1000, 24)
(10000, 23)
(10000, 10531)
(10000, 23)


C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:

任务2：特征分析

以广告在网页中的位置(banner_pos)为例，查看banner_pos和最终类标(click)之间的关系。 - 查看banner_pos在数据集中的取值分布； - 查看不同banner_pos对点击率click的贡献。

1
2
3
4
5
6
7
8
9
10
11
12
# 查看banner_pos在数据集中的取值分布
print(train.banner_pos.value_counts()/len(train))

# 查看不同banner_pos对点击率click的贡献
banner_pos_val = train.banner_pos.unique()
banner_pos_val.sort()
ctr_avg_list = []
for i in banner_pos_val:
    selected_data = train.loc[train.banner_pos == i]
    ctr_avg = selected_data.click.mean()
    ctr_avg_list.append(ctr_avg)
    print(" banner 位置: {},  点击率: {}".format(i, ctr_avg))
banner_pos
0    0.8041
1    0.1951
2    0.0007
4    0.0001
Name: count, dtype: float64
 banner 位置: 0,  点击率: 0.16975500559631887
 banner 位置: 1,  点击率: 0.19067145053818554
 banner 位置: 2,  点击率: 0.14285714285714285
 banner 位置: 4,  点击率: 0.0

任务3：模型训练与评估

  • 调用sklearn的逻辑回归函数LogisticRegression()，进行模型训练
  • 对测试集test_data进行预测，计算预测结果的各项指标acc, pre, recall, auc
  • 绘制ROC曲线（使用预测的概率值而不是预测的类标）
  • 选做：自定义逻辑回归函数MyLogisticRegression()，进行模型训练与预测，与上述结果比较。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
test_data = test.drop('click', axis=1)
test_data = convert_obj_to_int(test_data)
test_label = test['click']
# 调用sklearn的逻辑回归函数LogisticRegression()
clf = linear_model.LogisticRegression(max_iter=1000)  # 增加最大迭代次数防止不收敛

# 模型训练
clf.fit(train_data, train_label)  
print("Finish Training!")

# 模型预测
pred = clf.predict(test_data)
pred_proba = clf.predict_proba(test_data)[:, 1]

# 计算模型的acc, pre, recall, auc，并输出
# 请在下方作答
acc = accuracy_score(test_label, pred)
pre = precision_score(test_label, pred)
recall = recall_score(test_label, pred)
auc = roc_auc_score(test_label, pred_proba)
print(f"Accuracy: {acc:.4f}, Precision: {pre:.4f}, Recall: {recall:.4f}, AUC: {auc:.4f}")
# 绘制roc曲线
# 请在下方作答
fpr, tpr, _ = roc_curve(test_label, pred_proba)
plt.figure(figsize=(8,6))
plt.plot(fpr, tpr, label=f'AUC = {auc:.4f}')
plt.plot([0,1], [0,1], 'k--')
plt.title('ROC Curve (sklearn)')
plt.legend()
plt.show()
# 自定义实现逻辑回归函数MyLogisticRegression()
# 请在下方作答

Finish Training!
Accuracy: 0.8120, Precision: 0.0000, Recall: 0.0000, AUC: 0.4983


C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
C:\Users\29020\AppData\Local\Temp\ipykernel_71456\1472409378.py:66: FutureWarning: Series.__getitem__ treating keys as positions is deprecated. In a future version, integer keys will always be treated as labels (consistent with DataFrame behavior). To access a value by position, use `ser.iloc[pos]`
  if object_list_dtypes[index] == object:
f:\Anconda\Anconda\envs\general\Lib\site-packages\sklearn\metrics\_classification.py:1565: UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 due to no predicted samples. Use `zero_division` parameter to control this behavior.
  _warn_prf(average, modifier, f"{metric.capitalize()} is", len(result))
png

​
Custom Model - Accuracy: 0.8240, Precision: 0.6875, Recall: 0.1170, AUC: 0.6580

png

发表于 更新于 分类于 ，

正文

作业

什么是信息增益？根据下图分别计算按照属性A和B划分时的信息增益。ID3决策树学习算法将会选择哪个属性？

hw_h_82p6lenbyhkws867e413c0614d3
IMG_20250329_153252
IMG_20250329_153259

什么是交叉验证法？有什么用途？

IMG_20250329_153307

什么是过拟合（overfitting）？什么情况下可能发生过拟合？采取什么措施有助于消除过拟合？

IMG_20250329_153310

发表于 更新于 分类于 ，

正文

极大似然估计

image-20250320200047048
image-20250320200109835
image-20250320200139754

作业

1、何为正则化？其功能是什么？如何理解L1和L2正则化？

IMG_20250320_170100

2、什么是偏差与方差？简要说明偏差、方差与过拟合、欠拟合的关系。

现象 偏差 方差 典型原因 解决方法
欠拟合 高 低 模型过于简单（如线性模型拟合非线性数据） 增加特征、使用更复杂模型、减少正则化
过拟合 低 高 模型过于复杂（如深度树模型拟合噪声） 增加数据、正则化、简化模型、早停法
IMG_20250320_181442

3、公式推导：最小二乘法、多元线性回归与岭回归、逻辑回归（极大似然法）

IMG_20250321_163937
IMG_20250321_163941
IMG_20250321_163944
IMG_20250321_163948

参考文献

“L1和L2正则化”直观理解(之一)，从拉格朗日乘数法角度进行理解_哔哩哔哩_bilibili

超级棒的公式证明，对我帮助很大

https://www.bilibili.com/video/BV1Mh411e7VU?vd_source=bacf29bd4bb51f2ecf08a1ac7c7d8f11&p=3&spm_id_from=333.788.videopod.episodes

发表于 更新于 分类于 ，

前言

好久不编算法了，为了不让300r打水漂，废话不多说，决战蓝桥杯！！！

我是算法彩笔，而且python也不是很会用，所有刷题刷的很慢，后续会把文件整理上传GitHub

思考了一下，因为时间紧迫，没有时间复盘每一道题了，这一篇文章简单记录一下进度

进度记录

3.13

贪心：1.力扣406. 根据身高重建队列2.P10387 [蓝桥杯 2024 省 A] 训练士兵3.蓝桥杯真题 谈判

3.14

贪心：1.蓝桥杯真题 翻硬币

bfs：1.蓝桥杯真题 扫雷2.蓝桥杯真题 长草3.力扣695.岛屿的最大面积

3.16

哈希：1.力扣 两数之和

前缀和：1.洛谷 求区间和

二分问题：1.洛谷 查找

dfs：1.蓝桥杯真题 小朋友崇拜圈2.蓝桥杯真题 最大数字

3.17

二分问题：1.力扣 统计公平数对的数目2.力扣 2226.每个小孩最多能分到多少糖果

3.18

二分答案：1.蓝桥杯真题 冶炼金属

并查集：1.洛谷P1551 亲戚2.洛谷P1536 村村通

3.19

哈希：1.力扣 3080.执行操作标记数组中的元素

堆：1.力扣 2530.执行k次操作后的最大分数

动态规划：1.力扣 70.爬楼梯2.力扣 198.打家劫舍3.P1048 [NOIP 2005 普及组] 采药4.力扣 494. 目标和5.力扣 322.零钱兑换

3.21

动态规划：1.力扣 2915.和为目标值的最长子序列的长度2.蓝桥杯真题 蓝桥课程抢购3.力扣518. 零钱兑换 II

图论：1.力扣1971.寻找图中是否存在路径

3.25

图论：1.力扣743.网络延迟时间

数论：1.蓝桥杯真题 数字诗意

3.26

贪心：1.蓝桥杯真题 回文数组

图论：1.力扣 1584.连接所有点的最小费用2.蓝桥杯真题 城市规划大师

3.27

动态规划：1.力扣1143.最长公共子序列2.蓝桥杯真题 查找最长公共子序列3.力扣583.两个字符串的删除操作

3.28

动态规划：1.蓝桥杯真题 砍柴

3.30

贪心：1.蓝桥杯真题 三国游戏2.蓝桥杯真题 平均

暴力：1.蓝桥杯真题 翻转

单调队列，单调栈：1.力扣239.滑动窗口最大值2.力扣739.每日温度3.力扣42.接雨水

双指针：1.力扣209.长度最小的子数组2.力扣3.无重复字符的最长字串3.力扣713.乘积小于k的子数组

3.31

二维单调队列：1.蓝桥杯真题 子矩阵（拼劲全力无法战胜，放弃）

4.1

数论：1.蓝桥杯真题 阶乘的和2.蓝桥杯真题 质因数个数

树：1.蓝桥杯真题 子树的大小

4.4

模拟：1.蓝桥杯真题 消除游戏

4.5

差分：1.蓝桥杯真题 重新排序2.力扣1094.拼车

动态规划：1.蓝桥杯真题 全排列的价值2.力扣300.最长递增子序列

贪心：1.蓝桥杯真题 优清零方案

4.9-11

刷填空题

4.12后记：也是考完蓝桥杯了，后面应该很长时间不碰算法了嘿嘿

正文

算法基础

快读模板

1
2
3
4
5
6
# 导入系统模块
import sys
# 重定义input函数，用于快速读取输入
# sys.stdin.readline() 比 python 自带的 input() 快
# strip() 用于去除行末的换行符
input = lambda:sys.stdin.readline().strip()
image-20250312124949702

输入

image-20250312130008507

列表推导器

image-20250312131643035

参考文献

竟然在b站刷到学长做的视频，太惊喜了，真是雪中送炭

【蓝桥杯】Python速成 刷题指南_哔哩哔哩_bilibili

代码模板 (Python) - Open Wiki Community

TsingPig/LanQiao_Python: 视频合集 https://space.bilibili.com/398421867/lists?sid=4898042&spm_id_from=333.788.0.0

补充资料 备注
https://wiki.dwj601.cn/ds-and-algo/templates-py/ 【★★★★★】Python代码模板
https://www.lanqiao.cn/problems/?first_category_id=1 蓝桥题库
https://ac.nowcoder.com/acm/problem/collection/6999 牛客蓝桥寒假题单
https://www.luogu.com.cn/training/list 洛谷题单
https://leetcode.cn/u/endlesscheng/ 力扣分类题单（进入点击“讨论发布”）
https://www.lanqiao.cn/paper/ 【★★★★★】蓝桥杯真题卷模拟系统
https://leetcode.cn/problemset/ 力扣题库

讲的很好的视频

分享｜如何科学刷题？- 讨论 - 力扣（LeetCode）

发表于 更新于 分类于 ，

安装git

Git是目前世界上最先进的分布式版本控制系统，没有之一！说到Git,另一个需要知道的便是GitHub，GitHub是目前使用最多的社交代码托管平台。

输入git –version 查看Git版本信息

配置本地信息 为了在后面上传项目到github时方便知道是谁上传的，需要给本机git配置用户名和邮箱：

git config –global user.name “zxj” git config –global user.email “zxj2902065320@163.com” 查看配置命令：git config –list

配置SSH

ssh key生成命令ssh-keygen -t rsa -C “注册邮箱”

获取ssh key公钥内容（id_rsa.pub）cd ~/.ssh cat id_rsa.pub

Github账号上添加公钥

验证是否配置成功 ssh -T git@github.com

问题

在检验ssh配置时，始终报错，问ai说是配置的原因，尝试删除后，报错Could not resolve hostname github.com: Name or service not known，琢磨无法解决，拼尽全力无法战胜，于是保留下来交给未来的自己

image-20250311172436506

git常用指令

克隆仓库git clone https://github.com/logan-zou/Chat_with_Datawhale_langchain.git

1
2
3
4
5
6
7
8
9
10
11
git init：初始化一个git仓库
git clone：clone一个git仓库
git add 命令可将文件添加到缓存
git status 命令来查看相关文件的状态
git commit 将缓存区内容添加到仓库中，可以在后面加-m选项，以在命令行中提供提交注释

git remote add：添加远程仓库
git remote：查看当前的远程仓库
git fetch、git pull：提取远程仓仓库
git push：推送到远程仓库
git remote rm：删除远程仓库

先做记录，我没用过，我目前选择vscode+GitHub的可视化界面

vscode+GitHub

image-20250311173501909

输入仓库名称 点击commit提交

image-20250311174519221

每次更改代码都可以命名后再次提交

代理配置

1
2
git config --global http.proxy "http://127.0.0.1:8080" 
git config --global https.proxy "http://127.0.0.1:8080"
image-20250311175047287

分别代码本地和远程仓库的位置

天呐这图形化太方便了

参考文献

git安装配置教程(小白保姆教程2024最新版)_git安装及配置教程-CSDN博客

给傻子的Git教程_哔哩哔哩_bilibili

Git教程 Git Bash详细教程-CSDN博客

GIT Proxy 一键设置代理 让你的 git clone Github 再也不像百度云一样内行-CSDN博客

简介 - Git教程 - 廖雪峰的官方网站

发表于 更新于 分类于 ，

pip与conda区别

pip 和 conda 都是用来安装和管理 Python 包的工具，但它们的工作方式和适用场景有所不同。以下是它们的主要区别：

1. 包管理的范围

  • pip：是 Python 官方的包管理工具，只用于安装 Python 包。它从 Python 包索引 (PyPI) 中获取包并安装。这意味着它只能安装 Python 包，不能直接处理其他类型的依赖（如系统库、C 库等）。
  • conda：是一个跨平台的包和环境管理工具，它不仅可以安装 Python 包，还可以安装其他语言（如 R、Java、C++ 等）以及非 Python 依赖（如系统库）。conda 能够管理整个环境（包括 Python 版本和库），并解决与系统库之间的依赖关系。

2. 依赖管理

  • pip：在安装包时，pip 仅会安装 Python 包及其 Python 依赖，而不处理系统级依赖。如果一个包依赖于特定的 C 库或其他非 Python 包，pip 不会自动解决这些问题，这可能导致一些复杂的兼容性问题。
  • conda：会同时处理 Python 包和非 Python 包的依赖。它会在安装时自动解决所有依赖，包括操作系统库、C 库等。因此，conda 在依赖关系处理上比 pip 更强大。

3. 包来源

  • pip：通过 PyPI（Python Package Index）来下载和安装包，PyPI 是一个包含大多数 Python 包的中央库。
  • conda：使用 Anaconda 仓库或其他 conda 仓库。Anaconda 仓库提供了大量的科学计算、数据分析相关的包，而不仅限于 Python 包。conda 还支持安装一些没有在 PyPI 上的包。

4. 环境管理

  • pip：本身不提供环境管理功能，但可以与 virtualenv 或 venv 等工具结合使用来创建虚拟环境。这些虚拟环境允许你为不同项目隔离依赖。
  • conda：内置环境管理功能，可以通过 conda create 命令直接创建隔离的环境，支持不同版本的 Python 以及其他软件的管理。conda 环境的管理比 pip + virtualenv 更加方便和高效。

5. 安装速度

  • pip：通常只安装 Python 包。对于某些包，特别是需要从源代码编译的包，安装可能会比较慢，尤其是在没有预编译二进制文件的情况下。
  • conda：由于它使用的是预编译的二进制包，安装速度通常更快，尤其是对于依赖项繁多的包（如 numpy、scipy 等）。它无需从源代码编译，直接安装预编译的版本。

6. 跨平台支持

  • pip：支持所有操作系统，但在一些操作系统（尤其是 Windows）上，安装某些包时可能会遇到编译问题，尤其是 C 扩展包。
  • conda：同样支持多平台，并且在 Windows 系统上安装一些复杂的包（如 numpy、pandas 等）时，比 pip 更加稳定和方便，因为它会自动提供适合平台的预编译二进制文件。

7. 包版本冲突

  • pip：虽然可以安装特定版本的包，但如果项目中的多个包有不同的依赖版本，pip 并不能很好地解决这些版本冲突，需要手动处理依赖版本。
  • conda：在安装时，conda 会自动解析所有的依赖关系，确保包和其依赖的版本兼容，从而减少版本冲突。

8. 包更新

  • pip：更新包的方式通常是直接运行 pip install --upgrade <package>，但是它会仅更新 Python 包本身，不会考虑系统级的依赖。
  • conda：更新包时，conda 会同时考虑包的 Python 依赖和系统库依赖，可以更全面地管理包更新。

总结对比表：

特性 pip conda
包管理范围 只管理 Python 包 管理 Python 包和其他非 Python 包
依赖关系管理 只处理 Python 依赖 处理 Python 和非 Python 依赖
包来源 PyPI Anaconda 仓库等
环境管理 需配合 virtualenv 使用 内建环境管理
安装速度 慢（尤其是需要编译的包） 快（使用预编译二进制包）
跨平台支持 跨平台支持良好 更好的 Windows 支持
版本冲突处理 手动解决版本冲突 自动解决版本冲突

什么时候使用 pip，什么时候使用 conda？

  • 如果你已经在使用 Anaconda 或 Miniconda，并且需要安装 Python 包及其相关依赖，conda 是更好的选择，因为它可以自动解决依赖并更好地管理环境。
  • 如果你没有使用 Anaconda 或只需要安装纯粹的 Python 包，pip 更为轻量和直接。

在实际使用中，有时你会发现两者可以结合使用：可以用 conda 安装 Python 环境和一些复杂的依赖，再用 pip 安装一些不在 Anaconda 仓库中的包。

0%