深度学习踩坑记录

配置环境，解决环境冲突就能花费我一下午的时间，有必要记录一些踩过的坑

1. 相关包的安装

为了避免不必要的麻烦，每次安装新的包后要重启jupyter内核，至少在vscode这样做能避免很多问题

trl 要用pip安装，用conda走清华源会要求安装cpu版本的pytorch2.5，挺莫名其妙的

pip install trl==0.14

peft 也要用pip安装

总之，官方没提供conda的下载方式就不要擅自尝试。

2. 尽量不用最新版本

最新版总有些奇奇怪怪的坑，能不用就别用最新版

3. conda设置镜像

#添加镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

#显示检索路径
conda config --set show_channel_urls yes

#显示镜像通道
conda config --show channels

4. huggingface 相关配置

export HF_HOME=/path/to/your/hub
export HF_ENDPOINT=https://hf-mirror.com

# 下载模型和数据集
huggingface-cli download Qwen/Qwen2-7B-Instruct
uggingface-cli download --repo-type dataset --resume-download wikitext 

5. 尽量用RTX系列的显卡

之前用V100遇到架构volta不兼容的报错