结构分析

入口

[entry_point.py](https://github.com/InternLM/xtuner/blob/main/xtuner/entry_point.py#L244) 为入口函数,其中指向较为重要的 [train.py](https://github.com/InternLM/xtuner/blob/main/xtuner/tools/train.py#L127) 为训练任务入口。

配置文件

与其他大模型微调框架不同,xtuner 采用 Python 作为配置文件。读取 Python 配置文件,使用 ast 生成抽象语法树,后续进行懒加载(不知道配置文件中不能运行函数是不是这个原因)。

适配

NPU 平台适配

xtuner 调用 deepspeeddeepspeed 会自动适配平台,因此无需再做适配。

openMind 及MindSpore 支持

模型

openMind 及 MindSpore 的 snapshoot_download 函数都返回模型本地路径。

数据集