type
status
data
slug
summary
tags
category
password
icon
PyTorch数据导入标准化代码模板
1. 『Dataset原始模板』
PyTorch官方为我们提供了自定义数据读取的标准化代码代码模块，作为一个读取框架，我们这里称之为原始模板。其代码结构如下：
根据这个标准化的代码模板，我们只需要根据自己的数据读取任务，分别往__init__()、__getitem__()和__len__()三个方法里添加读取逻辑即可。作为PyTorch范式下的数据读取以及为了后续的data loader，三个方法缺一不可。其中：
- __init__函数用于初始化数据读取逻辑，比如读取包含标签和图片地址的csv文件、定义transform组合等。
- __getitem__()函数用来返回数据和标签。目的上是为了能够被后续的dataloader所调用。
- __len__()函数则用于返回样本数量。
现在我们往这个框架里填几行代码来形成一个简单的数字案例。创建一个从1到100的数字例子：
2『添加torchvision.transforms』
torchvision是一个独立于torch的关于数据、模型和一些图像增强操作的辅助库。主要包括datasets默认数据集模块、models经典模型模块、transforms图像增强模块以及utils模块等。在使用torch读取数据的时候，一般会搭配上transforms模块对数据进行一些处理和增强工作。
添加了tranforms之后的读取模块可以改写为：
可以看到，我们使用了Compose方法来把各种数据处理方法聚合到一起进行定义数据转换方法。通常作为初始化方法放在__init__()函数下。我们以猫狗图像数据为例进行说明。
定义数据读取方法如下：
因为这个数据集已经分好了训练集和验证集，所以在读取和transforms的时候需要进行区分。运行示例如下：
3『与pandas一起使用』
很多时候数据的目录地址和标签都是通过csv文件给出的。如下所示：
以mnist_label.csv文件为示例：
运行示例如下：
4『训练集验证集划分』
一般来说，为了模型训练的稳定，我们需要对数据划分训练集和验证集。torch的Dataset对象也提供了random_split函数作为数据划分工具，且划分结果可直接供后续的DataLoader使用。
以kaggle的花朵数据为例：
这里使用了ImageFolder模块，可以直接读取各标签对应的文件夹，部分运行示例如下：
5『使用DataLoader』
dataset方法写好之后，我们还需要使用DataLoader将其逐个喂给模型。上一节的数据划分我们已经用到了DataLoader函数。从本质上来讲，DataLoader只是调用了__getitem__()方法并按批次返回数据和标签。使用方法如下：