数据集

下载及保存

下载数据集

from datasets import load_dataset

# 加载在线的数据集
dataset = load_dataset(path="NousResearch/hermes-function-calling-v1", cache_dir=r"cache_dataset/")
# 缓存数据到本地
dataset.save_to_disk(dataset_path="cache_dataset/mydata/")

查看数据集

原始数据

from datasets import load_from_disk

dataset = load_from_disk(r"/Users/xxx/xxx/xxx/xxx/cache_dataset/mydata")
print(dataset)

保存为 csv 格式数据，并加载 csv 数据

from datasets import load_from_disk, load_dataset

# 转换
dataset = load_from_disk(r"/Users/xxx/xxx/xxx/xxx/cache_dataset/mydata")
dataset.to_csv(path_or_buf="cache_dataset/mydata/hermes-function-calling-v1.csv")

# 加载
dataset = load_dataset(path="csv",data_files=r"/Users/xxx/xxx/xxx/xxx/cache_dataset/mydata/hermes-function-calling-v1.csv")