user1966176

使用numpy将文本文件加载为字符串。负荷()

我想加载一个大的文本文件（大约1GB，3*10^6行和10-100列）作为包含字符串的2d np数组。然而，它似乎像numpy。loadtxt()仅将浮点数作为默认值。是否可以为整个数组指定另一种数据类型？我试过以下没有运气:

loadedData = np.loadtxt(address, dtype=np.str)

我收到以下错误消息:

/Library/Python/2.7/site-packages/numpy-1.8.0.dev_20224ea_20121123-py2.7-macosx-10.8-x86_64.egg/numpy/lib/npyio.pyc in loadtxt(fname, dtype, comments, delimiter, converters, skiprows, usecols, unpack, ndmin)
    833             fh.close()
    834
--> 835     X = np.array(X, dtype)
    836     # Multicolumn data are returned with shape (1, N, M), i.e.
    837     # (1, 1, M) for a single row - remove the singleton dimension there

ValueError: cannot set an array element with a sequence

有什么想法吗？（我事先不知道我的文件中的列的确切数量。)

分类:
python
numpy

原网址

顶踩

Hooked

2013年2月20日 16:50

最佳回答

使用genfromtxt代替。这是一个比loadtxt更通用的方法：

import numpy as np
print np.genfromtxt('col.txt',dtype='str')

使用文件col.txt:

foo bar
cat dog
man wine

这给:

[['foo' 'bar']
 ['cat' 'dog']
 ['man' 'wine']]

如果您期望每行具有相同数量的列，请读取第一行并设置属性filling_values以修复任何丢失的行。

所有回答

共 3 条

Alexander Tronchin-James

2019年10月28日 02:59

在Pandas中还有read_csv，速度快，支持非逗号列分隔符和按列自动键入：

import pandas as pd
df = pd.read_csv('your_file',sep='\t')

如果您喜欢这种类型，可以将其转换为NumPy数组:

import numpy as np
arr = np.array(df)

这是迄今为止我遇到的最简单，最成熟的文本导入方法。

顶踩

flonk

2018年1月8日 22:47

你需要一个NumPy数组是必不可少的吗？否则，您可以通过将数据加载为嵌套列表来加快速度。

def load(fname):
    ''' Load the file using std open'''
    f = open(fname,'r')

    data = []
    for line in f.readlines():
        data.append(line.replace('\n','').split(' '))

    f.close()

    return data

对于具有4000x4000字的文本文件，这比loadtxt快约10倍。

顶踩

Peng Zheng

2021年4月11日 09:44

np.loadtxt(file_path, dtype=str) <img alt="在这里输入图像描述"src="https://i.stack.imgur.com/70S9u.png缧/>

顶踩

使用numpy将文本文件加载为字符串。负荷()

所有回答

相似问题