在Ubuntu 12.04中的Python 2.7中导入Tensorflow时出错。 “找不到GLIBC_2.17”

问题描述

我已经使用python成功安装了Tensorflow绑定。但是，当我尝试导入Tensorflow时，出现以下错误。

ImportError: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.17' not found (required by /usr/local/lib/python2.7/dist-packages/tensorflow/python/_pywrap_tensorflow.so)

我试图将GLIBC_2.15更新为2.17，但是没有运气。

最佳方法

我遇到了同样的问题，因此在谷歌搜索中执行了以下步骤：

$ sudo pip install --upgrade virtualenv
$ virtualenv --system-site-packages ~/tensorflow
$ cd ~/tensorflow
$ source bin/activate
$ pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl
$ cd /tmp
$ wget http://launchpadlibrarian.net/137699828/libc6_2.17-0ubuntu5_amd64.deb
$ wget http://launchpadlibrarian.net/137699829/libc6-dev_2.17-0ubuntu5_amd64.deb
$ mkdir libc6_2.17
$ cd libc6_2.17
$ ar p ../libc6_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
$ ar p ../libc6-dev_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
$ cd -
$ LD_LIBRARY_PATH=/tmp/libc6_2.17/lib/x86_64-linux-gnu/ /tmp/libc6_2.17/lib/x86_64-linux-gnu/ld-2.17.so bin/python local/lib/python2.7/site-packages/tensorflow/models/image/mnist/convolutional.py

并退出：

$ deactivate

这对我行得通。

次佳方法

我刚刚设法在具有glibc 2.12的CentOS 6.5上安装了tensorflow 0.12rc0，而没有root特权。简单地通过pip安装tensorflow二进制文件给我一个错误，也与GLIBC版本有关。

基本上，您有4个如何处理此问题的选项(每个都有优点和缺点)：

选项1-全局升级系统GLIBC。

This is，也许是最好的选择，如果您的系统supports this具有root特权，并且您确信此升级不会由于某种奇怪的原因而中断任何操作。最终，这取决于升级整个Linux发行版。 Here是流行发行版上的默认GLIBC版本的不错的简短列表。

选项2-将第二个GLIBC添加到您的系统

Compile or download binary。最简单，最直接的选择。特别是如果您只需要run few simple scripts。

is possible在同一系统上具有多个版本的glibc，但应格外小心。
如果所有更改都限于虚拟环境，则不会破坏系统。
以前安装/编译的许多程序可能都依赖于新环境(例如python IDE)中的旧版GLIBC，would just crash。包括大多数基本的bash命令，例如”lc”，”cd”等。
其他side-effects(例如significant memory leaks)也是可能的。
因此，对于add new GLIBC to your normal environment来说，这是一个非常糟糕的主意，例如通过.bashrc。
另一方面，如果您需要在新的虚拟环境中使用某些特定工具，则可以使用recompile it, linking against new GLIBC。因此，它将在您的新环境中正常运行。
但是，就我个人而言，我很快放弃了在新环境中(无需root和程序包管理器)重新编译所需的一切。
GLIBC开发人员正式提供了slightly different approach，用于测试新的GLIBC版本。

选项3-补丁张量流

This可能适用于TF 0.6.0，但是当发布每个新的Tensorflow版本时，您可能必须从头开始。例如。 here是0.9.0的修复程序。

选项4-从源代码编译张量流

如果您从源代码中获取re-compile并将其链接到您现有的GLIBC，则不再需要更新的GLIBC。不知何故，这里没有任何答案提到此选项。恕我直言，这是最好的选择，“ in general”和“专门用于张量流”。

这可以在r0.11上正常运行，并且可能会使用数年，但是从理论上讲，如果他们决定实际使用某些新的GLIBC功能(而不是旧版本中的功能)，则它可能会在某些新的tensorflow版本中中断。
老实说，从源代码构建张量流并不是一件容易的事，尤其是在过时的系统上。

“在过时的系统上构建张量流”的快速摘要：

尽管官方指南提供了“ installing from sources”部分，但您仍需要做一些技巧来将其构建在过时的系统上。在这里，我假设您没有root特权(如果有的话-您可能可以使用包管理器安装相同的预请求，而可以从源代码手动构建它们)。

我发现了两个well-documented成功案例：＃1，＃2和官方github上的许多有用文章(主要是有关链接到二进制文件内的一组库)：＃1，＃2，＃3，＃4。我必须结合技巧，在那里成功地编译了TF。

首先，检查您的gcc --version，并验证它是否支持c ++ 11。我的是4.4.7，所以它行不通。我已经下载了gcc-4.9.4源代码，并对其进行了编译。此步骤非常简单，但是编译本身可能需要几个小时。作为解决bazel问题的方法，我编译了gcc，其中包含指向as，ld和nm的硬编码路径。但是，您可以尝试其他解决方法：(1，2)。

#!/bin/sh

unset LIBRARY_PATH CPATH C_INCLUDE_PATH 
unset PKG_CONFIG_PATH CPLUS_INCLUDE_PATH INCLUDE LD_LIBRARY_PATH

cd gcc-4.9.4
./contrib/download_prerequisites

mkdir objdir
cd objdir


# I've added --disable-multilib to fix the following error:
# /usr/bin/ld: crt1.o: No such file: No such file or directory
# collect2: ld returned 1 exit status
# configure: error: I suspect your system does not have 32-bit 
# developement libraries (libc and headers). If you have them,
# rerun configure with --enable-multilib. If you do not have them, 
# and want to build a 64-bit-only compiler, rerun configure 
# with --disable-multilib.           

../configure --prefix=$HOME/opt/gcc-4.9.4 \
             --disable-multilib \
             --disable-nls \
             --enable-languages=c,c++ \
             --with-ld=/usr/bin/ld \
             --with-nm=/usr/bin/nm \
             --with-as=/usr/bin/as

make        
make install

检查您的java --version。 Bazel需要JDK 8，如有必要，请安装它。 (他们仍然为bazel-0.4.1下载了一些与jdk7相关的下载内容provide，但看起来他们认为它已弃用)

我创建了一个单独的use_gcc_4.9.4.sh文件，其中包含必要的环境变量。当我需要与此新的编译器相关的东西时，我使用source ./use_gcc_4.9.4.sh。

#!/bin/sh
this=$HOME/opt/gcc-4.9.4
export PATH=$this/bin:$PATH
export CPATH=$this/include:$CPATH
export LIBRARY_PATH=$this/lib:$LIBRARY_PATH
export LIBRARY_PATH=$this/lib64:$LIBRARY_PATH
export LD_LIBRARY_PATH=$this/lib:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=$this/lib64:$LD_LIBRARY_PATH

当前的bazel二进制文件(0.4.1)requires GLIBC 2.14，因此我们也必须将compile bazel from source(与我们的新gcc一起)。正常运行，除非您仅在目标计算机上为allowed to run a very limited number of threads。 (This帖子介绍了一些其他解决方法，但在我而言，不需要使用这些解决方法，可能是由于bazel代码的最新更新。)
获取tensorflow源代码git clone https://github.com/tensorflow/tensorflow，并安装所需的先决条件(CUDA，cuDNN，python等)。请参阅official guide。

如果您未使用默认系统gcc(例如，如上所述，如果您必须编译较新的gcc)，则将the following linker flags添加到tensorflow/third_party/gpus/crosstool/CROSSTOOL.tpl，line 59：

linker_flag: "-L/home/username/localinst/opt/gcc-4.9.4/lib64"
linker_flag: "-Wl,-rpath,/home/username/localinst/opt/gcc-4.9.4/lib64"

没有此步骤，您可能会遇到类似this的错误消息：

# ERROR: /home/username/localdistr/src/tensorflow/tensorflow/tensorflow/core/debug/BUILD:33:1: null failed: protoc failed: error executing command bazel-out/host/bin/external/protobuf/protoc '--cpp_out=bazel-out/local_linux-py3-opt/genfiles/' '--plugin=protoc-gen-grpc=bazel-out/host/bin/external/grpc/grpc_cpp_plugin' ... (remaining 8 argument(s) skipped): com.google.devtools.build.lib.shell.BadExitStatusException: Process exited with status 1.
# bazel-out/host/bin/external/protobuf/protoc: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by bazel-out/host/bin/external/protobuf/protoc)
# bazel-out/host/bin/external/protobuf/protoc: /usr/lib64/libstdc++.so.6: version `CXXABI_1.3.8' not found (required by bazel-out/host/bin/external/protobuf/protoc)
# bazel-out/host/bin/external/protobuf/protoc: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.18' not found (required by bazel-out/host/bin/external/protobuf/protoc)

最后，为了避免依赖GLIBC，我们必须通过添加-lrt链接器标志(以及maybe -lm)来静态链接某些库。我发现了多个帖子，建议以其他方式添加它：
- 通过bazel command line(听起来合理，但不适用于当前的tensorflow版本)
- 通过“bazel-tensorflow/external/protobuf/BUILD”(不确定它是否在工作，但这看起来并不方便-该文件仅在构建尝试本身期间创建)
- 通过“third_party/gpus/crosstool/CROSSTOOL.tpl”(与我们在上一步中刚刚编辑的文件相同，位于我们已经添加的行的下方)。
```
linker_flag: "-lrt"
linker_flag: "-lm"
```
- 通过“tensorflow/tensorflow.bzl”(对我有用，但不方便，因为您必须再编辑一个文件。我不确定它与上一点是100％等效的)
如果没有-lrt，我再次遇到GLIBC-version-specific错误，尝试执行import tensorflow：
```
# ImportError: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /home/username/anaconda3/envs/myenvname/lib/python3.5/site-packages/tensorflow/python/_pywrap_tensorflow.so)
```
如果没有-lm，您可能会遇到this(对我来说，这不是必需的)。
运行构建过程。

    source ./use_gcc_4.9.4.sh
    ./configure
    bazel build -c opt --config=cuda //tensorflow/tools/pip_package:build_pip_package
    bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
    pip install --upgrade /tmp/tensorflow_pkg/tensorflow-0.12.0rc0-cp35-cp35m-linux_x86_64.whl

尝试运行以下简单的python脚本以测试最基本的功能是否正常运行：

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

a = tf.constant(10)
b = tf.constant(32)
print(sess.run(a + b))

第三种方法

我尝试了BR_User solution，但仍然很烦人：

ImportError: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.14' not found

我使用的是CentOS 6.7，它也缺少更新的c ++标准库，因此要在BR_User解决方案上构建，我提取了正确的libstdc ++软件包，但是我发现不需要虚拟环境。

假设您已经安装了tensorflow，它会给出：

mkdir ~/my_libc_env
cd ~/my_libc_env
wget http://launchpadlibrarian.net/137699828/libc6_2.17-0ubuntu5_amd64.deb
wget http://launchpadlibrarian.net/137699829/libc6-dev_2.17-0ubuntu5_amd64.deb
wget ftp.riken.jp/Linux/scientific/7.0/x86_64/os/Packages/libstdc++-4.8.2-16.el7.x86_64.rpm
ar p libc6_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
ar p libc6-dev_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
rpm2cpio libstdc++-4.8.2-7mgc30.x86_64.rpm| cpio -idmv

然后使用以下命令运行python：

LD_LIBRARY_PATH="$HOME/my_libc_env/lib/x86_64-linux-gnu/:$HOME/my_libc_env/usr/lib64/" $HOME/my_libc_env/lib/x86_64-linux-gnu/ld-2.17.so `which python`

如果不起作用，我有another solution，但您不喜欢它。

第四种方法

好的，这是我在previous answer中提到的另一种解决方案，它比较棘手，但应始终在GLIBC> = 2.12和GLIBCXX&= 3.4.13的系统上工作。就我而言，它使用的是CentOS 6.7，但对于Ubuntu 12.04也很好。

我们将需要在另一台计算机上或单独安装的gcc版本支持c ++ 11。但暂时不。

我们在这里要做的是编辑_pywrap_tensorflow.so二进制文件，以便对其Qlibc和libstdc ++依赖项’weakify’，以便ld接受链接我们要创建的存根。然后我们将这些存根用于缺少的符号，最后在运行python时要预加载所有这些。

首先，我要感谢詹姆斯的出色文章(http://www.lightofdawn.org/wiki/wiki.cgi/NewAppsOnOldGlibc)和宝贵的建议，没有他，我无法做到。

因此，让我们从弱化依赖关系开始，这只是替换_pywrap_tensorflow.so中的正确字节。请注意，此步骤仅适用于当前版本的tensorflow(0.6.0)。因此，如果尚未完成，则创建并激活您的virtualenv(如果您不是admin virtualenv是一种解决方案，则另一种方法是将--user标志添加到pip命令)，然后安装tensorflow 0.6.0(用gpu替换cpu)网址(如果要使用gpu版本)：

pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.6.0-cp27-none-linux_x86_64.whl

让我们减弱所有烦人的依赖性，这是用于tensorflow的cpu版本的命令：

TENSORFLOW_DIR=`python -c "import imp; print(imp.find_module('tensorflow')[1])"`
for addr in 0xC6A93C 0xC6A99C 0xC6A9EC 0xC6AA0C 0xC6AA1C 0xC6AA3C; do printf '\x02' | dd conv=notrunc of=${TENSORFLOW_DIR}/python/_pywrap_tensorflow.so bs=1 seek=$((addr)) ; done

这是gpu之一(仅运行正确的一个，否则您将破坏二进制文件)：

TENSORFLOW_DIR=`python -c "import imp; print(imp.find_module('tensorflow')[1])"`
for addr in 0xDC5EA4 0xDC5F04 0xDC5F54 0xDC5F74 0xDC5F84 0xDC5FA4; do printf '\x02' | dd conv=notrunc of=${TENSORFLOW_DIR}/python/_pywrap_tensorflow.so bs=1 seek=$((addr)) ; done

您可以使用以下方法进行检查：

readelf -V ${TENSORFLOW_DIR}/python/_pywrap_tensorflow.so

如果您想了解这里发生了什么，请看一下文章。

现在，我们将为缺少的libc符号制作存根：

mkdir ~/my_stubs
cd ~/my_stubs
MYSTUBS=~/my_stubs
printf "#include <time.h>\n#include <string.h>\nvoid* memcpy(void *dest, const void *src, size_t n) {\nreturn memmove(dest, src, n);\n}\nint clock_gettime(clockid_t clk_id, struct timespec *tp) {\nreturn clock_gettime(clk_id, tp);\n}" > mylibc.c
gcc -s -shared -o mylibc.so -fPIC -fno-builtin mylibc.c

您需要在缺少依赖项的计算机上(或具有类似标准库版本的计算机(例如，在集群中))执行该步骤。

现在我们可能需要更换机器，因为我们需要一个支持c ++ 11的gcc，并且它可能不在缺少所有依赖项的机器上(或者您可以使用最新gcc的隔离安装)。在下面的内容中，我假设我们仍然在~/my_stubs中，并且以某种方式在整个计算机上共享房屋，否则，您只需复制完成时将生成的.so文件即可。

因此，我们可以为libstdc ++做一个存根，对于剩下的遗漏，我们将从gcc源代码编译它们(可能需要一些时间来克隆存储库)：

printf "#include <functional>\nvoid std::__throw_bad_function_call(void) {\nexit(1);\n}" > bad_function.cc
gcc -std=c++11 -s -shared -o bad_function.so -fPIC -fno-builtin bad_function.cc
git clone https://github.com/gcc-mirror/gcc.git
cd gcc
mkdir my_include
mkdir my_include/ext
cp libstdc++-v3/include/ext/aligned_buffer.h my_include/ext
gcc -I$PWD/my_include -std=c++11 -fpermissive -s -shared -o $MYSTUBS/hashtable.so -fPIC -fno-builtin libstdc++-v3/src/c++11/hashtable_c++0x.cc
gcc -std=c++11 -fpermissive -s -shared -o $MYSTUBS/chrono.so -fPIC -fno-builtin libstdc++-v3/src/c++11/chrono.cc
gcc -std=c++11 -fpermissive -s -shared -o $MYSTUBS/random.so -fPIC -fno-builtin libstdc++-v3/src/c++11/random.cc
gcc -std=c++11 -fpermissive -s -shared -o $MYSTUBS/hash_bytes.so -fPIC -fno-builtin ./libstdc++-v3/libsupc++/hash_bytes.cc

就是这样！您现在可以通过预加载我们所有共享库(和您的本地libstdc ++)来运行tensorflow python脚本：

LIBSTDCPP=`ldconfig -p | grep libstdc++.so.6 | grep 64 | cut -d' ' -f4` #For 64bit machines
LD_PRELOAD="$MYSTUBS/mylibc.so:$MYSTUBS/random.so:$MYSTUBS/hash_bytes.so:$MYSTUBS/chrono.so:$MYSTUBS/hashtable.so:$MYSTUBS/bad_function.so:$LIBSTDCPP" python ${TENSORFLOW_DIR}/models/image/mnist/convolutional.py

🙂

参考资料

Error while importing Tensorflow in Python 2.7 in Ubuntu 12.04. ‘GLIBC_2.17 not found’