问题描述
最近,我开始使用带有g ++ 5.3.1的Ubuntu 16.04并检查我的程序运行速度慢了3倍。在此之前我使用过Ubuntu 14.04,g ++ 4.8.4。我使用相同的命令构建它:CFLAGS = -std=c++11 -Wall -O3
。
我的程序包含循环,充满数学调用(sin,cos,exp)。你可以找到它here。
我尝试使用不同的优化标志(O0,O1,O2,O3,Ofast)进行编译,但在所有情况下都会重现问题(使用Ofast,两种变体运行速度更快,但第一次运行速度仍然慢3倍)。
在我的程序中,我使用libtinyxml-dev
,libgslcblas
。但是它们在两种情况下都具有相同的版本,并且在性能方面没有在程序中(根据代码和callgrind概要分析)占用任何重要部分。
我已经进行了分析,但它并没有让我知道它为什么会发生。 Kcachegrind comparison (left is slower)。我只注意到现在该程序使用libm-2.23
而不是libm-2.19
和Ubuntu 14.04。
我的处理器是i7-5820,Haswell。
我不知道为什么它会变慢。你有什么想法?
附:您可以在下面找到最耗时的功能:
void InclinedSum::prepare3D()
{
double buf1, buf2;
double sum_prev1 = 0.0, sum_prev2 = 0.0;
int break_idx1, break_idx2;
int arr_idx;
for(int seg_idx = 0; seg_idx < props->K; seg_idx++)
{
const Point& r = well->segs[seg_idx].r_bhp;
for(int k = 0; k < props->K; k++)
{
arr_idx = seg_idx * props->K + k;
F[arr_idx] = 0.0;
break_idx2 = 0;
for(int m = 1; m <= props->M; m++)
{
break_idx1 = 0;
for(int l = 1; l <= props->L; l++)
{
buf1 = ((cos(M_PI * (double)(m) * well->segs[k].r1.x / props->sizes.x - M_PI * (double)(l) * well->segs[k].r1.z / props->sizes.z) -
cos(M_PI * (double)(m) * well->segs[k].r2.x / props->sizes.x - M_PI * (double)(l) * well->segs[k].r2.z / props->sizes.z)) /
( M_PI * (double)(m) * tan(props->alpha) / props->sizes.x + M_PI * (double)(l) / props->sizes.z ) +
(cos(M_PI * (double)(m) * well->segs[k].r1.x / props->sizes.x + M_PI * (double)(l) * well->segs[k].r1.z / props->sizes.z) -
cos(M_PI * (double)(m) * well->segs[k].r2.x / props->sizes.x + M_PI * (double)(l) * well->segs[k].r2.z / props->sizes.z)) /
( M_PI * (double)(m) * tan(props->alpha) / props->sizes.x - M_PI * (double)(l) / props->sizes.z )
) / 2.0;
buf2 = sqrt((double)(m) * (double)(m) / props->sizes.x / props->sizes.x + (double)(l) * (double)(l) / props->sizes.z / props->sizes.z);
for(int i = -props->I; i <= props->I; i++)
{
F[arr_idx] += buf1 / well->segs[k].length / buf2 *
( exp(-M_PI * buf2 * fabs(r.y - props->r1.y + 2.0 * (double)(i) * props->sizes.y)) -
exp(-M_PI * buf2 * fabs(r.y + props->r1.y + 2.0 * (double)(i) * props->sizes.y)) ) *
sin(M_PI * (double)(m) * r.x / props->sizes.x) *
cos(M_PI * (double)(l) * r.z / props->sizes.z);
}
if( fabs(F[arr_idx] - sum_prev1) > F[arr_idx] * EQUALITY_TOLERANCE )
{
sum_prev1 = F[arr_idx];
break_idx1 = 0;
} else
break_idx1++;
if(break_idx1 > 1)
{
//std::cout << "l=" << l << std::endl;
break;
}
}
if( fabs(F[arr_idx] - sum_prev2) > F[arr_idx] * EQUALITY_TOLERANCE )
{
sum_prev2 = F[arr_idx];
break_idx2 = 0;
} else
break_idx2++;
if(break_idx2 > 1)
{
std::cout << "m=" << m << std::endl;
break;
}
}
}
}
}
进一步的调查。我写了以下简单的程序:
#include <cmath>
#include <iostream>
#include <chrono>
#define CYCLE_NUM 1E+7
using namespace std;
using namespace std::chrono;
int main()
{
double sum = 0.0;
auto t1 = high_resolution_clock::now();
for(int i = 1; i < CYCLE_NUM; i++)
{
sum += sin((double)(i)) / (double)(i);
}
auto t2 = high_resolution_clock::now();
microseconds::rep t = duration_cast<microseconds>(t2-t1).count();
cout << "sum = " << sum << endl;
cout << "time = " << (double)(t) / 1.E+6 << endl;
return 0;
}
我真的很想知道为什么这个简单的示例程序在g ++ 4.8.4 libc-2.19(libm-2.19)下比在g ++ 5.3.1 libc-2.23(libm-2.23)下快2.5。
编译命令是:
g++ -std=c++11 -O3 main.cpp -o sum
使用其他优化标志不会更改比率。
我如何理解谁,gcc或libc,减慢程序?
最佳解决方法
这是glibc中的一个错误,它影响版本2.23(在Ubuntu 16.04中使用)和2.24的早期版本(例如Fedora和Debian已经包含不再受影响的修补版本,Ubuntu 16.10和17.04还没有)。
减速源于SSE到AVX寄存器转换惩罚。请参阅glibc错误报告:https://sourceware.org/bugzilla/show_bug.cgi?id=20495
Oleg Strikov在他的Ubuntu错误报告中写了一篇相当广泛的分析:https://bugs.launchpad.net/ubuntu/+source/glibc/+bug/1663280
没有补丁,有各种可能的解决方法:您可以静态编译问题(即添加-static
),或者您可以通过在程序执行期间设置环境变量LD_BIND_NOW
来禁用延迟绑定。再次,上面的错误报告中的更多细节。
次佳解决方法
对于一个非常精确的答案,你可能需要一个libm维护者来查看你的问题。然而,这是我的看法 – 把它作为草稿,如果我找到别的东西,我会把它添加到这个答案。
首先,查看GCC生成的asm,在gcc 4.8.2和gcc 5.3之间。只有4个不同之处:
-
在开始时,
xorpd
转换为pxor
,用于相同的寄存器 -
在从int转换为double(
cvtsi2sd
)之前添加了pxor xmm1, xmm1
-
在转换之前移动了
movsd
-
添加(
addsd
)在比较之前移动(ucomisd
)
所有这些可能都不足以降低性能。拥有一个优秀的分析器(例如英特尔)可以让我更具决定性,但我无法访问一个。
现在,依赖于sin
,让我们看看改变了什么。问题是首先确定你使用的平台…… glibc的sysdeps
中有17个不同的子文件夹(其中定义了sin),所以我选择了x86_64
。
首先,处理器功能的处理方式发生了变化,例如glibc/sysdeps/x86_64/fpu/multiarch/s_sin.c
用于在2.19中检查FMA /AVX,但在2.23中它是在外部完成的。可能存在未正确报告功能的错误,导致未使用FMA或AVX。然而,我不认为这个假设是合理的。
其次,在.../x86_64/fpu/s_sinf.S
中,唯一的修改(除了版权更新)改变堆栈偏移,将其对齐为16个字节;对于sincos来说。不确定它会产生巨大的影响。
然而,2.23为数学函数的矢量化版本添加了许多来源,有些使用了AVX512 – 您的处理器可能不支持它,因为它真的是新的。也许libm试图使用这样的扩展,并且因为你没有它们,所以回退通用版本?
编辑:我尝试用gcc 4.8.5编译它,但为此我需要重新编译glibc-2.19。目前我无法联系,因为:
/usr/lib/gcc/x86_64-linux-gnu/4.8/../../../x86_64-linux-gnu/libm.a(s_sin.o): in function « __cos »:
(.text+0x3542): undefined reference to « _dl_x86_cpu_features »
/usr/lib/gcc/x86_64-linux-gnu/4.8/../../../x86_64-linux-gnu/libm.a(s_sin.o): in function « __sin »:
(.text+0x3572): undefined reference to « _dl_x86_cpu_features »
我将尝试解决此问题,但事先注意到此符号很可能负责根据处理器选择正确的优化版本,这可能是性能影响的一部分。