It's our wits that make us men.

慧极必伤，情深不寿，强极则辱，谦谦君子，温润如玉

GIST feature

Posted on Jun 23, 2017 By hejw005

Introduction of GIST

五种空间包络描述

我们定义下列五种对空间包络的描述方法：

  • 自然度（Degree of Naturalness）：场景如果包含高度的水平和垂直线，这表明该场景有明显的人工痕迹，通常自然景象具有纹理区域和起伏的轮廓。所以，边缘具有高度垂直于水平倾向的自然度低，反之自然度高。

  • 开放度（Degree of Openness）：空间包络是否是封闭（或围绕）的。封闭的，例如：森林、山、城市中心。或者是广阔的，开放的，例如：海岸、高速公路。

  • 粗糙度（Degree of Roughness）：主要指主要构成成分的颗粒大小。这取决于每个空间中元素的尺寸，他们构建更加复杂的元素的可能性，以及构建的元素之间的结构关系等等。粗糙度与场景的分形维度有关，所以可以叫复杂度。

  • 膨胀度（Degree of Expansion）：平行线收敛，给出了空间梯度的深度特点。例如平面视图中的建筑物，具有低膨胀度。相反，非常长的街道则具有高膨胀度。

  • 险峻度（Degree of Ruggedness）：即相对于水平线的偏移。（例如，平坦的水平地面上的山地景观与陡峭的地面）。险峻的环境下在图片中生产倾斜的轮廓，并隐藏了地平线线。大多数的人造环境建立了平坦地面。因此，险峻的环境大多是自然的。

http://caincc.com/post/gist-descriptor-extraction

http://www.cnblogs.com/justany/archive/2012/12/06/2804211.html

http://people.csail.mit.edu/torralba/code/spatialenvelope/

http://people.csail.mit.edu/torralba/publications/torralbaEyeMovements.pdf

http://people.csail.mit.edu/torralba/GlobalFeaturesAndAttention/

Now, I need to know about the GIST feature, and know the applications about this feature.

In next step, I need to explore the GIST in google scholar.

matlab的代码对于对称的两张图像,gist特征并没有得到相同的值,这直接导致对称的建筑物左右两侧会推荐值不一样,是一个非常棘手的问题.

现改为使用https://github.com/tgsong/LibGIST的代码

这个代码和论文Assessing the aesthetic quality of photographs using generic image descriptors描述的一致,会得到一个960维的向量.

GIST. Oliva and Torralba [18] introduced the GIST descriptor as a low-dimensional scene descriptor. A set of perceptual dimensions, that represent the global structure of a scene (naturalness, openness, roughness, expansion, ruggedness) is estimated using spectral information and coarse localization. In practice, an image is partitioned in a 4 × 4 regular grid and a 20-D histogram of gradients is computed for each region, and for each color channel. The concatenation of all histograms produces a 960-D vector.

注意配环境的时候安装fftw库时的操作为:

$ ./configure --enable-float --enable-shared
// 据说可以不用加--enable-shared
$ make
$ sudo make install

最后这个库会被安装到/usr/local/lib/目录下