[转][图像识别]利用opencv kalman算法进行目标跟踪2017-07-20 16:57:55
kalman滤波算法介绍
Kalman滤波理论主要应用在现实世界中个,并不是理想环境。主要是来跟踪的某一个变量的值,跟踪的依据是首先根
据系统的运动方程来对该值做预测,比如说我们知道一个物体的运动速度,那么下面时刻它的位置按照道理是可以预测出来
的,不过该预测肯定有误差,只能作为跟踪的依据。另一个依据是可以用测量手段来测量那个变量的值,当然该测量也是有
误差的,也只能作为依据,不过这2个依据的权重比例不同。最后kalman滤波就是利用这两个依据进行一些列迭代进行目标
跟踪的。
在这个理论框架中,有2个公式一定要懂,即:
第一个方程为系统的运动方程,第二个方程为系统的观测方程,学过自控原理中的现代控制理论的同学应该对这2个公
式很熟悉。具体的相关理论本文就不做介绍了。
Opencv目标版本中带有kalman这个类,可以使用它来完成一些跟踪目的。
下面来看看使用Kalman编程的主要步骤:
步骤一:
Kalman这个类需要初始化下面变量:
转移矩阵,测量矩阵,控制向量(没有的话,就是0),过程噪声协方差矩阵,测量噪声协方差矩阵,后验错误协方差矩
阵,前一状态校正后的值,当前观察值。
步骤二:
调用kalman这个类的predict方法得到状态的预测值矩阵,预测状态的计算公式如下:
predicted state (x'(k)): x'(k)=A*x(k-1)+B*u(k)
其中x(k-1)为前一状态的校正值,第一个循环中在初始化过程中已经给定了,后面的循环中Kalman这个类内部会计算。
A,B,u(k),也都是给定了的值。这样进过计算就得到了系统状态的预测值x'(k)了。
步骤三:
调用kalman这个类的correct方法得到加入观察值校正后的状态变量值矩阵,其公式为:
corrected state (x(k)): x(k)=x'(k)+K(k)*(z(k)-H*x'(k))
其中x'(k)为步骤二算出的结果,z(k)为当前测量值,是我们外部测量后输入的向量。H为Kalman类初始化给定的测量矩
阵。K(k)为Kalman增益,其计算公式为:
Kalman gain matrix (K(k)): K(k)=P'(k)*Ht*inv(H*P'(k)*Ht+R)
计算该增益所依赖的变量要么初始化中给定,要么在kalman理论中通过其它公式可以计算。
经过步骤三后,我们又重新获得了这一时刻的校正值,后面就不断循环步骤二和步骤三即可完成Kalman滤波过程。
实验部分
本次实验来源于opencv自带sample中的例子,该例子是用kalman来完成一个一维的跟踪,即跟踪一个不断变化的角度。
在界面中表现为一个点在圆周上匀速跑,然后跟踪该点。看起来跟踪点是个二维的,其实转换成角度就是一维的了。
该代码中,有这么几句
KalmanFilter KF(2, 1, 0);
...
KF.transitionMatrix = *(Mat_<float>(2, 2) << 1, 1, 0, 1);
...
一直在想Mat_<float>(2, 2) << 1是什么意思呢?
如果是用:Mat_<float> A(2, 2);则这表示的是定义一个矩阵A。
但是Mat_<float>(2, 2)感觉又不是定义,貌似也不是数,既然不是数怎能左移呢?后面发现自己想错了.
Mat_<float>(2, 2) << 1, 1, 0, 1是一个整体,即往Mat_<float>(2, 2)的矩阵中赋值1,1,0,1;说白了就是给Mat矩阵赋
初值,因为初值没什么规律,所以我们不能用zeros,ones等手段来赋值。比如运行下面语句时:
Mat a;
a = (Mat_<float>(2, 2) << 1, 1, 0, 1);
cout<<a<<endl;
其结果就为
[1,1;
0,1]
实验结果如下:
跟踪中某一时刻图1:
跟踪中某一时刻图2:
其中红色的短线条为目标点真实位置和目标点的测量位置的连线,黄色的短线为目标点真实位置和预测位置的连线,所
以2中颜色相交中间那个点坐标为目标的真实坐标。
实验主要部分代码和注释(附录有工程code下载链接地址):
Kalman.h:
#ifndef KALMAN_H
#define KALMAN_H
#include <QDialog>
#include <QTimer>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/video/video.hpp>
using namespace cv;
namespace Ui {
class kalman;
}
class kalman : public QDialog
{
Q_OBJECT
public:
explicit kalman(QWidget *parent = 0);
~kalman();
private slots:
void on_startButton_clicked();
void kalman_process();
void on_closeButton_clicked();
private:
Ui::kalman *ui;
Mat img, state, processNoise, measurement;
KalmanFilter KF;
QTimer *timer;
//给定圆心和周长,和圆周上的角度,求圆周上的坐标
static inline Point calcPoint(Point2f center, double R, double angle)
{
//sin前面有个负号那是因为图片的顶点坐标在左上角
return center + Point2f((float)cos(angle), (float)-sin(angle))*(float)R;
}
};
#endif // KALMAN_H
Kalman.cpp:
#include "kalman.h"
#include "ui_kalman.h"
#include <iostream>
using namespace std;
kalman::kalman(QWidget *parent) :
QDialog(parent),
ui(new Ui::kalman)
{
//在构造函数中定义变量不行?
img.create(500, 500, CV_8UC3);
cout<<img.rows<<endl;
//状态维数2,测量维数1,没有控制量
KF.init(2, 1, 0);
//状态值,(角度,角速度)
state.create(2, 1, CV_32F);
processNoise.create(2, 1, CV_32F);
measurement = Mat::zeros(1, 1, CV_32F);
timer = new QTimer(this);
connect(timer, SIGNAL(timeout()), this, SLOT(kalman_process()));
ui->setupUi(this);
//这句必须放在ui->setupUi(this)后面,因为只有这样才能访问ui->textBrowser
ui->textBrowser->setFixedSize(500, 500);
}
kalman::~kalman()
{
delete ui;
}
void kalman::on_startButton_clicked()
{
/*
使用kalma步骤一
下面语句到for前都是kalman的初始化过程,一般在使用kalman这个类时需要初始化的值有:
转移矩阵,测量矩阵,过程噪声协方差,测量噪声协方差,后验错误协方差矩阵,
前一状态校正后的值,当前观察值
*/
//产生均值为0,标准差0.1的二维高斯列向量
randn( state, Scalar::all(0), Scalar::all(0.1) );
//transitionMatrix为类KalmanFilter中的一个变量,Mat型,是Kalman模型中的状态转移矩阵
//转移矩阵为[1,1;0,1],2*2维的
KF.transitionMatrix = *(Mat_<float>(2, 2) << 1, 1, 0, 1);
//函数setIdentity是给参数矩阵对角线赋相同值,默认对角线值值为1
setIdentity(KF.measurementMatrix);
//系统过程噪声方差矩阵
setIdentity(KF.processNoiseCov, Scalar::all(1e-5));
//测量过程噪声方差矩阵
setIdentity(KF.measurementNoiseCov, Scalar::all(1e-1));
//后验错误估计协方差矩阵
setIdentity(KF.errorCovPost, Scalar::all(1));
//statePost为校正状态,其本质就是前一时刻的状态
randn(KF.statePost, Scalar::all(0), Scalar::all(0.1));
//设置定时器时间,默认情况下其该定时器可无限定时,即其SingleShot为false
//如果将其设置为true,则该定时器只能定时一次
//因此这里是每个33ms就去执行一次kalman处理函数
timer->start(33);
// timer->setSingleShot( true );
}
void kalman::kalman_process()
{
Point2f center(img.cols*0.5f, img.rows*0.5f);
float R = img.cols/3.f;
//state中存放起始角,state为初始状态
double stateAngle = state.at<float>(0);
Point statePt = calcPoint(center, R, stateAngle);
/*
使用kalma步骤二
调用kalman这个类的predict方法得到状态的预测值矩阵
*/
//predicted state (x'(k)): x'(k)=A*x(k-1)+B*u(k)
//其中x(k-1)为前面的校正状态,因此这里是用校正状态来预测的
//而校正状态corrected state (x(k)): x(k)=x'(k)+K(k)*(z(k)-H*x'(k))
//又与本时刻的预测值和校正值有关系
Mat prediction = KF.predict();
//用kalman预测的是角度
double predictAngle = prediction.at<float>(0);
Point predictPt = calcPoint(center, R, predictAngle);
randn( measurement, Scalar::all(0), Scalar::all(KF.measurementNoiseCov.at<float>(0)));
// generate measurement
//带噪声的测量
measurement += KF.measurementMatrix*state;
// measurement += KF.measurementMatrix*prediction;
double measAngle = measurement.at<float>(0);
Point measPt = calcPoint(center, R, measAngle);
// plot points
//这个define语句是画2条线段(线长很短),其实就是画一个“X”叉符号
#define drawCross( center, color, d ) \
line( img, Point( center.x - d, center.y - d ), \
Point( center.x + d, center.y + d ), color, 1, CV_AA, 0); \
line( img, Point( center.x + d, center.y - d ), \
Point( center.x - d, center.y + d ), color, 1, CV_AA, 0 )
img = Scalar::all(0);
//状态坐标白色
drawCross( statePt, Scalar(255,255,255), 3 );
//测量坐标蓝色
drawCross( measPt, Scalar(0,0,255), 3 );
//预测坐标绿色
drawCross( predictPt, Scalar(0,255,0), 3 );
//真实值和测量值之间用红色线连接起来
line( img, statePt, measPt, Scalar(0,0,255), 3, CV_AA, 0 );
//真实值和估计值之间用黄色线连接起来
line( img, statePt, predictPt, Scalar(0,255,255), 3, CV_AA, 0 );
/*
使用kalma步骤三
调用kalman这个类的correct方法得到加入观察值校正后的状态变量值矩阵
*/
//虽然该函数有返回值Mat,但是调用该函数校正后,其校正值已经保存在KF的statePost
//中了,corrected state (x(k)): x(k)=x'(k)+K(k)*(z(k)-H*x'(k))
KF.correct(measurement);
randn( processNoise, Scalar(0), Scalar::all(sqrt(KF.processNoiseCov.at<float>(0, 0))));
//不加噪声的话就是匀速圆周运动,加了点噪声类似匀速圆周运动,因为噪声的原因,运动方向可能会改变
state = KF.transitionMatrix*state + processNoise;
imwrite("../kalman/img.jpg", img);
ui->textBrowser->clear();
//ui->textBrowser->setFixedSize(img.cols, img.rows);
ui->textBrowser->append("<img src=../kalman/img.jpg>");
}
void kalman::on_closeButton_clicked()
{
close();
}
在用Qt编程中碰到了下面的疑问
疑问1:
Qt界面编程中,由于构造函数中不能定义全局变量,我们需要把全局变量定义在内的内部(即在头文件中定义),那么在
使用类似于opencv中这些自带初始值赋值的方法是不是就不能那样使用了呢?比如说Mat img(500, 500, CV_8UC3);因为在
头文件中的定义不能同时初始化,在源文件中又不能定义。难道我们一定要将初始化和定义分开写?
查了下资料,基本上只能分开写了。其实类似opencv等开源库中的函数都考虑到了这一点。如果是用c编程,其全局变
量可以直接这样赋值,Mat img(500, 500, CV_8UC3);如果是有关界面的c++编程,则Mat会提供另外一个函数来初始化的,
Mat这里提供的是create函数,img.create(500, 500, CV_8UC3);其它函数类似。
疑问2:
Qt界面编程中,当我们按下一个按钮时,需要在这个按钮的槽函数里面实现一个死循环的功能,比如说让界面中一直显
示一个运动的圆,由于该点在运动,所以需要代码不断的画圆,因此用了死循环。而当我们按下该界面中的另一个按钮,比
如退出程序按钮时,因为前一个按钮中一直在响应,所以无法响应我们的退出按钮请求,遇到这种情况该怎么解决呢?
答案首先能肯定的是,一般情况下按钮响应槽函数中不宜使用死循环语句,否则外面函数无法响应。网上说一般解决这
种问题用多线程编程技术比较好(这里我没有去试过,因为不了解多线程技术,当然了,这个以后有时间一定要去学下的)
。我这里采用了另外一种方法即利用的定时器功能,触发定时器槽函数,每隔一段时间执行一下需要执行的函数。具体见代
码中。
上面2个疑问是暂时的替代方案,
总结:
kalman应用比较广,虽然学习它的理论都是数学公式,不过我们可以先学会在程序中怎么使用它,在慢慢去看理论,2
者结合,这样效果会好很多。