QtとBeagleBoneBlackでOpenCV

Qtで作るBeagleBoneのプログラムで画像処理ライブラリOpenCVを使う手順についてメモしておきます。

QtCreatorが動作するUbuntu 15.04 i386上でarm用のopencvを構築します。

こちらのサイトを参考にしました

1. Opencvのソースをダウンロードして解凍します
~$ mkdir opencv 
~$cd opencv 
~/opencv$ wget -O opencv-3.1.0.zip https://github.com/opencv/opencv/archive/3.1.0.zip 
~/opencv$ wget -O opencv_contrib-3.1.0.zip https://github.com/opencv/opencv_contrib/archive/3.1.0.zip 
~/opencv$ unzip opencv-3.1.0.zip 
~/opencv$ unzip opencv_contrib-3.1.0.zip
2.使用するコンパイラに合わせてopencv-3.1.0/platforms/linux/arm-qnueabi.toolchain.cmakeを修正します

GCC_COMPILER_VERSIONを”4.6″から”5″に変更しました

set(GCC_COMPILER_VERSION "5" CACHE STRING "GCC Compiler version")
3. cmakeとmakeで構築してインストールします
~/opencv$ cd opencv-3.1.0
~/opencv/opencv-3.1.0$ mkdir build-arm
~/opencv/opencv-3.1.0$ cd build-arm

~/opencv/build/build-arm$ cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/opt/opencv3.1-arm \
-D CMAKE_TOOLCHAIN_FILE=~/opencv/opencv-3.1.0/platforms/linux/arm-gnueabi.toolchain.cmake \
-D CMAKE_AR=/usr/arm-linux-gnueabihf/bin/ar \
-D OPENCV_EXTRA_MODULES_PATH=~/opencv/opencv_contrib-3.1.0/modules \
-D ENABLE_NEON:BOOL=ON \
-D WITH_TBB=ON \
-D BUILD_TBB=ON \
-D WITH_QT=OFF \
-D WITH_OPENGL=OFF \ 
-D SOFTFP=ON \
..

~/opencv/opencv-3.1.0/build-arm$ sudo make j2

~/opencv/opencv-3.1.0/build-arm$ sudo make install
3.BeagleBoneBlackへライブラリを転送します
~$ scp /opt/opencv3.1-arm/lib/* root@192.168.0.xxx:/usr/lib
4.Qtプロジェクトの設定  

myproject.pro の最後にインクルードパスとライブラリの参照を追加します

DEPENDPATH += /opt/opencv3.1-arm/include
INCLUDEPATH += /opt/opencv3.1-arm/include
LIBS += -L/opt/opencv3.1-arm/lib/ \
 -lopencv_core \
 -lopencv_imgproc \
 -lopencv_highgui \
 -lopencv_imgcodecs
5. OpenCVのサンプル

Qtデータ形式との変換、2値化

cvfunc.h

#ifndef CVFUNC_H
#define CVFUNC_H

#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/core/core.hpp"
#include <iostream>
#include <stdlib.h>

extern void read_qimageformat(cv::Mat &mat, const char *filename);
extern void read_qimageformat0(cv::Mat &mat, const char *filename);
extern void binarize(cv::Mat &mat, const char *filename);
extern void detect_plate(cv::Mat &mat, int th);
extern void mask_plate(cv::Mat mat, cv::Mat &dst, int th);
extern void copypart(cv::Mat src, cv::Mat &dst, int x0, int y0);

#endif // CVFUNC_H

cvfunc.cpp

#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/core/core.hpp"
#include <iostream>
#include <stdlib.h>
#include "mainwindow.h"
#include <QtGui>

#include "cvfunc.h"

using namespace cv;

// copy part of image
// input : src,dst: CV_8UC3
void copypart(cv::Mat src, cv::Mat &dst, int x0, int y0)
{
  for(int y=0; y < dst.rows; y++){
    for( int x=0; x < dst.cols; x++){
      dst.data[y * dst.step + x * dst.elemSize() + 0] // G
        = src.data[(y+y0) * src.step + (x+x0) * src.elemSize() + 0];
      dst.data[y * dst.step + x * dst.elemSize() + 1] // B
        = src.data[(y+y0) * src.step + (x+x0) * src.elemSize() + 1];
      dst.data[y * dst.step + x * dst.elemSize() + 2] // R
        = src.data[(y+y0) * src.step + (x+x0) * src.elemSize() + 2];
    }
  }
}

// Detect plate
// input : mat: CV_8UC1, th:threshold
void detect_plate(cv::Mat &mat, int th)
{
 // srcと同じサイズで8ビット×3チャンネルのMatデータを作成
 // cv::Mat (GBR) を QImage (RGB)に入れ替える
  for(int y=0; y < mat.rows; y++){
    for( int x=mat.cols-3; 0 < x ; x--){
      if( mat.data[y * mat.step + x] <= th )
        mat.data[y * mat.step + x] = 255;
      else break;
    }
  }
}

// Mask plate
// input : mat,dst: CV_8UC1, th:threshold
void mask_plate(cv::Mat mat, cv::Mat &dst, int th)
{
 // srcと同じサイズで8ビット×3チャンネルのMatデータを作成
 // cv::Mat (GBR) を QImage (RGB)に入れ替える
  for(int y=0; y < mat.rows; y++){
    for( int x=mat.cols-3; 0 < x ; x--){
      if( mat.data[y * mat.step + x] <= th )
        dst.data[y * dst.step + x] = 255;
      else break;
    }
  }
}

//
// OpenCv形式からQImage形式への変換
//
void read_qimageformat(cv::Mat &mat, const char *filename)
{
 // Matにイメージを読み込む
  Mat src = imread(filename,IMREAD_COLOR);
 // cv::Mat と QImage で異なるのでRGBの順番を入れ替える
  cvtColor(src, mat, CV_RGB2BGR); //OpenCVの命令でRGBの順番を入れ替える
 // 次のようにしてQIMageに変換する
 //QImage qimg(mat.data, mat.cols, mat.rows, QImage::Format_RGB888);
}

//
// OpenCv形式からQImage形式への変換
// Matの初期化と画素直接アクセスのサンプル
//
void read_qimageformat0(cv::Mat &mat, const char *filename)
{
 // Matにイメージを読み込む
  Mat src = imread(filename,IMREAD_COLOR);
 // srcと同じサイズで8ビット×3チャンネルのMatデータを作成
  Mat dst(src.size().height,src.size().width,CV_8UC3);
 // cv::Mat (GBR) を QImage (RGB)に入れ替える
  for(int y=0; y < src.rows; y++){
    for( int x=0; x < src.cols; x++){
      dst.data[y * src.step + x * src.elemSize() + 0] // R
        = src.data[y * src.step + x * src.elemSize() + 2];
      dst.data[y * src.step + x * src.elemSize() + 1] // G
        = src.data[y * src.step + x * src.elemSize() + 0];
      dst.data[y * src.step + x * src.elemSize() + 2] // B
        = src.data[y * src.step + x * src.elemSize() + 1];
    }
  }
  mat = dst;
}

#if 0
//
// 二値化
//
void binarize(cv::Mat &mat, const char *filename)
{
 // Matにイメージを読み込む
  Mat src_img = imread(filename,IMREAD_COLOR);
 // srcと同じサイズで8ビット×1チャンネルのMatデータを作成
  Mat gray_img(src_img.size(),CV_8UC1);
 // グレースケールに変換
 //cvtColor(src_img, gray_img, CV_BGR2GRAY);
  cvtColor(src_img, gray_img, CV_);
 // 変換先のイメージ作成
  Mat bin_img(src_img.size(),CV_8UC1);
#if 0
 // 二値化、大津の手法(自動的にスレッショルドを決定)
  threshold(gray_img, bin_img, 0, 255,  CV_THRESH_BINARY|CV_THRESH_OTSU);
#else
 // (3)apply an adaptive threshold to a grayscale image
  adaptiveThreshold(gray_img, bin_img, 255, CV_ADAPTIVE_THRESH_GAUSSIAN_C, CV_THRESH_BINARY, 7, 8);
#endif
 // bin 8bit x 1ch を mat 8bit x 3ch に変換
  cvtColor(bin_img, mat, CV_GRAY2RGB);
}
#else
//
// 二値化
//
void binarize(cv::Mat &mat, const char *filename)
{
 // Matにイメージを読み込む
  Mat src_img = imread(filename,IMREAD_COLOR);
 // srcと同じサイズで8ビット×1チャンネルのMatデータを作成
  Mat gray_img(src_img.size(),CV_8UC1);
 // 青色を取り出すグレースケールに変換
 //cvtColor(src_img, gray_img, CV_BGR2GRAY);
  for(int y=0; y < src_img.rows; y++){
    for( int x=0; x < src_img.cols; x++){
      gray_img.data[y * gray_img.step + x * gray_img.elemSize() + 0] //
        = src_img.data[y * src_img.step + x * src_img.elemSize() + 0]; // B
    }
  }
#if 0 // 青色のグレースケール表示
 // gray_img 8bit x 1ch を mat 8bit x 3ch に変換
  cvtColor(gray_img, mat, CV_GRAY2RGB);
#else
 // 変換先のイメージ作成
  Mat bin_img(src_img.size(),CV_8UC1);
#if 0
 // 二値化、大津の手法(自動的にスレッショルドを決定)
  threshold(gray_img, bin_img, 0, 255, CV_THRESH_BINARY|CV_THRESH_OTSU);
#else
 // (3)apply an adaptive threshold to a grayscale image
  adaptiveThreshold(gray_img, bin_img, 255, CV_ADAPTIVE_THRESH_GAUSSIAN_C, CV_THRESH_BINARY, 7, 8);
#endif
 // bin 8bit x 1ch を mat 8bit x 3ch に変換
  cvtColor(bin_img, mat, CV_GRAY2RGB);
#endif
}

#endif

Yoct & qt5.71 を使ってBeagleboneblack 用 linux imageを作る(まとめ)

Yoct projectを使ってBeaglebone black |Green (以下BBB)linux imageを作りqt5.71で作ったプログラムが走ることを確認したので散らばった記事へのリンクをまとめておきます。

成果

  • Qt5.7.1で作ったプログラムが走るようになりました。
  • QMLも多分使えます (まだテストしていません)8-) 
  • 起動時間が短くなりSplash画面を表示することが出来るようになりました。
1.Ubuntu 16.04のセットアップとYoct projectインストールからBBB linux 4.4.50イメージの作り方まで。
YoctoによるBeagleBone Blackシステムの構築(英語)
Yoct project を使ってBeagleboneblack 用 linux imageを作る

 

2.arm (qt5.7.1) ToolChainの作り方

Qt用ToolChainの準備

上のリンクを参考にarm(qt5.7.1)ToolChainを構築すると.dtsから.dtbを作るためのコンパイラdtcを走らせることが出来ます。
またqtcreatorのためのクロスコンパイル環境として使います。

QtCreatorのインストールと設定方法はQtCreator for Beaglebone black のインストールを参照してください。

3.BBBの設定

追加でコピーするファイル

qwt関連のライブラリ、実行でライブラリが無いとのエラーが出たファイルをToolChainのArmライブラリからコピーする。

4.アプリを自動起動する設定

update-rc.dでアプリケーションを自動スタートするよう設定
(1) /etc/init.d/にアプリケーションを実行するスクリプトを作成

(2)update-rc.d でスクリプトを登録

# update-rc.d startmyapp.sh start 90 2 3 4 5 .

オプション defaults を使うとシステム終了時にも startmyapp.sh stop の形でスクリプトが呼び出されるので開始・終了処理をきちんと書いたスクリプトが必要ですが、オプション start を使うとシンプルなスクリプトでOK

 

 

QtCreator for Beaglebone black のインストール

QtCreator3.5( Qt4.8)で作ったアプリをYoctoで作った Qt5.7.1ベースのシステムに転送して実行するとタッチスクリーンが正常に動作しない(反応はするけれどts_calibrateで校正してもカーソルの位置がでたらめになる。)のでQtCreatorの新バージョンを入れてみることにしました。

Qt用ToolChainの準備

参考URL:raspberrypi2 yoctoの開発環境の作成

yoctoプロジェクトは~/yocto-mortyに入っている。

~/yocto-morty/bbb/build/conf/local.confにSDKMACHINE = “x86_64″を挿入(コメントを外す)し、
qwtのインストールで必要となるopenglを追加する。

# i686 or x86_64
SDKMACHINE = "x86_64"

#DISTRO_FEATURES_BACKFILL_CONSIDERED += "pulseaudio opengl"  

DISTRO_FEATURES_append = " opengl x11"
bitbakeを実行しtoolchainのインストーラを作成する。
$ cd ~/yocto-morty
$ source poky-morty/oe-init-build-env ~/yocto-morty/bbb/build
$ bitbake meta-toolchain-qt5
インストール  (/opt/poky-qt5/2.2.1 にインストールした)
$ tmp/deploy/sdk/poky-glibc-x86_64-meta-toolchain-qt5-cortexa8hf-neon-toolchain-2.2.1.sh
Enter target directory for SDK (default: /opt/poky/2.2.1):

QtCreatorのインストール

参考URL:HIO Wiki:Set Up Qt Creator for Yocto Device

Qtの新しいバージョンをダウンロードする、現時点で最新版はQt5.8でしたがYocto-qt5のバージョンと合わせるために次の場所からQt5.7.1を選択してダウンロード。

Download QT Creator Linux X64

$ chmod +x qt-opensource-linux-x64-5.7.1.run
$ sudo ./qt-opensource-linux-x64-5.7.1.run

ダウンロードしたスクリプトに実行属性を与えて実行するとインストーラが起動するので指示に従ってインストールする。

QtCreatorの環境設定

 /opt/Qt5.7/1/Tools/QtCreator/bin/qtcreator.sh
を編集して次の行を最初に挿入する(#!/bin/shの前)

source /opt/poky-qt5/2.2.1/environment-setup-cortexa8hf-neon-poky-linux-gnueabi

QT Creatorを起動

QtCreator インストールディレクトリ /opt/Qt5.4.0/Tools/QtCreator/bin に移動して 起動する

$: sudo sh qtcreator.sh

QT Creatorの設定

デバイスを追加する

コンパイラを追加する
/opt/poky-qt5/2.2.1/sysroots/x86_64-pokysdk-linux/usr/bin/arm-poky-linux-gnueabi/arm-poky-linux-gnueabi-g++

Qtバージョンを指定する(qmakeのパスを指定)
/opt/poky-qt5/2.2.1/sysroots/x86_64-pokysdk-linux/usr/bin/qt5/qmake

キットにbbbを追加する。
デバイス、Sysroot、コンパイラ、Qtバージョンを追加する
Qt mkspecにはエラー対策として linux-oe-g++ を追加

qwtを使う場合、追加でインストールする

1.Qwt6.1.2をダウンロードして解凍

ダイレクトリンクが見つからないため下のリンクからブラウザでダウンロードして~/qt-bbb/downloadsに保存。

http://sourceforge.net/projects/qwt/files/qwt/6.1.2/

$ cd ~/Downloads
$ tar -jxf qwt-6.1.2.tar.bz2

2.Qwt-6.1.2のデザイナーをインストール

Qt Creatorを起動

Qwtプロジェクトを開く

ファイル -> ファイル・プロジェクトを開く から Downloads/qwt-6.1.2/qwt.pro

プロジェクトを構成 ウィンドウが開く

デスクトップにチェックが入っていることを確認して 「プロジェクトを構成」ボタンをクリック

ビルド > 全てビルド を実行

(少し時間がかかる)

myapp.proのエディタ画面で右クリックしてライブラリ追加すると使えるようになる。

designer用ライブラリは認識されない(調査中)

 

ターゲット BBBに転送するファイル

~/Downloads/build-qwt-bbb-Debug/lib/libqwt* -> /usr/libへ
/opt/poky-qt5/2.2.1/sysroots/cortexa8hf-neon-poky-linux-gnueabi/usr/lib/libQt5Svg*  -> /usr/libへ

Project移行時に発生したエラー

Qt requires C++11 support error.

プロジェクトファイル .pro に
QMAKE_CXXFLAGS += -std=c++11
を追加して解決。