たまには画像処理

久しぶりの更新です。
いろんな事情により画像処理の練習をしようと思ってSIFTを組んでみたのですが、
プログラムにマッチングさせるまでもなくいろいろとおかしいです。
いろいろと調べて間違ってるところを直さないと・・・

Kinect.Toolkit にジェスチャのテンプレートを追加する

Eternal CodingとCode PlexでKinectでジェスチャの認識をするためのライブラリが公開されてます。

記事を読むのが一番早いと思いますが、ライブラリでは点の軌跡をそのまま解析する方法と、テンプレートを予め用意しておいてそれと比較する二種類の方法があるようです。

今回はそのテンプレートを自作してみようと思います。
どういうことかというと、公開されているサンプルの

この部分に表示されるものを自分で作ってみます。
(circleKB.saveに当たるものを作る。)

自作するジェスチャは次のような感じ。


今回はこのジェスチャの軌跡をテキストファイルに手打ちして、それを読み込んで.saveファイルを作成してみました。
大体の手順はTemplateGestureDetectorのAddメソッドに座標を追加していって、それをSaveStateメソッドでファイルに保存します。
以下が正確ではないですがコードにしたものです。

view plainprint?

1. TemplateGestureDetector gd = new TemplateGestureDetector(null);  
2. gd.StartRecordTemplate()  
3. for (i = 0 ; i < n ; i++) {  
4.     gd.add(position , kinect.SkeletonEngine);  
5. }  
6. gd.EndRecordTemplate()  
7. gd.SaveState(stream)  

TemplateGestureDetector gd = new TemplateGestureDetector(null);
gd.StartRecordTemplate()
for (i = 0 ; i < n ; i++) {
    gd.add(position , kinect.SkeletonEngine);
}
gd.EndRecordTemplate()
gd.SaveState(stream)

作成した結果がこちら


公開されているサンプルはほとんどいじっていないので、自作したテンプレートの認識結果を載せようとすると自分が写ってしまうので載せませんが、このとおりの動きをしたらきちんとジェスチャが認識されました。
最初に予定していたのに比べると傾いてしまいましたが、これは説明文をもっときちんと読むことで解消できるかと思います。

プロジェクトはこちらDownLoad

Kinect + OpenCVSharp フィルタ処理

Kinectから取ってきた深度画像とOpenCVを組み合わせて何かできないかと考えてます。
一応Kinectから取ってこれる画像は生の実画像に近いと思うのでOpenCVSharpに慣れるのもかねてフィルタ処理をしてみました。

画像中左上がKinectから取得してそのままの画像。
右上がガウシアンフィルタ。左下がブラー処理、右下がメディアンフィルタです。
これを見る限りだとフィルタ処理しても全然変わらないですね・・・
それでも若干ですがメディアンフィルタがエッジを保ちつつノイズを除去できているようには感じます。
そもそもフィルタ処理が必要かどうかという部分もありますが、使うならメディアンフィルタになるのかな・・・？

Kinect SDK + ARっぽいもの

前に、カメラからの距離の変化を利用してARっぽいことができないかと考えたので、その第一段階のようなものです。

Kinectから得られた最初のDepthFrameを基準とし、それと比べて距離が一定以上遠くなった領域の大体の重心に球体を描画しています。
もうちょっとちゃんと位置合わせしたりしないといけないですね。
まだまだ付け足さないといけない部分も多いですがこれをもとにいろいろいじろうと思います。

KinectSDK + Formアプリケーション ちょっとお遊び

現在本当は全身マウスっぽいものをやろうとしているのですが、XNA特有の問題を知らなかったりして時間を食って、現在Formアプリで作ってます。
大体は出来上がったのですが、精度面がまだかなり粗いのでその辺を改善したいと思ってます。
そんな中適当にやってたら残像？っぽいものが出てきて楽しかったので載せておきます。
適当にα値いじるだけですね。
画像は僕の腕ですｗ

view plainprint?

1. using System;  
2. using System.Collections.Generic;  
3. using System.ComponentModel;  
4. using System.Data;  
5. using System.Drawing;  
6. using System.Linq;  
7. using System.Text;  
8. using System.Windows.Forms;  
9. using Microsoft.Research.Kinect.Nui;  
10.   
11. namespace Kinect_Residualimage  
12. {  
13.     public partial class Form1 : Form  
14.     {  
15.         //画面表示用  
16.         Bitmap Texture;  
17.   
18.         //Kinectの変数  
19.         Runtime nui;  
20.   
21.         const int ALPHA_IDX = 3;  
22.         const int RED_IDX = 0;  
23.         const int GREEN_IDX = 1;  
24.         const int BLUE_IDX = 2;  
25.         byte[] colorFrame32 = new byte[640 * 480 * 4];  
26.   
27.         Graphics Graphi;  
28.   
29.         public Form1()  
30.         {  
31.             InitializeComponent();  
32.         }  
33.   
34.         private void Form1_Load(object sender, EventArgs e)  
35.         {  
36.             Texture = new Bitmap(640, 480, System.Drawing.Imaging.PixelFormat.Format32bppArgb);  
37.   
38.             //Kinectの初期化  
39.             nui = new Runtime();  
40.             try  
41.             {  
42.                 nui.Initialize(RuntimeOptions.UseColor);  
43.             }  
44.             catch (InvalidOperationException)  
45.             {  
46.                 Console.WriteLine("Runtime initialization failed. Please make sure Kinect device is plugged in.");  
47.                 return;  
48.             }  
49.   
50.             //video streamのOpenをする  
51.             try  
52.             {  
53.                 nui.VideoStream.Open(ImageStreamType.Video, 2, ImageResolution.Resolution640x480, ImageType.Color);  
54.             }  
55.             catch (InvalidOperationException)  
56.             {  
57.                 Console.WriteLine("Failed to open stream. Please make sure to specify a supported image type and resolution.");  
58.                 return;  
59.             }  
60.             nui.VideoFrameReady += new EventHandler<ImageFrameReadyEventArgs>(nui_VideoFrameReady);  
61.   
62.             pictureBox1.Image = new Bitmap(pictureBox1.Width, pictureBox1.Height);  
63.             Graphi = Graphics.FromImage(pictureBox1.Image);  
64.         }  
65.   
66.         void nui_VideoFrameReady(object sender, ImageFrameReadyEventArgs e)  
67.         {  
68.             PlanarImage Image = e.ImageFrame.Image;  
69.             byte[] converted = convertColorFrame(Image.Bits, (byte)50);  
70.             //画像の作成  
71.               
72.             unsafe {  
73.                 fixed (byte* ptr = &converted[0]) {  
74.                     Texture = new Bitmap(Image.Width , Image.Height , Image.Width * 4 , System.Drawing.Imaging.PixelFormat.Format32bppArgb , (IntPtr)ptr);  
75.                 }  
76.             }  
77.   
78.             Graphi.DrawImage(Texture, 0, 0);  
79.   
80.             pictureBox1.Refresh();  
81.         }  
82.   
83.         //kinectから取り込んだColorFrameのフォーマットを直す  
84.         byte[] convertColorFrame(byte[] colorFrame , byte alpha)  
85.         {  
86.             for (int i = 0; i < colorFrame32.Length; i += 4)  
87.             {  
88.                 colorFrame32[i + ALPHA_IDX] = alpha;  
89.                 colorFrame32[i + RED_IDX] = colorFrame[i + 0];  
90.                 colorFrame32[i + GREEN_IDX] = colorFrame[i + 1];  
91.                 colorFrame32[i + BLUE_IDX] = colorFrame[i + 2];  
92.             }  
93.             return colorFrame32;  
94.         }  
95.   
96.         private void Form1_FormClosing(object sender, FormClosingEventArgs e)  
97.         {  
98.             nui.Uninitialize();  
99.             Environment.Exit(0);  
100.         }  
101.     }  
102. }  

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using Microsoft.Research.Kinect.Nui;

namespace Kinect_Residualimage
{
    public partial class Form1 : Form
    {
        //画面表示用
        Bitmap Texture;

        //Kinectの変数
        Runtime nui;

        const int ALPHA_IDX = 3;
        const int RED_IDX = 0;
        const int GREEN_IDX = 1;
        const int BLUE_IDX = 2;
        byte[] colorFrame32 = new byte[640 * 480 * 4];

        Graphics Graphi;

        public Form1()
        {
            InitializeComponent();
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            Texture = new Bitmap(640, 480, System.Drawing.Imaging.PixelFormat.Format32bppArgb);

            //Kinectの初期化
            nui = new Runtime();
            try
            {
                nui.Initialize(RuntimeOptions.UseColor);
            }
            catch (InvalidOperationException)
            {
                Console.WriteLine("Runtime initialization failed. Please make sure Kinect device is plugged in.");
                return;
            }

            //video streamのOpenをする
            try
            {
                nui.VideoStream.Open(ImageStreamType.Video, 2, ImageResolution.Resolution640x480, ImageType.Color);
            }
            catch (InvalidOperationException)
            {
                Console.WriteLine("Failed to open stream. Please make sure to specify a supported image type and resolution.");
                return;
            }
            nui.VideoFrameReady += new EventHandler<ImageFrameReadyEventArgs>(nui_VideoFrameReady);

            pictureBox1.Image = new Bitmap(pictureBox1.Width, pictureBox1.Height);
            Graphi = Graphics.FromImage(pictureBox1.Image);
        }

        void nui_VideoFrameReady(object sender, ImageFrameReadyEventArgs e)
        {
            PlanarImage Image = e.ImageFrame.Image;
            byte[] converted = convertColorFrame(Image.Bits, (byte)50);
            //画像の作成
            
            unsafe {
                fixed (byte* ptr = &converted[0]) {
                    Texture = new Bitmap(Image.Width , Image.Height , Image.Width * 4 , System.Drawing.Imaging.PixelFormat.Format32bppArgb , (IntPtr)ptr);
                }
            }

            Graphi.DrawImage(Texture, 0, 0);

            pictureBox1.Refresh();
        }

        //kinectから取り込んだColorFrameのフォーマットを直す
        byte[] convertColorFrame(byte[] colorFrame , byte alpha)
        {
            for (int i = 0; i < colorFrame32.Length; i += 4)
            {
                colorFrame32[i + ALPHA_IDX] = alpha;
                colorFrame32[i + RED_IDX] = colorFrame[i + 0];
                colorFrame32[i + GREEN_IDX] = colorFrame[i + 1];
                colorFrame32[i + BLUE_IDX] = colorFrame[i + 2];
            }
            return colorFrame32;
        }

        private void Form1_FormClosing(object sender, FormClosingEventArgs e)
        {
            nui.Uninitialize();
            Environment.Exit(0);
        }
    }
}

Kinect SDK + XNA Jointを3次元座標で表示する

今までは2次元内での描画だったので今度は3次元座標を使って描画してみました。
もともと取得してこられるデータは3次元座標なので、XNAから使う分には3次元の方が楽でした。
ちゃんと3次元座標がとれたところで、マウスポインタを手で動かせるようにしてみようかと思います。そのうち。
今回のプロジェクトファイルですダウンロード

Kinect SDK + XNA スケルトンの表示

やっとKinectから取得してきたデータでスケルトンを描画できました。
早くXNAでもAPIとして2次元の直線とか基本的な図形をサポートしてもらいたいです。
さすがにソースコードは長いのでプロジェクトファイルを置いておきます。
ダウンロード