JavaFX

HitInfoを少しだけ…

JavaFX

このエントリーは、JavaFX Advent Calendar 2016 の10日目です。

昨日は @nodamushi さんの「JavaFX9が良い感じになってきた件」でした。

明日は @skrb さんの「何か書きます」です。

私は英語がよく解らないので2015年にこんなものを作ろうとしました。(^_^;

英文サイトを読み込んでテキスト化し、英単語の上にマウスをあてるとツールチップで日本語訳を表示するという安易な発想のプログラムです。

1

https://www.youtube.com/watch?v=JfifsvUVeKE

作ってる途中でいくつかの問題に遭遇しました。

その中で JavaFX では Swing の

javax.​swing.​text.​JTextComponent public int viewToModel(Point pt)

javax.​swing.​text.​JTextComponent public Rectangle modelToView(int pos) throws BadLocationException

これに相当するものはあるのだろうか?という素朴な疑問です。

調べてみたところ com.​sun.​javafx.​scene.​text public class HitInfo extends Object を使えばなんとかなりそうです。

実は、Rectangle modelToView(int pos) は面倒くさそうだったのでそれを使わずに手抜きプログラミングで妥協していました。

一年以上この問題を放置したまま(忘れていたとも言う・・・)だったので JavaFX Advent Calendar 2016 のネタとして調べてみました。

小ネタですが 参考資料の少ない JavaFX なのでメモとして残しておきます。

さて、ここから先は何も考えずに適当にプログラムを組んでいった私が次々と問題にぶち当たって泣いた記録です。

BreakIterator を使った簡易的な形態素解析の説明は省略させていただきます。

テキストエリアに適当な英文を表示して英単語上にマウスカーソル(キャレット)をもっていくとツールチップで HitInfo オブジェクトから取得したデータなどを表示させるというシンプルなプログラムを作ってみました。

このプログラムを実行して Minimal という英単語の M の中央より左の位置にマウスカーソルをもっていくと次のように表示されます。

2

中央より右の位置にマウスカーソルをもっていくと次のように表示されます。

3

それではこれらがどういったデータなのかプログラムをみていきます。

X, Y は TextArea 内のマウスカーソルの座標データです。

これらの座標データは HitInfo オブジェクトを生成するために使います。

HitInfo クラスはテキストノードのヒット情報を取得するために使われます。

TextArea の HitInfo オブジェクトを取得するためには

com.​sun.​javafx.​scene.​control.​skin public class TextAreaSkin extends TextInputControlSkin<TextArea,TextAreaBehavior>

を取得する必要があります。

javafx.​scene.​control.​Control public final Skin<?> getSkin() メソッドで TextArea のレンダリングコントロール用の Skin オブジェクトを取得します。

そして、com.​sun.​javafx.​scene.​control.​skin.​TextAreaSkin public HitInfo getIndex(double x, double y) メソッドにより (引数は TextArea 内のマウスカーソルの座標データです)

引数の座標データに基づいてヒットテストを実行し、コンテンツのインデックスにマッピングして HitInfo オブジェクトを生成します。

ここまでのコードを確認してみます。

TextArea 内でマウスカーソルの移動が検出されたときに実行されるようにしてます。

これで HitInfo クラスを使う準備ができました。

では HitInfo クラスではどういったことができるのか確認します。

HitInfo クラスには下記のメソッドがあります。

public int getCharIndex()

public boolean isLeading()

public int getInsertionIndex()

public String toString()

これら4個のメソッドのうち public String toString() メソッド以外の3個のメソッドを調べてみます。

public int getCharIndex()

これは HitInfo オブジェクトが参照している文字のインデックスを取得します。

public int getInsertionIndex()

挿入位置のインデックスを取得します。

public boolean isLeading()

API ドキュメントには下記のように記述されています。

Indicates whether the hit is on the leading edge of the character. If it is false, it represents the trailing edge.

実際に動作を確認したところマウスカーソルが文字上の左側か右側にヒットしているか判定しているようです。

左側だったら true、右側だったら false を返します。

このメソッドを利用して public int getInsertionIndex() メソッドは挿入位置インデックスを返しています。

プログラムでは Tooltip にこれらのメソッドにより取得したデータを表示させるようにしています。

最後の行にある word はマウスカーソル上の単語を HitInfo オブジェクトを利用して取得したものです。

さて、Tooltip はマウスカーソルが文字上にある場合だけ表示させたいので単純に次のような条件式を実装しました。

ところがこんな単純に期待通りの結果は得ることができませんでした。

4

マウスカーソルが文字上にないところでも Tooltip が表示されてしまいます。(×_×)

とりあえずの対策として下記のように修正しました。

public int getInsertionIndex() を利用して最後の文字の挿入インデックスに(最後の文字の次のインデックス)Morpheme オブジェクトが存在するかの判定を追加しました。

当然このコードでは文字の最後の右半分上にマウスカーソルがヒットしていても Tooltip は表示されません。

この不具合もすぐに解決しなければいけないのですが他にも問題があるのでとりあえず後回しとします。

次に解決しなければいけない問題は下図のようなものです。

マウスカーソルが右の余白部分、上の余白部分にあっても Tooltip が表示されてしまいます。

5 6

これら余白部分で Tooltip を表示させないためには TextArea のデフォルトの余白の値を取得することが必要となります。

これは仕様だとあきらめようとしたけど・・・ どうもこれでは眠れなくなりそうなので妖しい TextAreaSkin クラスのソースを覗いてみました。

たぶんこれだと思うので使ってみることにします。

private メソッドなのでリフレクションを利用してデータを取得します。

private double getTextTranslateY() メソッドのデータの取得は同様にしますのでコードは省略させていただきました。

これでデフォルトの余白データは取得できるので Tooltip の表示を制御することができました。

スクロールさせてしまえば上部の余白は隠れてしまうのですが文字が中途半端に見切れているのに Tooltip を表示させる必要はないので常に上下左右の余白分を表示させないようにしました。

一応これでも動くのですがもっとスマートな方法があります。

javafx.​scene.​Parent public Node lookup(String selector) メソッドにて引数で指定した CSS セレクタに基づいてノードを検索します。

そして返されたノードのレイアウト情報を取得すればいいだけです。

こちらのほうが簡単ですね!

さて、デフォルトの余白の対処はこれでいいのですが、

textArea.setPadding(new Insets(50, 50, 50, 50)); //(top/right/bottom/left)

のようにプログラム上で設定すればどうなるでしょうか。

さっそく試してみましょう。

7

なんじゃ、こりゃ!

テキストがパディングによりレイアウト変更されているので座標データとコンテンツとのマッピングが狂ってしまってます。

そこで HitInfo オブジェクトの生成コード、Tooltip の表示制御をパディングによってずれてしまう分の補正を考慮し次のように変更しました。

これで OK !

8

こんなシンプルなことをさせようとしているだけなのに一筋縄ではいかないですね。

ここでさらに疑問が浮上してきました。

テキストを中央表示させたらどうなるの?

下記のような CSS ファイルを追加してみました。

いやな予感的中です。

9

左の余白部分で Tooltip が表示されています。

テキストが中央表示にレイアウト変更されているのにそれが反映された結果となっていません。

この問題を解決するには JavaFX で javax.​swing.​text.​JTextComponent public Rectangle modelToView(int pos) throws BadLocationException に相当する機能が必須となります。

文字上にマウスカーソルが有るか無いかの判定がどうしても必要となるからです。

これが可能となればこれまで誤魔化していた全ての問題が解決できます。

「どうしたもんじゃろのう」とNHK連続テレビ小説「とと姉ちゃん」のように考え込みましたが答えは簡単に見つかりました。

TextArea にはハイライト表示の機能があるから絶対 Rectangle modelToView(int pos) メソッドと同じような機能が備わっているはずだ。

TextArea のレンダリング関係と言えば、TextAreaSkin クラスですよね。

ありました!(^_^)

このメソッドは指定されたインデックスにある文字の境界を返します。

これで全てクリアです。

文字の最後のインデックスはそのままだと一つ多くなってしまうので -1 オフセットしてます。

10

最終的には TextArea の背景を透明にしてその下に Canvas を置き選択された文字の Rectangle2D データを使って 文字を囲むように Rectangle を表示させています。

hit600

これで全ての問題は解決! めでたし! めでたし!

最終的なプログラムのコードは次のようになります。

jp.yucchi.Dictionary4MorphologicalAnalysis パッケージはそのまま変更はありません。

HitInfo について少しだけ・・・のはずがだらだら長くなってしまいました。

今回はこのような行き当たりばったりのプログラミングで泣きました。

試してないのであれなんですが、

TextArea クラスの public ObservableList<CharSequence> getParagraphs() メソッドを使って文字リストを取得して

TextAreaSkin クラスの public Rectangle2D getCharacterBounds(int index) メソッドに渡して各文字の領域データを取得してから

TextArea 内のカーソルの位置が文字領域内にあるときだけ HitInfo オブジェクトを生成するようにしたほうが良いのかもしれません。

誰か興味と時間のある人はお試しを!

TextArea クラスを使って HitInfo クラスを試してみましたが TextField クラスでも HitInfo クラスは使えます。

TextFieldSkin クラスにも public HitInfo getIndex(double x, double y) メソッドが用意されています。

今回試してみた TextArea クラス同様におもしろそうなことができるかもしれません。

しかし、それよりも気になるのが JavaFX 9 で javafx.graphics モジュールの javafx.scene.text パッケージにある Text クラスに

HitInfo を返す public final HitInfo hitTest(Point2D point) メソッドが用意されたことです。

あと同パッケージにある TextFlow クラスにも HitInfo を返す public final HitInfo hitTest(Point2D point) メソッドがあります。

TextFlow クラスのほうは TextArea クラスと同じようなものだと想像できます。

しかし、Text クラスのほうはちょっと気になります。

さらに JavaFX 9 ではキャレットを指定された位置に移動させるためのメソッドが TextAreaSkin クラスと TextFieldSkin クラスに用意されました。

public void positionCaret(HitInfo hit, boolean select)

これはちょっと試したくなりますよね!

そこで Text ノードの単語を選択して TextArea の虫食い文にドラッグアンドドロップするプログラムを作ってみました。

starwas_600[1]

Text ノードから単語を選択するのは先ほどのプログラムと仕組みはほぼ同じです。

JavaFX 9 で追加された新しい機能を使うにはどうすればいいのでしょうか。

まず、JDK9 Early Access Releases をダウンロードしてインストールします。

https://jdk9.java.net/download/

あとはお気に入りのエディタか IDE でプログラムを組んでいきます。

JDK9 では Project Jigsaw の影響で com.sun から始まるパッケージの名前が変更になっている場合があります。

今回は次の二つのパッケージが変更されていました。

com.sun.javafx.scene.control.skin.TextAreaSkin; // JavaFX8
com.sun.javafx.scene.text.HitInfo; // JavaFX 8
javafx.scene.control.skin.TextAreaSkin; // JavaFX 9
javafx.scene.text.HitInfo; // JavaFX 9

さて、単語を選択される側の Text ノードから hitInfo オブジェクトを生成するために public final HitInfo hitTest(Point2D point) メソッドを使います。

引数の Point2D point はコンテナの TextFlow におけるText ノードの座標です。(Text ノード上にあるマウスポインタの位置)

感のいい人なら気づいてるかもしれませんが、これ何気にうれしいですね!

そう、コンテナの TextFlow じゃなくて Text ノードで hitTest(Point2D point) メソッドを実行して HitInfo オブジェクトを生成しています。

Text ノード上でないと HitInfo オブジェクトは生成されないんですね。

もう余白のことは考えなくていいようです。

しかし、Text ノードを移動させた場合マッピングが狂ってしまうのでその補正は必要です。

上記のコードは X, Y 座標の移動を考慮して getTranslateX(),  text.getTranslateY() メソッドを利用しています。(このプログラムでは getTranslateX() は必要ないです。)

次に JavaFX 9 の新機能を使えるところは選択された Text ノードの単語をドラッグアンドドロップする時ですね。

Text ノードの単語をドラッグで TextArea 内の文字列の任意の場所を選択してキャレットを移動させるための処理です。

これは JavaFX 8 の場合はコメントアウトしてあるコードでいけます。

JavaFX 9 ならもっとスマートに処理コードが書けてしまいます。

TextAreaSkin クラスの public void positionCaret(HitInfo hit, boolean select) メソッドが優秀です。

このメソッドの第一引数は HitInfo オブジェクトです。第二引数が何か気になりますね。

API ドキュメントによると whether to extend selection to the new position. とあります。

オレオレ翻訳をすると「選択を新しい位置に拡張するべきかどうか。」ですかね?

こういうときは試して動作確認してみましょう。

第二引数の値を true に設定してプログラムの動作確認を行います。

ちょっと見づらいですけど TextArea 内のキャレットが一番左端の上部の隅にあります。

11

Text ノードから単語を選んでドラッグしています。キャレットがマウスポインタのある位置まで移動しています。

はじめにキャレットがあった場所から新たに移動した場所までが選択されている状態となりました。

12

今度はキャレットの位置を All という単語の左隣まで移動させておきました。

13

今度はそこからドラッグ操作により新たなキャレットの位置まで選択表示されています。

14

第二引数が true の時の動作はキャレットの移動先まで選択するようです。

今回のプログラムでこのような機能は必要としないので false と設定しました。

痒いところに手が届くような地味なアップデートですね。

あまり、派手な API ではないですけどこういうことができるようですね。

最後にこのプログラムのコードを載せておきます。

フォントは STARWARS.TTF フォントを使ってます。(何処で入手してか忘れました。)

長くダラダラとしたエントリーを最後まで読んでくださってありがとうございます。

間違いがありましたらコメントいただけるとありがたいです。

15

Hatena タグ: ,
このエントリーをはてなブックマークに追加
Share on Facebook

Intel RealSense 3Dカメラを JavaFX で動かしてみた。

JavaFX

この記事は、JavaFX Advent Calendar 2015 の14日目の記事です。

昨日は tomo_taka01 さんの 「Server Event Client Sample」 です。明日は  kimukou さんの「試用もふくめて basilisk-fw あたりの話を書こうかと」です。

今年は Windows 10 がリリースされ生体認証でログインできる Windows Hello が実装されました。

Windows OS にこのような機能が搭載されてしまったからにはこういった時代になるんだろうなってことで、

とりあえず WebCam でも買って試してみようかと思ったら特殊なカメラ機能が必要で量販家電店で売っているものでは駄目でした。

少し調べてみたら Intel RealSense 3Dカメラ(F200) が intel のサイトから購入可能だったので買ってしまいました。

このカメラで何ができるかはこちらをご覧ください。

インテル® RealSense™ テクノロジー

このカメラを購入した理由の一つに Intel® RealSense™ SDK が開発者登録さえすれば無償で入手可能であり、Java もサポートしているということでした。

購入はこちらからとなります。

Intel® RealSense™ Developer Kit

これは開発者向けのキットということで一般的に市販されている webCam のように便利なアプリケーションは付属してません。

ただし、一般的な WebCam には無い機能を搭載しているのでいろんなことができるようです。

私は新しい物好きな性格から Windows Hello を使いたかっただけなのですが、開発環境に Java 言語もサポートとあったのでちょっと試してみることにしました。

はじめに、Intel RealSense 3Dカメラ(F200) は次のような特徴をもっています。

Specifications

Shorter range (0.2 meters – 1.2 meters, indoors only)
Depth/IR: 640×480 resolution at 60fps
RGB: 1080p at 30fps
USB 3.0 required
Developer Kit Dimensions: 150mm x 30mm x 58mm

Targeted Usages

Full hand-skeletal tracking and gesture control
3D segmentation
Facial analysis
Depth-enhanced Augmented Reality
Speech
3D Capture for faces

SYSTEM REQUIREMENTS

Ports: USB 3.0
Supported CPUs: 4th generation (or later) Intel® Core™ processor
Supported Operating Systems: Microsoft Windows 8.1* (or later) (64-bit)

私はまさか CPU が第4世代の Haswell 以降を要求されるとは思ってなかったので Intel RealSense 3Dカメラ(F200) が届いて箱に書いてある Minimum System Requirements を見た瞬間、目が点になりました。

私の パソコンは Sandy Bridge なので・・・

大丈夫だろうとインストールを始めるも、Depth Camera Manager (DCM) のインストールでファームウェアがアップデートできないとかのエラーで撃沈しました。

しかたなく Skylake 環境にパソコンをアップグレートしてインストールを完了しました。(>_<。)

しかし、このファームウェアのアップデートさえ完了してしまえば Sandy Bridge でもインストールできてしまうんじゃないかと思い試してみたらあっけなくインストールは完了しました。

サポート外 CPU なので動作に一抹の不安を覚えます。

現状としては、Facial analysis 関係は問題無さそうです。(この発言に責任は持てません!)

さて、Intel RealSense 3Dカメラ(F200) についてはこのくらいにして私の大好きな Java で動かしてみましょう。

当然、今だと Swing なんて過去の技術なんか使わずにリッチな UI を提供してくれる JavaFX を使います。

JavaFX を使って WebCam を動かすにはどうすればいいのか?

早速、悩みます。

ここで Intel RealSense 3Dカメラ(F200) は置いといて、まず一般的に Java で WebCam を使うにはどうすればいいのか考えてみました。

まず、思いうかんだのは標準ライブラリに webCam やマイクなどハードウェアを扱う API が存在するかです。

記憶に無いです。ふと、Java Media Framework (JMF) が脳裏をよぎりました。(^_^;

それは無かったことにして他を調べてみました。(ヲヒ!

1. OpenCV を使う

2. sarxos Webcam-Capture API を使う

この二つが良さげでした。

これら二つの方法はどちらも顔検出が容易にできます。

OpenCV で顔検出のプログラムはビデオファイルを使った物は下記動画サイトにアップロードしてあります。

https://youtu.be/Zjc6-IF3rtM

WebCam を使って顔検出するプログラムを載せようと思ったけど長くなるので GitHub にアップしておきます。

1

https://github.com/Yucchi-1995/OpenCV_with_JavaFX_WebCam

sarxos Webcam-Capture API を使う方法は Example がたくさんあるし、JavaFX を利用する方法もあるので省略します。

たぶん、これが一番人気なんじゃないだろうか。

それでは、Intel RealSense SDK を使って JavaFX で Intel RealSense 3Dカメラ(F200) を動かしてみることにしましょう。

とりあえずカメラ画像を映すだけのプログラムを組むことにします。

Intel RealSense 3Dカメラ(F200) は、Color, Depth, IR と3種類のストリームを得ることができます。

なのでラジオボタンで切り替えられるようにします。

いちおう、開始、停止ボタンもつけておきます。

下図のようなプログラムがなんとかできあがりました。

動画はこちらになります。

https://youtu.be/jywwwYcwZA8

2

3

4

Intel RealSense SDK のドキュメントは英語で書かれていて日本語のものは現在ありません。

英語が解らない私は翻訳支援ソフトを頼りに悩みながらプログラムを組むことになりました。

それに残念なことに比較的新しい Windows OS 専用ということもあり、わざわざマルチプラットフォーム対応の Java 言語で開発するといった人もほとんど見られません。

Intel も本気で Java 言語をサポートする気は無いらしく Intel RealSense SDK のドキュメントは間違いだらけで唖然とします。

12月に入って新しく R5 バージョンがリリースされましたが既存のバグが直るどころか増えていたので今回は R4 を使ってます。

頼りのグーグル先生に聞いて教えてもらう情報は私と同じようにバグを踏んで困っている Java 開発者のどうしたらいいんだ?ってのが多いです。

こういう状況なので、いつものことですが間違いやおかしなことをしているかも知れませんのであしからず! (^_^;

ということで、次のようなコードでプログラムを組みました。

全部載せると長くなるので RealSenseController.java だけです。

プログラム全体は下記 GitHub でご覧ください。

https://github.com/Yucchi-1995/Intel_RealSense_First

このプログラムは START ボタンを押すとカメラ画像を ImageView にセットするためにバックグランドタスクを javafx.concurrent.Service<V> クラス を利用して処理するインスタンスを生成します。

Service<V> クラスはこのような繰り返し処理をおこなうバックグランドタスクを便利に安全に利用するには最適です。

Service<V> クラスはインタフェースWorker<V> を実装していてバックグラウンドタスクの状態を監視し、必要に応じて操作を取り消すことができます。

Service<V> クラスは再利用可能な Worker であり、リセットおよび再起動できます。

これらの機能を利用することにより Service<V> クラスによって得られた結果が STOP ボタンが押されるかプログラムを終了させるまで繰り返し ImageView にセットされます。

それでは ImageView にセットされるカメラから取得された画像はどのように処理されるのか見ていきましょう。

Intel RealSense SDK の機能を使うために SenseManager インスタンスを生成します。

        senseManager = PXCMSenseManager.CreateInstance();

使用するストリームを有効にする。

// カラーストリームを有効にする
senseManager.EnableStream(PXCMCapture.StreamType.STREAM_TYPE_COLOR, WIDTH, HEIGHT);
// Depth ストリームを有効にする
senseManager.EnableStream(PXCMCapture.StreamType.STREAM_TYPE_DEPTH, WIDTH, HEIGHT);
// IR ストリームを有効にする
senseManager.EnableStream(PXCMCapture.StreamType.STREAM_TYPE_IR, WIDTH, HEIGHT);

Intel RealSense SDK の初期化

// PXCM_STATUS 初期化
pxcmStatus = senseManager.Init();

ミラーモードに設定

// ミラーモードにする
senseManager.QueryCaptureManager().QueryDevice().SetMirrorMode(PXCMCapture.Device.MirrorMode.MIRROR_MODE_HORIZONTAL);

ここまではカメラ関係の初期化処理といったところですね。

ここからは Service によるバックグランドタスクによる処理がはじまります。

if (!streamService.isRunning()) {
    streamService.reset();
    streamService.start();
}

Intel RealSense SDK の初期化処理が正常におこなわれたか判定します。

if (pxcmStatus == pxcmStatus.PXCM_STATUS_NO_ERROR) { …

フレームが正常に取得できたか判定します。

if (senseManager.AcquireFrame(true).isSuccessful()) { …

AcquireFrame(true) でフレームの更新を行います。

このメソッドは引数無し、引数一つ、引数二つの3種類あります。

今回は全てのモジュールの更新処理を待つように引数一つのもを true にして渡しています。

引数二つのものはさらにタイムアウトミリ秒 ( int )で設定できるようです。

判定に boolean isSuccessful() メソッドを使っています。

フレームデータを取得します。

PXCMCapture.Sample sample = senseManager.QuerySample();

QuerySample() メソッドで全ての(Color, Depth, IR) データを取得します。

QuerySample() メソッドには引数で取得するデータを選択できる QuerySample(int mid) もあります。

ラジオボタンによって選択されたストリームの画像データを処理します。カラーモードだけ抜粋し見ていきす。

if (sample.color != null) {
                                        // データ取得
                                        PXCMImage.ImageData cData = new PXCMImage.ImageData();
                                        // アクセス権を取得(アクセス権の種類、画像フォーマット、データ)
                                        pxcmStatus = sample.color.AcquireAccess(PXCMImage.Access.ACCESS_READ, PXCMImage.PixelFormat.PIXEL_FORMAT_RGB32, cData);

                                        if (pxcmStatus.compareTo(pxcmStatus.PXCM_STATUS_NO_ERROR) < 0) {
                                            errorContent.setValue(“Error!\n” + “Failed to AcquireAccess of ColorImage Data.”);
                                            throw new Exception();
                                        }

                                        // BufferedImage に変換 1ピクセルあたり4バイトに注意、PXCMImage.PixelFormat.PIXEL_FORMAT_RGB24 だと3バイト
                                        int cBuff[] = new int[cData.pitches[0] / 4 * HEIGHT];
                                        cData.ToIntArray(0, cBuff);
                                        BufferedImage bImage = new BufferedImage(WIDTH, HEIGHT, BufferedImage.TYPE_INT_RGB);
                                        bImage.setRGB(0, 0, WIDTH, HEIGHT, cBuff, 0, cData.pitches[0] / 4);

                                        // ImageView にセットできるように Image に変換
                                        image = SwingFXUtils.toFXImage(bImage, null);

                                        // データを解放
                                        pxcmStatus = sample.color.ReleaseAccess(cData);

                                        if (pxcmStatus.compareTo(pxcmStatus.PXCM_STATUS_NO_ERROR) > 0) {
                                            errorContent.setValue(“Error!\n” + “Failed to ReleaseAccess of ColorImage Data.”);
                                            throw new Exception();
                                        }
                                    }

カラーストリームのフレームデータが null でないか判定してから処理をしています。

PXCMImage.ImageData インスタンスを生成

pxcmStatus AcquireAccess(Access access, PixelFormat format, ImageData data) メソッドでアクセス権を取得します。

このプログラムではアクセス権に読み取り、画像フォーマットは 32bit RGB を引数により指定しています。

三つ目の引数 PXCMImage.ImageData cData に出力されます。

アクセス権の種類や画像フォーマットに関してはドキュメントをご覧ください。

また、AcquireAccess メソッドは引数の数が違う物も用意されています。

こちらも詳しくはドキュメントをご覧ください。

このプログラムでは引数三つのこの pxcmStatus AcquireAccess(Access access, PixelFormat format, ImageData data) メソッドを利用しました。

これで 32bit RGB データ取得完了

そして処理が正常にできたか判定

BufferedImage に変換準備

1ピクセルあたり4バイト、cData.pitches[0] に1ラインあたりのバイト数が格納されているので4で割って WIDTH 値を算出

データコンバート用 int[] を生成

int cBuff[] = new int[cData.pitches[0] / 4 * HEIGHT];

32bit RGB データを int[] に変換

BufferedImage インスタンス生成

public void setRGB(int startX, int startY, int w, int h, int[] rgbArray, int offset, int scansize) メソッドで BufferedImage にデータをセット

BufferedImage のままでは ImageView にセットできないので public static WritableImage toFXImage(BufferedImage bimg, WritableImage wimg) メソッドを使う

 image = SwingFXUtils.toFXImage(bImage, null);

このメソッドは Swing/AWTとJavaFXのフォーマットの間でデータ型を変換するユーティリティクラスである SwingFXUtils の二つのうちの一つである。

もう一つは、public static BufferedImage fromFXImage(Image img, BufferedImage bimg) メソッドで、

指定されたJavaFX Imageオブジェクトのスナップショットを取得し、そのピクセルのコピーをBufferedImageオブジェクトに格納し、必要に応じて新しいオブジェクトを作成します。

ただし、Image.getPixelReader()メソッドの条件に従って読み取ることができるJavaFX Imageのみを変換します。(不可なら null を返す)

BufferedImage を扱う上で SwingFXUtils クラスのこの二つのメソッドを覚えておきましょう。

これで Image を返してバックグランドタスクは終了となるのですが、AcquireFrame(true) で取得したフレームを解放するの忘れてはいけません。

解放しないと次のフレームが取得できないからです。

pxcmStatus = sample.color.ReleaseAccess(cData);

Service よるバックグランドタスクが成功したら ImageView に ImageView に Image をセットして Service を再び開始します。

streamService.setOnSucceeded(wse -> {
    if (streamService.getValue() != null) {
        imageView.setImage(image);
        streamService.restart();
    }
});

STOP ボタンによる停止処理では

if (streamService.isRunning()) {
    streamService.cancel();
}

senseManager.Close();

cancel() メソッドにてバックグランドタスクを取り消します。

そして、PXCMSenseManager senseManager を Close() メソッドを使って解放します。

メソッド名の先頭が大文字なのに注意してください。

これで Intel RealSence SDK を使って WebCam によるストリーミング処理はできるようになりました。

思ったより簡単ですね。

これで終わりだとすると JavaFX 成分が少ないようなので超小ネタを・・・(^_^;

 

START ボタンと STOP ボタンの活性化状態を自動的にするには

プログラムが起動して STOP ボタンは非活性化状態、 START ボタンは活性化状態

そして START ボタンが押されると STOP ボタンが活性化状態に、 START ボタンは非活性化状態にしたい。

これって void bind(ObservableValue<? extends T> observable) メソッドを使えば簡単に実現できます。

startButton.disableProperty().bind(streamService.runningProperty());
stopButton.disableProperty().bind(streamService.runningProperty().not());

START ボタンは、Service の runningProperty() と一方向バインディングを設定してしまえばいいのです。

STOP ボタンは START ボタンと相反する動作にすればいいだけなので runningProperty() に not() メソッドをつけて否定計算させてしまえばいいだけです。

 

プログラム起動時にフェードインアニメーションをするには

JavaFX の FX は映画などの特殊撮影、トリック撮影効果、特殊効果などの英語の略称から付けられたらしいです。

なのでなるだけ少しでも FX 要素を含ませようと日々努力しています。(ヲヒ!

比較的簡単にできるのがプログラムの起動、終了時のアニメーションです。

起動時のアニメーション処理(フェードイン)をみてみます。

// オープニングアニメーション
DoubleProperty openOpacityProperty = new SimpleDoubleProperty(0.0);
stage.opacityProperty().bind(openOpacityProperty);
Timeline openTimeline = new Timeline(
        new KeyFrame(
                new Duration(100),
                new KeyValue(openOpacityProperty, 0.0)
        ), new KeyFrame(
                new Duration(2_500),
                new KeyValue(openOpacityProperty, 1.0)
        ));
openTimeline.setCycleCount(1);
openTimeline.play();

アニメーションを Timeline を使っておこないます。

Timeline は、API ドキュメントに次のように記載されています。

Timelineを使用すると、すべてのJavaFXプロパティなど、あらゆるWritableValueの自由形式アニメーションを定義できます。
 
Timelineは、1つ以上のKeyFrameで定義し、個々のKeyFrameをKeyFrame.timeで指定した順序で順番に処理するために使用します。

アニメーション化されるプロパティは、KeyFrame.valuesでキー値として定義し、Timelineの初期位置(Timelineの方向によって異なる)を基準にしてKeyFrameの指定時間にターゲット・キー値に(またはターゲット・キー値から)補間されます。

つまり、キーフレームと時間と値でアニメーションを制御しているだけです。

Stage stage の opacityProperty() を 初期値 0.0 に設定された DoubleProperty openOpacityProperty にバインドしておきます。

Timeline で new Duration(100) によって100 ミリ秒間かけて opacityProperty() の値を KeyValue(openOpacityProperty, 0.0) で設定された 0.0 にアニメーションしょりします。(この場合 0.0 から 0.0 変化無しです)

次のフレームでは new Duration(2_500) で 2500 ミリ秒かけて opacityProperty() の値を new KeyValue(openOpacityProperty, 1.0) で設定された 1.0 までアニメーション処理しています。

起動時処理なので複数回の実行は必要なく一度だけでいいので setCycleCount(1); を指定します。

あとは play() メソッドでアプリケーションの開始時に実行されるだけです。(start(Stage stage) メソッド内に記述)

プログラム終了の時は closeTimeline.setOnFinished(eh); を利用してハンドラにアニメーション終了時にプログラム終了処理を渡してあげればいいだけです。

以上、超小ネタでした。

特殊効果ではないですが JavaFX は CSS によってプログラムの見栄えを変えることができます。

デザインセンスのある方は強力な武器となるでしょう。

あいにく私はデザインセンスは無いので心優しい人が提供している CSS を使わせていただいてます。

このプログラムでは Pixel Duke さんの JMetro を使っています。

今時の Windows OS によく似合います。

さて、カメラ画像を映すだけのことはできたのですが顔検出や、顔認識、顔の傾き具合、心拍数、表情などのデータも取得して利用したくなりますよね。

で、先ほどのプログラムをベースにこの付加価値を実装できるようなのでやってみました。

顔のパーツ情報(LandMark データ)は以前からのバグが放置されているので取得できませんでした。

最新バージョンの R5 (SDK version 7.0) ではランドマークに加えて FacialExpression データも取れなくなりました。

なので R4 (SDK version 6.0) を使用しています。

本当は音声認識もできるはずなのですがハンドラクラスの OnRecognition(PXCMSpeechRecognition.RecognitionData data) メソッドが悲しいことに動きません。

OnAlert(PXCMSpeechRecognition.AlertData data) は音声の開始や終了、音量が低いとかちゃんと返してくれただけに残念です。

これは R5 で直っているか確認していません。(たぶんこれも放置でしょう。)

音声認識ができればリッチな UI の JavaFX を音声で操る未来的なプログラムも容易に可能になるかなって思っていただけに残念です。

とりあえずできる範囲でトライしてできあがったのが次のようなプログラムです。

プログラムは GitHub にアップロードしてあります。

https://github.com/Yucchi-1995/IntelRealSenseFacialExpression

私、残念ながらもの凄くシャイでコミュ障なので作り物の顔でプログラムを動かしてます。

このプログラムですがフェイストラッキングモードを Depth モードを使わないように設定すると一般的な WebCam でも動きます。

faceConfig.SetTrackingMode(PXCMFaceConfiguration.TrackingModeType.FACE_MODE_COLOR_PLUS_DEPTH); を

faceConfig.SetTrackingMode(PXCMFaceConfiguration.TrackingModeType.FACE_MODE_COLOR); に変更します。

ただし、全ての機能が正しく動くわけではありません。

ちなみに顔認識はでたらめになります。

プログラムの動作の説明は長くなるのでしません。

コード内のコメントを参考に推理(ヲヒ! してください。

あと、Intel RealSense SDK の面白いドキュメントを参考にしてください。

まだまだ JavaFX 慣れていないので雑いことをいろいろやっていると思います。

バックグランドタスクで Image 返して バックグランドタスク内で Platform.runLater() を使っていろいろ更新かけてます。

Task<Void> として密な関係にしたほうがよかったのかなとか思ったりもします。

なにかおかしなところがあったらご指摘いただけるとうれしいです。

最後にもう一つ超小ネタを!

JavaFX で Dialog が標準で使えるようになって便利に使っているとほんの些細なことが気になります。

TextInputDialog なんですが TextField にユーザーからの入力をもらう時に使いますよね。

なのに TextField が空の状態でも OK ボタンが押せるようにデフォルトではなっています。

このプログラムでは TextField が空でなく、顔検出されていれば押せるようにすると変更しています。

とりあえず、ネタとして TextField が空では OK ボタンを押せないようにしてみましょう。

TextInputDialog dialog = new TextInputDialog(“”);
dialog.getDialogPane().lookupButton(ButtonType.OK).disableProperty().bind(dialog.getEditor().textProperty().isEmpty());

簡単ですね!

OK ボタンの disableProperty() を textProperty().isEmpty() で返される値とバインドすればいいだけです。

これ簡単に使えるのに意外と使われてないんですよね。

ということでいろいろ楽しませてくれた Intel さんに Java が得意なサンタクロースがたくさんのプレゼントを届けることを祈って終わりにします。

Hatena タグ: ,
このエントリーをはてなブックマークに追加
Share on Facebook

JDK8u40 で追加された Formatted Text も試してみた。

JavaFX

JDK8u40 で追加された Spinner と Dialog を試してみた。

JDK8u40 で追加された Spinner と Dialog を試してみた。 とりあえず回避方法をみつけた。

このエントリーは上記の続きです。

と言っても大したことはやっていません。

ただ、新しく追加されたこれらの情報が見つからないので適当にグリグリした記録です。(^_^;)

今回は、Formatted Text を Spinner に適用してみました。

前回までは Spinner に表示されるテキストは左よりになっていて違和感のかたまりがありました。

これを右よりにします。

そして、Spinner に入力される値によりテキストのスタイルも変更してみます。

私はどうしたらいいのか解らなかったのでリファクタリングを使い、Spinner クラスの TextField を下記のように設定していました。

これでも動いたのですが spinner.getEditor() で TextField にアクセスできることが後で発覚しました。((((;゜Д゜)))))))

public final TextField getEditor()

Gets the value of the property editor.
Property description:The editor used by the Spinner control.

API ドキュメントはちゃんと見なければいけませんね。(^_^;)

これで Font 関係は設定できます。

次に Formatted Text を使ってみます。

これも全然情報が見当たらない。

○racle さん、早く新しいチュートリアルをだしてください!

今回は日本円の書式設定を試しました。

CurrencyStringConverter を使えばいいようです。

他にも IntegerStringConverter や ShortStringConverter やら Converter がたくさんあります。

今イチ使い方が良く解らないので適当に手探りでやってみました。

本当は、TextFormatter<Number>とspinner.valueProperty()のバインドさせたかったのですが何やら例外吐くので無理にバインドしないことにしました。(ヲヒ

とりあえず下記コードで目的は果たしました。

コードは部分的なものですが残りは今までとほぼ変わりはないので省略します。

全て見たい方は冒頭の関連エントリーのリンクを辿ってくだしませ。

プログラムを起動します。

右寄りでフォントスタイルも設定通りになってます。

Formatted Text もちゃんと機能しています。

日本円のシンボルマークの \ も表示され、三桁ごとに , も表示されています。

1

 

Spinner の下向きの矢印ボタンを押して値を減らします。

30,000円以下になると Spinner の文字が赤色になり、イタリックで太文字に変更されます。

円のシンボルマークはイタリック、太字にはならない仕様のようですね。

Dialog も出すようにしているのは今まで通りです。

2

 

最小値( 0 )はこのように表示されます。

3

 

上向きの矢印ボタンを押して Spinner の値を増やしていきます。

70,000円以上になると Spinner の文字が青色になり、イタリックで太文字に変更されます。

Dialog も出すようにしているのは今まで通りです。

4

 

最大値までしか増えません。

5

 

今回は Spinner の設定を編集可能としているので 500 を入力してみました。

ちゃんとテキストフォーマットが効いてます。

6

 

上向きの矢印ボタンを押して値を増加させてみます。

編集した値に追加設定値が足されていくようです。

7

 

実に良く出来ています。

しかし、ちょっと挙動がおかしなところがあります。

例えば、9999999999 と入力したら最大値を表示する場合と

Exception in thread “JavaFX Application Thread” java.lang.NumberFormatException: For input string: “9999999999”

という例外を吐く場合があります。

実際に数字以外を入力させても上記例外が発生します。

ここらへんの対応のセオリーとかそのうち出てくるだろうから今は気にしないでおこう。(ヲヒ

JavaFX 面白いからもっともっと情報があるといいのにね!

Hatena タグ:
このエントリーをはてなブックマークに追加
Share on Facebook

JDK8u40 で追加された Spinner と Dialog を試してみた。 とりあえず回避方法をみつけた。

JavaFX

JDK8u40 で追加された Spinner と Dialog を試してみた。

このエントリーで Arrow button をマウスクリックして操作した場合、呼び出す Dialog を Modality.APPLICATION_MODAL または Modality.WINDOW_MODAL に設定すると

Spinner のインクリメントもしくはデクリメントが止まらないという不思議な現象に悩まされました。

キーボードのカーソルキーでの操作では期待通りに正常に動きます。

なんでマウスで Arrow button をクリックして操作するといけないのか?

MousePressed がブロックされずに押しっぱなし状態で SpinnerBehavior クラスの startSpinning(boolean increment) の Timeline が動いちゃってるようです。

そこで、愚かなアイディアですが MouseReleased が発生してから Dialog を呼び出しちゃえってやってみたら期待通りに動いてくれました。

ごめんなさい。こんな方法しか思いつきませんでした。

と言うことでお終いです。

これってやっぱりバグなんだろうか?

追記:Jose Pereda さんよりコメントをいただきました。

それによると SpinnerSkin class に問題があるようです。

詳しくは Jose さんのコメントをご覧ください。

あわせてこの問題に対する素晴らしい解決方法を提示してくれましたのでエントリー本文にも記載させていただきます。

素晴らしいコードをありがとうございました。

Hatena タグ:
このエントリーをはてなブックマークに追加
Share on Facebook

JDK8u40 で追加された Spinner と Dialog を試してみた。

JavaFX

JDK8u40 でやっと Dialog が追加されました。

これでお手軽に使えることになります。

あと Spinner も、そして Formatted Text も追加されました。

今回は Spinner と Dialog をサクッと使ってみたいと思います。

毎月のお小遣いの金額を Spinner で入力してある金額より低いもしくは高い場合に Dialog を出すという超シンプルなものです。

しかし、私はこれでドツボにはまり、未だに改善策を見いだせずに困っています。

心優しい優秀な Java プログラマのかたがこの記事を見ていたらどうか解決方法をお教えくださいませ。

Dialog の設定を Modality.APPLICATION_MODAL と Modality.WINDOW_MODAL にすると思わぬ事態が発生します。

それではプログラムのソースコード及び動画を貼っておきます。

Spinner の CSS のあてかたも解らないので入力値を右寄せにしたり色を変えたりとかもしたかったのですがそれはネット上に情報が出てきてからボチボチ勉強していきたいですね。

追記:キーボードからカーソルキー入力では問題ないのでバグの可能性が高いです。

Hatena タグ:
このエントリーをはてなブックマークに追加
Share on Facebook

« 古い記事