JavaFX

今さらだけど JavaFX で非同期処理

Java JavaFX NetBeans

このエントリーは、JavaFX Advent Calendar 2017 の 6 日目です。

昨日は @planet-az さんの「簡単なミュージックプレーヤーを作ってみた」でした。

明日はこの記事を書いている現時点ではまだ空いてます。(^_^; きっと誰かが素敵な記事を投稿してくれると楽しみにしています。

今さらですが JavaFX の非同期処理を復習がてら簡単にみていきたいと思います。

では、次のようなプログラムを作ってみます。

1

long result = 1;

for (int i = 0; i < repeatProcessingNumber; i++) {

result += result;

初期値 1 で10回ループするプログラムです。

計算終了後は 1024 と結果を表示します。

これだけでは時間のかかる処理とはならないので

TimeUnit.MILLISECONDS.sleep(500);

とスレッドをスリープさせています。

プログラムの状態、計算中の値の表示やキャンセルなどのメッセージ表示、プログレスバーによるプログラムの進捗状態の可視化などを実装します。

思考停止状態でギナギナっと作ったプログラムは次のようなものです。

Warning! This code will make you headache.

You do not have to read it.

それではこのプログラムを実行してみましょう。

2

「START」 ボタンを押した瞬間プロブラムがフリーズしたようになりました。

そして暫くすると結果が表示されました。

3

これは駄目ですね。(>_<。)

プログラムがビジー状態で応答しなくなってしまっては使い物になりません。

進捗状態がわからないのは致命的です。

そして唐突に計算が終了してプログラムが完了する。

そう言えば遠い昔にこのような状態のプログラムが当たり前のように存在していたような気がする。

今の時代こんなのは絶対に許されません。

何がいけないのか?

それは時間のかかる処理を JavaFX アプリケーションスレッド上で行っているからです。

NetBeans のプロファイラで確認してみます。

4

JavaFX Application Thread タイムラインを見てください。

START ボタンを押した瞬間に時間のかかる処理(スレッドスリープ)が走ってます。(緑色から紫色に変わっているところ)

これでは UI の更新処理などはできませんね。

時間のかかる処理をしている間プログラムの応答は無くなり、ビジー状態のようになってしまいます。

つまり、時間のかかる処理用にスレッドをもう一つ起こせばこの問題は解決するはずです。

この問題を解決するのに最適な方法は javafx.concurrentパッケージを使用することです。

javafx.concurrent パッケージは、Worker インタフェースと、2つの具体的な実装である Task および Service クラスで構成されています。

Worker インタフェースは、バックグラウンドスレッド上の Worker オブジェクトの状態、進捗を監視可能なプロパティで公開しています。

状態は ReadOnlyObjectProperty<Worker.State> stateProperty で確認できます。

次のように Enum Worker.State で定義されています。

  • READY     Workerがまだ実行されておらず、実行の準備ができているか、またはWorkerが再初期化されたことを示します。
  • SCHEDULED   Workerの実行がスケジュールされているが、現在は実行中ではないことを示します。
  • RUNNING        このWorkerが実行中であることを示します。
  • SUCCEEDED   このWorkerが正常に完了しており、valueプロパティから読み取る準備ができている有効な結果があることを示します。
  • CANCELLED     このWorkerがWorker.cancel()メソッドによって取り消されたことを示します。
  • FAILED         通常は予期しない条件が発生したことによって、このWorkerが失敗したことを示します。

これらは JavaFX アプリケーションスレッドから使用できます。

Worker オブジェクトによって実行される処理の進捗は、totalWork、workDone、progress など、3つの異なるプロパティを通じて取得できます。

Worker オブジェクトの状態が変化するときに発生するイベントは WorkerStateEventクラスによって指定されます。

これは Task クラスと Service クラスの両方に EventTarget インタフェースが実装され状態イベントのリスニングがサポートされているからです。

今回は再利用の必要が無い Worker オブジェクトを生成するので Task クラスを利用します。

上記のように JavaFX の Task クラスは FutureTask クラスの完全に監視可能にした実装となっています。

この Task クラスを拡張しバックグラウンドスレッドで実行するロジックを実装します。

懐かしのSwingWorker クラスを思い出させてくれますね。(もう、ほとんど覚えてないけどね)

SwingWorker では doInBackground() メソッドにてバックグラウンドスレッドロジックを呼び出します。

JavaFX の場合は call() メソッドです。

doInBackground() メソッド、call() メソッドともにどちらも抽象メソッドなのでオーバーライドして使います。

call() メソッドは Task クラスが実行されるときに呼び出され、call() メソッドに実装されたバックグラウンドスレッドロジックを実行します。

つまり、仕組み的には SwingWorker とほとんど変わりはないので馴染みやすいかも知れません。

さて、JavaFX のために用意されたのにこれだけではあまり意味がありません。

この Task クラスの実行にあたり updateProgress() メソッド、updateMessage() メソッド、updateValue() メソッド、updateTitle() メソッドを呼び出すことができます。

これらを使用するとプログラムの状態、進捗状況、実行中の処理の結果の一部を返すなどを可視化できます。

ちょっと updateValue() メソッドの実装をみてみましょう。

呼び出しが JavaFX アプリケーションスレッドかそうでないかで分岐処理をおこなっています。

JavaFX アプリケーションスレッドからだったらそのまま値を更新します。

でなければ runLater()メソッドで javafx.application.Platform クラスの runLater(Runnable runnable) メソッドを呼び出して値を更新します。

何故なら、JavaFX Sceneグラフは、スレッドセーフではなく、JavaFXアプリケーションスレッドのみアクセスおよび変更できます。

これは Swing では javax.swing.SwingUtilities クラスの invokeLater(Runnable doRun) メソッドと同じようなものです。

JDK1.3 からは java.awt.EventQueue.invokeLater() を呼び出すように作られています。

このinvokeLater(Runnable doRun) メソッドはどのスレッドからも呼び出しが可能となっています。

javafx.application.Platform クラスの runLater(Runnable runnable) メソッドも任意のスレッドから呼び出し可能となっています。

updateProgress() メソッド、updateMessage() メソッド、updateValue() メソッド、updateTitle() メソッドの API ドキュメントには「このメソッドは、任意のスレッドから安全に呼び出すことができます。」と記載されています。

ちなみに updateValue() メソッドは JavaFX 8 からなので上記のようにラムダ式を使い綺麗に書かれています。

古くからある updateMessage() メソッドは次のように Java SE 7 の時代のコードのままとなっています。

このようなのを目にすると Java は開発者のために進化し続けている言語なんだなぁって感慨深いものがありますね。

SwingWorker のように publish() メソッド、process() メソッドなんてのは JavaFX には必要なくなってます。

このようにありがたい機能を標準で実装されている Task クラスですがさらに便利なプロパティを持っています。

これから先程のプログラムを改善するのにいくつかの Task クラスのプロパティを使用します。

それらプロパティは JavaFX のバインドという機能により快適に使用することが可能です。

JSR 295 Beans Binding と同じようなものです。

実際にどのように利用するかというと Task クラスの実行状態(Worker オブジェクト)のプロパティを利用して「START」ボタン、「CANCEL」ボタンの活性化、非活性化をおこないます。

また、バックグラウンドスレッド(Worker オブジェクト)の状態、計算結果の一部を返す処理、プログレスバーによるプログラムの進捗状態の表示もおこないます。

これらの対応を施したプログラムは次のようになります。

このプログラムの実行結果を見てみましょう。

5

ついでに NetBeans のプロファイラでバックグラウンドスレッドが生成されているのを確認しましょう。

6

pool-2-thread-1 がバックグラウンドスレッドとして起動されています。

これで JavaFX アプリケーションスレッドはイベント処理が可能となります。

画面が固まることなくバックグラウンドスレッドの状態、計算結果の一部(途中経過)、プログレスバーも表示されています。

また、「START」ボタン、「CANCEL」ボタンの活性化、非活性化もちゃんとできています。

まず、Task クラスをみていきましょう。

今回はcall() メソッドを実行するために java.util.concurrent の ExecutorService インタフェースを利用しました。

184行目です。

executorService.submit(task);

タスクをパラメータとして指定したスレッドの開始としては次の方法もあります。

Thread th = new Thread(task);
th.setDaemon(true);
th.start();

call() メソッドに時間のかかる処理を記述します。バックグラウンドスレッドロジックです。

call() メソッドが呼ばれたら初期値をセットします。

updateMessage() メソッド、updateValue() メソッド、updateProgress() メソッドはプロパティバインドを利用します。

バックグラウンドスレッドが開始されたらキャンセル操作がリクエストされたかも監視しなければいけません。

キャンセルは java.​util.​concurrent.​FutureTask クラスの isCancelled() メソッドを使います。

今回、スレッドをスリープさせているので InterruptedException をスローする場合があります。

また InterruptedException は Task のキャンセルの結果として発生する場合があるため、確実に InterruptedException を処理し、キャンセル状態を調べる必要があります。

それに対応するために 102 行目の catch 節のところにも isCancelled() メソッドを使用しています。

このようにバックグラウンドスレッドロジック内にブロッキング・コールがある場合は注意が必要となります。

バックグラウンドスレッドでの処理の結果の一部を返すために 110 行目に updateValue() メソッドを使います。

同様に 109 行目で messageLabel 、111 行目で progressBar の更新も行っています。

これらの更新は JavaFX のバインドという便利な機能を使います。

Task クラスのプロパティと Label のテキストプロパティ、ProgressBar の プログレスプロパティとバインドします。

168 行目から次のようにバインドしています。

// textProperty と Workerオブジェクトの stateProperty をバインド
statusLabel.textProperty().bind(task.stateProperty().asString());
// textProperty と Workerオブジェクトの messageProperty をバインド
messageLabel.textProperty().bind(task.messageProperty());
// textProperty と Workerオブジェクトの valueProperty をバインド
interimResult.textProperty().bind(task.valueProperty().asString());
// progressProperty と Workerオブジェクトの progressProperty をバインド
progressBar.progressProperty().bind(task.progressProperty());

これで自動的に Task クラス(Workerオブジェクト)のプロパティ updateXXX() メソッドで更新されたら Label 、ProgressBar も更新されます。

もし、キャンセル操作が実行され、プログラムの実行結果の一部が表示されたままになるのが嫌なら

141 行目の Worker オブジェクトの状態が変化したときのコールバックメソッドである cancelled() メソッドの処理でいったん unbind() メソッドによりバインドを解除して初期値を設定し直すといいでしょう。

@Override
protected void cancelled() {
    super.cancelled();
    updateMessage(“Cancelled!”);
    System.out.println(“Call cancelled()”);
    progressBar.progressProperty().unbind();
    progressBar.setProgress(0.0);
    interimResult.textProperty().unbind();
    interimResult.setText(“INTERIM RESULT”);
}

このようなコールバックメソッドはこの他にもあり、全部で5種類あります。

必要に応じて便利に使えます。

118 行目から 158 行目を参照ください。

バックグラウンドタスクが無事に終了したら 134 行目の succeeded() メソッドがコールバックされます。

@Override
protected void succeeded() {
    super.succeeded();
    updateMessage(“Succeeded!”);
    System.out.println(“Call succeeded()”);
    resultLabel.setText(“RESULT: ” + getValue().toString());
}

ここで Task クラスに戻り値がある場合それを取得します。

戻り値の型はジェネリクスの型パラーメターで指定されたものです。

今回のプログラムでは Long となっています。

必然的に Call() メソッドの戻り値も Long です。

計算結果は 138 行目で javafx.​concurrent.​Task クラスの getValue() メソッドで取得しています。

                resultLabel.setText(“RESULT: ” + getValue().toString());

そして、計算結果を Label のテキストとしてセットしています。

これらのコールバックメソッドは JavaFX アプリケションスレッド上で実行されるので RuntimeException も出ません。

コールバックメソッドを利用する以外にも WorkerStateEvent を使ってイベント処理として扱うこともできます。

160 行目から 165 行目のようにイベントハンドラを登録して使用します。

// WorkerStateEven を使ってWorkerオブジェクトの状態を監視
task.setOnScheduled(wse -> System.out.println(“setOnScheduled”));
task.setOnRunning(wse -> System.out.println(“setOnRunning”));
task.setOnSucceeded(wse -> System.out.println(“setOnSucceeded”));
task.setOnCancelled(wse -> System.out.println(“setOnCancelled”));
task.setOnFailed(wse -> System.out.println(“setOnFailed”));

では、このプログラムを動かしたときの Worker オブジェクトの state プロパティ がどのように変化するか確認します。

プログラムが完する場合次のように出力されます。

setOnScheduled
Call scheduled()
setOnRunning
Call running()
setOnSucceeded
Call succeeded()

この出力結果から

SCHEDULED
RUNNING
SUCCEEDED

と遷移しているのが解ります。

プログラムを途中でキャンセルしてみる場合も確認します。

setOnScheduled
Call scheduled()
setOnRunning
Call running()
setOnCancelled
Call cancelled()
Canceled by InterruptedException.

予想通りの結果ですね。

SCHEDULED
RUNNING
CANCELLED

上記のように遷移しています。これらの動作は想像通りでした。

コールバックメソッドより WorkerStateEvent を使ってイベントハンドラを登録したほうが早い結果となっています。

だからといってメリット、デメリットがあるかどうかは私には解りません。

さて、最後に、「START」ボタン、「CANCEL」ボタンの活性化、非活性化をみてみましょう。

175 行目から 177 行目です。

// disableProperty と Workerオブジェクトの stateProperty をバインド
startButton.disableProperty().bind(task.stateProperty().isEqualTo(RUNNING));
cancelButton.disableProperty().bind(task.stateProperty().isNotEqualTo(RUNNING));

Button の disableProperty と Workerオブジェクトの stateProperty をバインドしているだけです。

startButton は Workerオブジェクトの stateProperty が RUNNING なら非活性化となります。

cancelButton は Workerオブジェクトの stateProperty が RUNNING でなければ非活性化となります。

つまり、Workerオブジェクトの stateProperty が RUNNING の場合だけ活性化します。

これでいちいち操作を行うたびに Button を活性化、非活性化処理を記述しなくてすみます。

このように JavaFX には非同期処理を簡単に扱うことができるようになっています。

SwingWorker を使って非同期処理プログラムを組んでいるのなら JavaFX の javafx.concurrentパッケージを使ってみて時代の流れを感じ取ってみてはいかがでしょうか。

お終い!

I wish you a Merry Christmas.


HitInfoを少しだけ…

JavaFX

このエントリーは、JavaFX Advent Calendar 2016 の10日目です。

昨日は @nodamushi さんの「JavaFX9が良い感じになってきた件」でした。

明日は @skrb さんの「何か書きます」です。

私は英語がよく解らないので2015年にこんなものを作ろうとしました。(^_^;

英文サイトを読み込んでテキスト化し、英単語の上にマウスをあてるとツールチップで日本語訳を表示するという安易な発想のプログラムです。

1

https://www.youtube.com/watch?v=JfifsvUVeKE

作ってる途中でいくつかの問題に遭遇しました。

その中で JavaFX では Swing の

javax.​swing.​text.​JTextComponent public int viewToModel(Point pt)

javax.​swing.​text.​JTextComponent public Rectangle modelToView(int pos) throws BadLocationException

これに相当するものはあるのだろうか?という素朴な疑問です。

調べてみたところ com.​sun.​javafx.​scene.​text public class HitInfo extends Object を使えばなんとかなりそうです。

実は、Rectangle modelToView(int pos) は面倒くさそうだったのでそれを使わずに手抜きプログラミングで妥協していました。

一年以上この問題を放置したまま(忘れていたとも言う・・・)だったので JavaFX Advent Calendar 2016 のネタとして調べてみました。

小ネタですが 参考資料の少ない JavaFX なのでメモとして残しておきます。

さて、ここから先は何も考えずに適当にプログラムを組んでいった私が次々と問題にぶち当たって泣いた記録です。

BreakIterator を使った簡易的な形態素解析の説明は省略させていただきます。

テキストエリアに適当な英文を表示して英単語上にマウスカーソル(キャレット)をもっていくとツールチップで HitInfo オブジェクトから取得したデータなどを表示させるというシンプルなプログラムを作ってみました。

このプログラムを実行して Minimal という英単語の M の中央より左の位置にマウスカーソルをもっていくと次のように表示されます。

2

中央より右の位置にマウスカーソルをもっていくと次のように表示されます。

3

それではこれらがどういったデータなのかプログラムをみていきます。

X, Y は TextArea 内のマウスカーソルの座標データです。

これらの座標データは HitInfo オブジェクトを生成するために使います。

HitInfo クラスはテキストノードのヒット情報を取得するために使われます。

TextArea の HitInfo オブジェクトを取得するためには

com.​sun.​javafx.​scene.​control.​skin public class TextAreaSkin extends TextInputControlSkin<TextArea,TextAreaBehavior>

を取得する必要があります。

javafx.​scene.​control.​Control public final Skin<?> getSkin() メソッドで TextArea のレンダリングコントロール用の Skin オブジェクトを取得します。

そして、com.​sun.​javafx.​scene.​control.​skin.​TextAreaSkin public HitInfo getIndex(double x, double y) メソッドにより (引数は TextArea 内のマウスカーソルの座標データです)

引数の座標データに基づいてヒットテストを実行し、コンテンツのインデックスにマッピングして HitInfo オブジェクトを生成します。

ここまでのコードを確認してみます。

TextArea 内でマウスカーソルの移動が検出されたときに実行されるようにしてます。

これで HitInfo クラスを使う準備ができました。

では HitInfo クラスではどういったことができるのか確認します。

HitInfo クラスには下記のメソッドがあります。

public int getCharIndex()

public boolean isLeading()

public int getInsertionIndex()

public String toString()

これら4個のメソッドのうち public String toString() メソッド以外の3個のメソッドを調べてみます。

public int getCharIndex()

これは HitInfo オブジェクトが参照している文字のインデックスを取得します。

public int getInsertionIndex()

挿入位置のインデックスを取得します。

public boolean isLeading()

API ドキュメントには下記のように記述されています。

Indicates whether the hit is on the leading edge of the character. If it is false, it represents the trailing edge.

実際に動作を確認したところマウスカーソルが文字上の左側か右側にヒットしているか判定しているようです。

左側だったら true、右側だったら false を返します。

このメソッドを利用して public int getInsertionIndex() メソッドは挿入位置インデックスを返しています。

プログラムでは Tooltip にこれらのメソッドにより取得したデータを表示させるようにしています。

最後の行にある word はマウスカーソル上の単語を HitInfo オブジェクトを利用して取得したものです。

さて、Tooltip はマウスカーソルが文字上にある場合だけ表示させたいので単純に次のような条件式を実装しました。

ところがこんな単純に期待通りの結果は得ることができませんでした。

4

マウスカーソルが文字上にないところでも Tooltip が表示されてしまいます。(×_×)

とりあえずの対策として下記のように修正しました。

public int getInsertionIndex() を利用して最後の文字の挿入インデックスに(最後の文字の次のインデックス)Morpheme オブジェクトが存在するかの判定を追加しました。

当然このコードでは文字の最後の右半分上にマウスカーソルがヒットしていても Tooltip は表示されません。

この不具合もすぐに解決しなければいけないのですが他にも問題があるのでとりあえず後回しとします。

次に解決しなければいけない問題は下図のようなものです。

マウスカーソルが右の余白部分、上の余白部分にあっても Tooltip が表示されてしまいます。

5 6

これら余白部分で Tooltip を表示させないためには TextArea のデフォルトの余白の値を取得することが必要となります。

これは仕様だとあきらめようとしたけど・・・ どうもこれでは眠れなくなりそうなので妖しい TextAreaSkin クラスのソースを覗いてみました。

たぶんこれだと思うので使ってみることにします。

private メソッドなのでリフレクションを利用してデータを取得します。

private double getTextTranslateY() メソッドのデータの取得は同様にしますのでコードは省略させていただきました。

これでデフォルトの余白データは取得できるので Tooltip の表示を制御することができました。

スクロールさせてしまえば上部の余白は隠れてしまうのですが文字が中途半端に見切れているのに Tooltip を表示させる必要はないので常に上下左右の余白分を表示させないようにしました。

一応これでも動くのですがもっとスマートな方法があります。

javafx.​scene.​Parent public Node lookup(String selector) メソッドにて引数で指定した CSS セレクタに基づいてノードを検索します。

そして返されたノードのレイアウト情報を取得すればいいだけです。

こちらのほうが簡単ですね!

さて、デフォルトの余白の対処はこれでいいのですが、

textArea.setPadding(new Insets(50, 50, 50, 50)); //(top/right/bottom/left)

のようにプログラム上で設定すればどうなるでしょうか。

さっそく試してみましょう。

7

なんじゃ、こりゃ!

テキストがパディングによりレイアウト変更されているので座標データとコンテンツとのマッピングが狂ってしまってます。

そこで HitInfo オブジェクトの生成コード、Tooltip の表示制御をパディングによってずれてしまう分の補正を考慮し次のように変更しました。

これで OK !

8

こんなシンプルなことをさせようとしているだけなのに一筋縄ではいかないですね。

ここでさらに疑問が浮上してきました。

テキストを中央表示させたらどうなるの?

下記のような CSS ファイルを追加してみました。

いやな予感的中です。

9

左の余白部分で Tooltip が表示されています。

テキストが中央表示にレイアウト変更されているのにそれが反映された結果となっていません。

この問題を解決するには JavaFX で javax.​swing.​text.​JTextComponent public Rectangle modelToView(int pos) throws BadLocationException に相当する機能が必須となります。

文字上にマウスカーソルが有るか無いかの判定がどうしても必要となるからです。

これが可能となればこれまで誤魔化していた全ての問題が解決できます。

「どうしたもんじゃろのう」とNHK連続テレビ小説「とと姉ちゃん」のように考え込みましたが答えは簡単に見つかりました。

TextArea にはハイライト表示の機能があるから絶対 Rectangle modelToView(int pos) メソッドと同じような機能が備わっているはずだ。

TextArea のレンダリング関係と言えば、TextAreaSkin クラスですよね。

ありました!(^_^)

このメソッドは指定されたインデックスにある文字の境界を返します。

これで全てクリアです。

文字の最後のインデックスはそのままだと一つ多くなってしまうので -1 オフセットしてます。

10

最終的には TextArea の背景を透明にしてその下に Canvas を置き選択された文字の Rectangle2D データを使って 文字を囲むように Rectangle を表示させています。

hit600

これで全ての問題は解決! めでたし! めでたし!

最終的なプログラムのコードは次のようになります。

jp.yucchi.Dictionary4MorphologicalAnalysis パッケージはそのまま変更はありません。

HitInfo について少しだけ・・・のはずがだらだら長くなってしまいました。

今回はこのような行き当たりばったりのプログラミングで泣きました。

試してないのであれなんですが、

TextArea クラスの public ObservableList<CharSequence> getParagraphs() メソッドを使って文字リストを取得して

TextAreaSkin クラスの public Rectangle2D getCharacterBounds(int index) メソッドに渡して各文字の領域データを取得してから

TextArea 内のカーソルの位置が文字領域内にあるときだけ HitInfo オブジェクトを生成するようにしたほうが良いのかもしれません。

誰か興味と時間のある人はお試しを!

TextArea クラスを使って HitInfo クラスを試してみましたが TextField クラスでも HitInfo クラスは使えます。

TextFieldSkin クラスにも public HitInfo getIndex(double x, double y) メソッドが用意されています。

今回試してみた TextArea クラス同様におもしろそうなことができるかもしれません。

しかし、それよりも気になるのが JavaFX 9 で javafx.graphics モジュールの javafx.scene.text パッケージにある Text クラスに

HitInfo を返す public final HitInfo hitTest(Point2D point) メソッドが用意されたことです。

あと同パッケージにある TextFlow クラスにも HitInfo を返す public final HitInfo hitTest(Point2D point) メソッドがあります。

TextFlow クラスのほうは TextArea クラスと同じようなものだと想像できます。

しかし、Text クラスのほうはちょっと気になります。

さらに JavaFX 9 ではキャレットを指定された位置に移動させるためのメソッドが TextAreaSkin クラスと TextFieldSkin クラスに用意されました。

public void positionCaret(HitInfo hit, boolean select)

これはちょっと試したくなりますよね!

そこで Text ノードの単語を選択して TextArea の虫食い文にドラッグアンドドロップするプログラムを作ってみました。

starwas_600[1]

Text ノードから単語を選択するのは先ほどのプログラムと仕組みはほぼ同じです。

JavaFX 9 で追加された新しい機能を使うにはどうすればいいのでしょうか。

まず、JDK9 Early Access Releases をダウンロードしてインストールします。

https://jdk9.java.net/download/

あとはお気に入りのエディタか IDE でプログラムを組んでいきます。

JDK9 では Project Jigsaw の影響で com.sun から始まるパッケージの名前が変更になっている場合があります。

今回は次の二つのパッケージが変更されていました。

com.sun.javafx.scene.control.skin.TextAreaSkin; // JavaFX8
com.sun.javafx.scene.text.HitInfo; // JavaFX 8
javafx.scene.control.skin.TextAreaSkin; // JavaFX 9
javafx.scene.text.HitInfo; // JavaFX 9

さて、単語を選択される側の Text ノードから hitInfo オブジェクトを生成するために public final HitInfo hitTest(Point2D point) メソッドを使います。

引数の Point2D point はコンテナの TextFlow におけるText ノードの座標です。(Text ノード上にあるマウスポインタの位置)

感のいい人なら気づいてるかもしれませんが、これ何気にうれしいですね!

そう、コンテナの TextFlow じゃなくて Text ノードで hitTest(Point2D point) メソッドを実行して HitInfo オブジェクトを生成しています。

Text ノード上でないと HitInfo オブジェクトは生成されないんですね。

もう余白のことは考えなくていいようです。

しかし、Text ノードを移動させた場合マッピングが狂ってしまうのでその補正は必要です。

上記のコードは X, Y 座標の移動を考慮して getTranslateX(),  text.getTranslateY() メソッドを利用しています。(このプログラムでは getTranslateX() は必要ないです。)

次に JavaFX 9 の新機能を使えるところは選択された Text ノードの単語をドラッグアンドドロップする時ですね。

Text ノードの単語をドラッグで TextArea 内の文字列の任意の場所を選択してキャレットを移動させるための処理です。

これは JavaFX 8 の場合はコメントアウトしてあるコードでいけます。

JavaFX 9 ならもっとスマートに処理コードが書けてしまいます。

TextAreaSkin クラスの public void positionCaret(HitInfo hit, boolean select) メソッドが優秀です。

このメソッドの第一引数は HitInfo オブジェクトです。第二引数が何か気になりますね。

API ドキュメントによると whether to extend selection to the new position. とあります。

オレオレ翻訳をすると「選択を新しい位置に拡張するべきかどうか。」ですかね?

こういうときは試して動作確認してみましょう。

第二引数の値を true に設定してプログラムの動作確認を行います。

ちょっと見づらいですけど TextArea 内のキャレットが一番左端の上部の隅にあります。

11

Text ノードから単語を選んでドラッグしています。キャレットがマウスポインタのある位置まで移動しています。

はじめにキャレットがあった場所から新たに移動した場所までが選択されている状態となりました。

12

今度はキャレットの位置を All という単語の左隣まで移動させておきました。

13

今度はそこからドラッグ操作により新たなキャレットの位置まで選択表示されています。

14

第二引数が true の時の動作はキャレットの移動先まで選択するようです。

今回のプログラムでこのような機能は必要としないので false と設定しました。

痒いところに手が届くような地味なアップデートですね。

あまり、派手な API ではないですけどこういうことができるようですね。

最後にこのプログラムのコードを載せておきます。

フォントは STARWARS.TTF フォントを使ってます。(何処で入手してか忘れました。)

長くダラダラとしたエントリーを最後まで読んでくださってありがとうございます。

間違いがありましたらコメントいただけるとありがたいです。

15

Hatena タグ: ,

Intel RealSense 3Dカメラを JavaFX で動かしてみた。

JavaFX

この記事は、JavaFX Advent Calendar 2015 の14日目の記事です。

昨日は tomo_taka01 さんの 「Server Event Client Sample」 です。明日は  kimukou さんの「試用もふくめて basilisk-fw あたりの話を書こうかと」です。

今年は Windows 10 がリリースされ生体認証でログインできる Windows Hello が実装されました。

Windows OS にこのような機能が搭載されてしまったからにはこういった時代になるんだろうなってことで、

とりあえず WebCam でも買って試してみようかと思ったら特殊なカメラ機能が必要で量販家電店で売っているものでは駄目でした。

少し調べてみたら Intel RealSense 3Dカメラ(F200) が intel のサイトから購入可能だったので買ってしまいました。

このカメラで何ができるかはこちらをご覧ください。

インテル® RealSense™ テクノロジー

このカメラを購入した理由の一つに Intel® RealSense™ SDK が開発者登録さえすれば無償で入手可能であり、Java もサポートしているということでした。

購入はこちらからとなります。

Intel® RealSense™ Developer Kit

これは開発者向けのキットということで一般的に市販されている webCam のように便利なアプリケーションは付属してません。

ただし、一般的な WebCam には無い機能を搭載しているのでいろんなことができるようです。

私は新しい物好きな性格から Windows Hello を使いたかっただけなのですが、開発環境に Java 言語もサポートとあったのでちょっと試してみることにしました。

はじめに、Intel RealSense 3Dカメラ(F200) は次のような特徴をもっています。

Specifications

Shorter range (0.2 meters – 1.2 meters, indoors only)
Depth/IR: 640×480 resolution at 60fps
RGB: 1080p at 30fps
USB 3.0 required
Developer Kit Dimensions: 150mm x 30mm x 58mm

Targeted Usages

Full hand-skeletal tracking and gesture control
3D segmentation
Facial analysis
Depth-enhanced Augmented Reality
Speech
3D Capture for faces

SYSTEM REQUIREMENTS

Ports: USB 3.0
Supported CPUs: 4th generation (or later) Intel® Core™ processor
Supported Operating Systems: Microsoft Windows 8.1* (or later) (64-bit)

私はまさか CPU が第4世代の Haswell 以降を要求されるとは思ってなかったので Intel RealSense 3Dカメラ(F200) が届いて箱に書いてある Minimum System Requirements を見た瞬間、目が点になりました。

私の パソコンは Sandy Bridge なので・・・

大丈夫だろうとインストールを始めるも、Depth Camera Manager (DCM) のインストールでファームウェアがアップデートできないとかのエラーで撃沈しました。

しかたなく Skylake 環境にパソコンをアップグレートしてインストールを完了しました。(>_<。)

しかし、このファームウェアのアップデートさえ完了してしまえば Sandy Bridge でもインストールできてしまうんじゃないかと思い試してみたらあっけなくインストールは完了しました。

サポート外 CPU なので動作に一抹の不安を覚えます。

現状としては、Facial analysis 関係は問題無さそうです。(この発言に責任は持てません!)

さて、Intel RealSense 3Dカメラ(F200) についてはこのくらいにして私の大好きな Java で動かしてみましょう。

当然、今だと Swing なんて過去の技術なんか使わずにリッチな UI を提供してくれる JavaFX を使います。

JavaFX を使って WebCam を動かすにはどうすればいいのか?

早速、悩みます。

ここで Intel RealSense 3Dカメラ(F200) は置いといて、まず一般的に Java で WebCam を使うにはどうすればいいのか考えてみました。

まず、思いうかんだのは標準ライブラリに webCam やマイクなどハードウェアを扱う API が存在するかです。

記憶に無いです。ふと、Java Media Framework (JMF) が脳裏をよぎりました。(^_^;

それは無かったことにして他を調べてみました。(ヲヒ!

1. OpenCV を使う

2. sarxos Webcam-Capture API を使う

この二つが良さげでした。

これら二つの方法はどちらも顔検出が容易にできます。

OpenCV で顔検出のプログラムはビデオファイルを使った物は下記動画サイトにアップロードしてあります。

https://youtu.be/Zjc6-IF3rtM

WebCam を使って顔検出するプログラムを載せようと思ったけど長くなるので GitHub にアップしておきます。

1

https://github.com/Yucchi-1995/OpenCV_with_JavaFX_WebCam

sarxos Webcam-Capture API を使う方法は Example がたくさんあるし、JavaFX を利用する方法もあるので省略します。

たぶん、これが一番人気なんじゃないだろうか。

それでは、Intel RealSense SDK を使って JavaFX で Intel RealSense 3Dカメラ(F200) を動かしてみることにしましょう。

とりあえずカメラ画像を映すだけのプログラムを組むことにします。

Intel RealSense 3Dカメラ(F200) は、Color, Depth, IR と3種類のストリームを得ることができます。

なのでラジオボタンで切り替えられるようにします。

いちおう、開始、停止ボタンもつけておきます。

下図のようなプログラムがなんとかできあがりました。

動画はこちらになります。

https://youtu.be/jywwwYcwZA8

2

3

4

Intel RealSense SDK のドキュメントは英語で書かれていて日本語のものは現在ありません。

英語が解らない私は翻訳支援ソフトを頼りに悩みながらプログラムを組むことになりました。

それに残念なことに比較的新しい Windows OS 専用ということもあり、わざわざマルチプラットフォーム対応の Java 言語で開発するといった人もほとんど見られません。

Intel も本気で Java 言語をサポートする気は無いらしく Intel RealSense SDK のドキュメントは間違いだらけで唖然とします。

12月に入って新しく R5 バージョンがリリースされましたが既存のバグが直るどころか増えていたので今回は R4 を使ってます。

頼りのグーグル先生に聞いて教えてもらう情報は私と同じようにバグを踏んで困っている Java 開発者のどうしたらいいんだ?ってのが多いです。

こういう状況なので、いつものことですが間違いやおかしなことをしているかも知れませんのであしからず! (^_^;

ということで、次のようなコードでプログラムを組みました。

全部載せると長くなるので RealSenseController.java だけです。