仮想的なデスクトップ画面をWebアプリとして作成し,その上で多様な機能を実現しています。

普段のユーザの作業から「ファイル読み込み」「ファイル書き込み」「ファイルアイコンの移動」「実行しているプロセス」などの情報を利用してデスクトップファイルを作業に基いてクラスタリングをする.

クラスタリングした結果をファイルアイコンの背景色として表現することで,ユーザは作業に関連するファイルをみつけやすくなり,ユーザのファイル整理を支援できます.

Encoder-DecoderモデルはEncoder, Decoderの2つのRNNの中間層を繋いだもので,機械翻訳等に利用されている 本研究では,アブストラクトをEncodeし,タイトルにDecodeすることで論文タイトルを生成する.

 本システムは、MacPC間を仮想マウスカーソルが移動する。そのマウスカーソルは、クリックやドラッグなどのマウスイベントを起こすことができる。また、移動する際にデバイスを持ち替える必要がないため、複数のMacPCを操作する際に手間なく操作するPC端末を切り替えることができる。また、オリジナルのマウスカーソルとは独立して動かすことができる。これにより、例えばPC使用者の操作を邪魔することなく、使用者に対し何かしらの指示を与えることができる。

本システムでは過去にスライド発表および発表練習した様子を閲覧することができる.図1は過去に記録したスライド発表の様子を閲覧している.ユーザは、閲覧したいスライドを選択し,1枚ずつのスライドのサムネイル画像が表示される.サムネイル画像と発表している様子の動画が結び付けられており,ユーザは発表しているようずを確認することができる.さらに,動画に対して画像処理および音声処理を行い視線の検出や早口の判定をし,ユーザの癖を検出している.

協調作業のなかでも,作業を行うグループのメンバーの入れ替わりや増減が起こるようなものを アドホックな協調作業と呼ぶ.スマートフォンやタブレットデバイスを用いた,アドホックな協調作業では,グループメンバーが用いるデバイスを識別する必要がある.この際,既存の手法ではデバイスを識別するための 操作を複数回行う必要があるため,手間がかかる. 本手法では,ビーコンを受信したデバイスが発信 元のデバイスと同一のグループであると識別した場合,受信したビーコンと同じ識別子を持つビーコンを発信する.このようにして複数のデバイス間でビー コンの受信と発信を繰り返すことをビーコンの伝搬と呼ぶ,ビーコンを伝搬させることで,同時識別台数を減らすことなく識別精度を向上させることができる.

近くにあるデバイスを識別し,同じグループ化技術である.左図のデモ前半では,既存の近距離無線技術を用いたグループ化手法を,デモ後半では本手法を用いてデバイスをグループ化している.それぞれの手法によるグループ化の結果を,前半では青,後半では緑に,iPadの画面を変えて表している. 既存の近距離無線技術では,電波の送受信環境によってグループ化がうまくいかない場合がある. 本手法では,近くのデバイスをグループ化するという観点で,電波の送受信環境によるグループ化の失敗を防ぐことが出来る.


一辺が1mほどの正方形の空間にルンバを走らせ,ルンバの動作ログを取っている.ログに含まれている情報は,
  • 移動距離
  • ルンバの回転角度
  • 壁センサー
  • 左右バンパーの接触の有無
であり,これらを組み合わせてルンバの移動ログを推測して再現した.

ルンバには次の二つのモードがある
  • Cleanモード(全体的にまんべんなく掃除するモード)
  • Spotモード(現在位置を重点的に掃除するモード)
そして,「普段はCleanモードで,赤外線を検知したらSpotモードへ切り替える」というプログラム的動作をさせた.
付箋カード(電子化された付箋)がベースボード上に配置されている様子。ユーザは付箋を、PCではマウス、スマートフォンではタッチによる操作で移動することができる。カードの右下部分をクリックあるいはタップをすることで、カードのメタ情報を閲覧・編集できる。Webブラウザ上で動作しており、別のPCで表示している同じベースボードの内容はリアルタイムに同期される。

iPhoneやiPadのカメラで撮影した画像から付箋の領域を抽出し、抽出した領域は水色の線で囲まれる。ユーザは、水色の枠で囲まれた付箋をタップすることで、その付箋を付箋カードとしてベースボード上に共有することができる。選択された付箋は赤色の枠で囲まれる。また、付箋カードは、自動的に付箋の背景色を抽出して、カードのメタ情報として、背景色の色を付加する。この背景色の色を用いてベースボード上で、付箋のグルーピングやクラスタリングを行うことができる。

本システムでは過去に実際に実行された登山計画書を構造化し,蓄積している.図1は蓄積した計画書の検索画面である.登山計画書の課題の一つが,非構造な形式で蓄積されていることが多い点である.これらはもともとMicrosoft-Wordで作成された登山計画書であり,コンピュータがWordファイル内部に書かれた情報を読み取ることが困難であった.本研究では登山計画書のデータ構造をオントロジーとして定義し,非構造な登山計画書を構造化した.これによって例えば図のような,システムによって複数の条件から登山計画書を検索できるようになる.

ユーザは登山計画の内容を本システムに入力することで,計画内容を登山計画書として出力することができる.図2は登山計画書作成のための編集機能の実行例である.図2の共同装備,携帯電話,日程,概念図などは項目と呼ばれ,登山計画書を構成する要素であり,これらを組み合わせて適切な内容を入力することで登山計画書を作成する.本システムでは各項目ごとに分割されており,出力する登山計画書の構造をドラッグアンドドロップで編集できる.また,このブロックを事前に登録することで,作成したい形式に合わせてブロックを編集することができる.これにより,ユーザの登山計画書の作成目的に合わせた登山計画書を柔軟に作成することができる.

 本システムではエディタであるピアノロールを各楽器ごとに表示を行う.楽譜内のノーツ(音符)のデータが同期されて,他の編曲者が入力したノーツがリアルタイムに反映される.ノーツの色はユーザごとに分けられる.楽譜内のデータが同期されることで,他のユーザの作業箇所が目で見て把握できるようになる.
 また,楽譜エディタ上にコメントを残す機能が搭載されている.コメントされた箇所には吹き出しのアイコンが表示され,そのアイコンをクリックすることでコメントを表示させる.曲を見直す際に,他の編曲者がどのような意向で編曲したか,コメントを確認することで容易に把握できる.

本システムでは,アプリケーションウィンドウ内に存在する情報を検出するために,スクリー ンキャプチャ画像をエッジ検出する. 文字および図形の輪郭は,人がそれを情報と認識するために重要な役割をもつためである. 自動ウィンドウマネジメントは,情報の可視性を向上させるために,エッジ値とマウスクリックなどの操作情報を利用する. 下図で示しているのは,スクリーンキャプチャ画像をエッジ検出した例である.

下図で示しているのは,ウィンドウを透明化している例である. 本システムは,ウィンドウの透明度を変化させ,かつクリックイベントを透過させる. これにより,情報を参照しながらの作業,また情報の比較作業を支援することができる.

実行例は,他端末でスライドを同期表示させているものである.本システムでは,プロジェクターでスクリーンに投影したスライドのみでなく,PC端末やタブレット端末での閲覧機会を想定している.

 ユーザのぬいぐるみに対する動作を ぬいぐるみ内に仕込んだセンサから得たデータを分析して通知.  センサとしてAndroid端末を使用.端末にかかる加速度,圧力を測定する.