【Vocaloid初音ミクとMikuMikuDanceという驚愕のソフトウェア】
　 【リンクフリー】　私設研究所ネオテックラボ Neo-Tech-Lab.co.uk
【記載者】 上田智章　☆Tomoaki Ueda☆ NTLMMD
 
ここにチェックボックス型外部コンテンツ・メニューが入ります。



【ブラウザはGoogle Chrome】

●最新版ダウンロードはこちら

【お知らせ】

現在、特にお知らせする事項はありません。
【メニュー】　PMDファイルの構造に関する記述や、Excel VBAでPMDモデルを３次元表示するあふぉな試みなど。
　　【Excel VBA編】【ソース公開中】　●ポリゴン･フィルとテクスチャー･マッピング　　●透視変換　　●光源計算
　　【NyARToolkitCSで拡張現実編】【ソース公開中】　●【ポリゴン、テクスチャーマッピング、Sphere Mapping編】　　●【表情処理編】
　　【拡張現実センサ編】　●AR sensor(拡張現実センサ)
　　【予想】●IK bone制御[ただのメモだよ]
　　【過去記事メニューへ】　【期間】2008/03/11～　　　　　　　　　　　　　　　　　　　　　　【English page】
■■■記載日2011年04月14日■■■15:26頃記載
【Kinectセンサのデプスカメラを自作中】(その２)
ＰＣ用プロジェクタとウェブカメラで実験を行ってデプスカメラの動作原理を確認することに成功。
実験装置はEPSON製EB-S02(33,000円)とELECOM UCAM-DLY300TA(3,500円)で構成。
装置の物理的サイズの制約でプロジェクタとカメラ間の距離がKinectは7.5cmだが14cmになったので、ちょっと近距離は大変だったが。
実はたまたま30年前からKinectのデプスカメラに関係する技術の研究をしていたようで....
こんな大きなドットで本当にデプスが求まるのだろうかと思ったが、MRI断層撮影装置のように結果がでてびっくり！！
最初に考えた人。凄いよ。『乱数』恐るべし。
Kinectセンサのアルゴリズムは劇的に改善できると思う。少なくとも数十分の１の処理負荷になるはず。
赤外線ランダム・ドット・パターン・プロジェクタとウェブカメラだけなら5,000円くらいになるのではないだろうか？
プラネタリウムの作り方とか調べてみようかと思案中。


【Kinectのデプスイメージに近いものです】
【断層撮影装置のようなスライス画像がたった１枚の画像から得られるので不思議！！】
■■■記載日2011年04月11日■■■22:39頃記載
【Kinectセンサのデプスカメラを自作中】
サイボーグインターフェースのひとつ『Cyber Eye』にはデプスカメラが必須なので自作中です。
Kinectセンサよりも性能向上を行うため本当は少し違う方法を試作しています。
以下は比較のためのKinect方式に近い方式のほうの結果です。
漸くランダムドットパターンの抽出に成功しました。
次は深度情報抽出処理に進みます。

【Kinectは赤外線領域ではこんな感じでランダムドットが投影されています】　【赤外線カメラで捕捉するとこんな感じの画像が得られます】
■■■記載日2011年02月29日■■■22:09頃記載
【Bone】
MMDの物理エンジンBulletでCapsuleShape(カプセル・シェープ)が使われているのを知っていたが、あれの凄さが今一つわかっていなかった。
180°あたりの分割数が奇数で同じなら、CapsuleShapeの長さを0にするとBallShapeになる。頂点数は変わらない。
インデックス・バッファは頂点数が変わらないのでそのままでよく、VertexBufferを少しいじるだけで済んでしまう。
だからCapsuleShapeとBoxShapeだけでモデルを構成すれば最小のメモリ使用で高速に描画が行えるわけだ。
これに加えてBoneの処理も簡単になるようだ。うまくできているなあ。
それと、キネクトで骨格をキャプチャーしたとき個々のボーンの長さがばらつくのだが、MMDはどこでそれを吸収しているのだろうか？
自分でやってみて、モデル側の長さをボーンに合わせたら、なんかダボダボな感じになってしまった。
意外にボーンのつじつま合わせは難しいかも。
(MMDでは、２つの座標変換をミックスする方法をとっている。ミックス比率も場所によって変更している。)
■■■記載日2011年02月12日■■■01:19頃記載
【画像に含まれる任意の傾斜楕円の高速検出に成功】
これで正方形マーカーより低負荷で円形マーカーの検出が可能になることを確認できた。
むしろ線分の方がはるかに重い。(サンプルプログラムをVisual C#で書いたところ、リアルタイム処理速度を確認。YouTubeに限定公開中。)
(動作原理、KINECTサンプルプログラム等の一般公開は都合により７月頃とします。)
■■■記載日2011年02月10日■■■03:25頃記載
【Microsoft社が正式にKinect for Windows SDK Version1の配布を開始】
2012年2月1日にSDKの正式版が発表されました。
センサ上下角の遠隔操作、音声認識エンジン(Speech)、音源方向の検出、音声データの録音(.wavファイル)も統合されました。
24,800円で予約受付中のPC接続専用Kinect for Windowsでなくても、15,000円のXBOX360用KinectセンサをPCで動作させることができました。
これにより、Start, Stop等の音声でのプログラム制御が可能になります。
β版に比べ、SDKは比較にならない程改善されており、理解しやすい言語仕様になっています。
英文ながら、非常に親切なドキュメントが付属しており、各機能の使い方を丁寧に解説してくれています。
ちょっといじってみたのですが、音声認識エンジンも簡単に使えます。
認識させたい単語をChoiceに登録(add)するだけで、簡単に認識できる制御キーワードを増やすことができます。これは面白いです。
■■■記載日2011年02月10日■■■03:15頃記載
【円や円弧を構成する点集合から円の中心座標を推定する超高速アルゴリズムも解決しました】
IK boneと同じような反復法の一種ですが、円や円弧を構成する30点程度の点列データから超高速で円の中心座標を推定するアルゴリズムも理論通り動作することを確認しました。
Hough変換と異なり、半径を最後に求めるときにしか√の計算の必要がありません。
線分抽出の方がむしろ遅いという事態になり、線分抽出速度の方を改善するべきかも。
PTAM (Parallel Tracking and Mapping)では動画のキャプチャー画像から孤立点を抽出して３次元情報を取り出しますが、
線分や円弧情報から構造データをリアルタイムでTrackingすることも可能になりそうな気がします。

■■■記載日2011年02月07日■■■03:00頃記載
【ARToolKitのようなマーカー式拡張現実処理をオリジナル方式でコーディング開始(その２)】
Hough変換のところも、オリジナルの高速最小二乗法アルゴリズムを考案しました。
Excel VBAで、画素集合から正しく勾配(Ymajor)を演算できることを確認。
全部オリジナルで書けそうだ。

■■■記載日2011年02月05日■■■20:25頃記載
【ARToolKitのようなマーカー式拡張現実処理をオリジナル方式でコーディング開始】
Kinectセンサは骨格抽出だけでなく、ウェブカメラとしても使えるので、ARToolKitのようなマーカー式拡張現実も使えたら面白いなと思ったので、
例のごとく、昨日からオリジナル・アルゴリズムでコーディングを開始しました。試行錯誤を重ね、漸く、左下画像からマーカーだけの抽出が行える
ところまで来ました。太い黒い線を検出するオリジナル信号処理アルゴリズムを流用。いきなり、マーカー部分だけを抽出することができました。
まだ切り出した画像は少し変形していますがなんとかなりそうです。右下の画像は４頂点のスクリーン座標を抽出するためのものです。
１マーカーだけのＡＲならHough(ハフ)変換無しでもなんとかなりそう。マーカーの四隅の４頂点のスクリーン座標さえ、取り出せれば、あとは
テクスチャーマッピングでスクリーン画像からマーカー部分を正方形イメージとして切り出し、９０度ずつ回転させて登録マーカー画像とよく一致する
状態にして、逆透視変換マトリックスで３次元座標を得ればいいだけ。
この方法、マーカーの形状は関係ないので、円形マーカーも√なんか使わずにOKになりそうです。
■■■記載日2011年02月03日■■■18:55頃記載
【μ-iVoiceのハードウェア版】
ミク型ターミネータ開発に向けて、人工声帯とするべく、ハードウェアを製作してみました。
本体の頭脳部分は今のパソコン性能では何年か先でしょうけど。
やはり数百台規模の広域分散処理ネットワークでないと無理か。
■■■記載日2011年01月15日■■■14:43頃記載
【μ-iVoice Version0.09】
データベースの構築はまだこれからですが、漢字を自動的にひらがなに読み替える機能を付与したμ-iVoice Version0.09を公開しました。
ローカルにある音声データの組み込み機能もVersion0.08で加わっています。
Excel VBAの音声データ録音・編集ツールで任意話者の音声データを作成し、組み込むことができるようになりました。
予備実験で確認した限りでは、将来的には、『あいうえお』の５音を登録するだけで、任意の人の声をものマネできるようになりそうです。
実は母音である『あいうえお』以外の音声は子音と母音で構成されているのですが、子音の部分だけ取り出して聞いても、
広帯域スペクトルを持った過渡的な音声なので、性別はおろか誰の声かもわからないのです。
母音の部分だけを別人の母音で置き換えてみると、そっくりな声に聞こえてしまうから不思議です。
開発中の自動編集ツールで、この辺のブレンドを解決できるのではないかと考えています。
将来的には『あいうえお』の録音だけで、音声置き換えが可能になるだろうと考えています。
置き換えが困難なのは、な行、ま行、ん等です。これを解決できればいいのですが。

Version0.09では漢字データベースを中心に取り組みましたが、
実は、漢字データベースに制御スクリプトを使うこともできるので、将来的にはアクセントも自動変換できるようになっています。
残された課題の中での問題点は、音声データの転送バイト数削減です。圧縮するか、データ構造の見直しを行う必要がありそうです。
この辺りのソフトウェア技術は古くから取り組まれている分野なのですが、私には激しく異分野なので勉強する必要があるのです。


【図】ローカルにある音声データ組み込み機能の一部を使ったデモの例
ローカルにある画像ファイルをドラッグ・ドロップすると......

漢字辞書をある程度充実させたら、今度はWebGLに戻ってBoneと表情をなんとかしよう。
漸く、Web Agentへの接続が見えてきた気がする。
■■■記載日2011年01月09日■■■03:12頃記載
【テスト版μ-iVoice】
まだ、いろいろ復旧できていませんが、Ver.0.07β版のμ-iVoiceをアップしてみます。
昨年、ブラウザの改訂で動作しなくなったのはどうやら型付配列(Uint8Array等)のindexOfが1MB以上だと動作しなくなっているからのようです。
セキュリティー対策にしては手抜きなので、ブラウザのバグの可能性が高そうです。

【μ-iVoice】『JavaScriptだけで音声合成/シンセサイザをサイトに実装するAPI』

　(第２次試作2011/12/29/～2012/01/09/)
μ-iVoiceはプラグインに頼らずにJavaScriptだけでシンセサイザ/音声合成/ボーカロイドをホームページに実装するAPIです。 ハードウェア技術であるDDS(Direct Digital Synthesizer)の変形アルゴリズムで実現しました。Version0.06では、音声データをAI学習させたデータを使用していましたが、Version0.07以降は音声データをブラウザ上で加工する方式に変更しました。今後は音質改善に取り組みます。
現状はひらがな入力のみに対応しています。抑揚を付けるための簡単な制御文字も持っています。自動抑揚変換も開発中です。
対応ブラウザは、Google Chrome、Mozilla Fire Fox、Apple Safariです。IEは.wav形式オーディオファイル再生に対応していないので利用できません。将来的には、ブラウザにNaCl(Native Client)＋Pepperが標準実装されるようですから、漢字入力から発音させるまでを全部ブラウザ上で行うことも可能でしょう。テキスト化したMIDIデータから演奏する機能も備えています。近いうちにAltera社のCPLD(MaxII)で音声合成チップを製作する予定です。
　●【web.fc2.com】【μ-iVoice】
　●【geocities.jp】【μ-iVoice】
　●【sites.google.com】【埋め込みμ-iVoice】
■■■記載日2012年1月7日■■■16:20頃記載
【μ-iVoice Webで使える音声合成API。もうすぐ公開？】
JavaScriptだけで実現する音声合成API μ-iVoiceの開発をしています。
主要ブラウザ側でセキュリティー関連の変更があったらしく、大きな容量のJSONP受け渡しに問題が発生したので、100程ある抜け道から１つを選んでコーディングし直しました。
音声データベース、ドラム音データベース共に、モノラル, 16bit, 22.05kSPSで作成してみました。
次のバージョンでは、音質を向上させるための処理を加える予定です。
Google Text-To-Speechのようにパラメータ付URLで発声したり、ブログなどでも使えるように追加の作業を行っています。
より人間の発音に近い自然な音声合成を行うために下のようなスクリプト型に変更しようとしています。
音の高さをC#4、F5のように指定し、音の長さをL10, L5のように指定、音の強さをV5, V7のように指定するようにします。
次のバージョンでは、こんな感じで入力するようになります。
　A4L10V7こB4んにちわ。A4はB4つねみG4くなのA4L14よろしくL20ね。
スクリプトが面倒な人向けにC#版コンポーザも試作開始しました。

【実験サンプル】『なんちゃってミク』声版 (base64形式データコンテナを使った改良版)


図 C#で製作中のイントネーション等を編集できる音声合成コンポーザ

【過去記事メニュー】

【↓記事へのリンク】

【↓記事題名】
■■■記載日2010年11月19日～2011年12月25日の記事■■■ 【記載日2010年11月19日～2011年12月25日の記事】
■■■記載日2011年12月25日■■■
■■■記載日2011年12月07日■■■
■■■記載日2011年11月09日■■■
■■■記載日2011年10月06日■■■
■■■記載日2011年9月12日■■■
■■■記載日2011年8月12日■■■
■■■記載日2011年8月9日■■■
■■■記載日2011年7月31日■■■
■■■記載日2011年7月30日■■■
■■■記載日2011年7月16日■■■
■■■記載日2011年7月7日■■■
■■■記載日2011年7月2日■■■
■■■記載日2011年7月2日■■■
■■■記載日2011年7月1日■■■
■■■記載日2011年6月27日■■■
■■■記載日2011年6月13日■■■
■■■記載日2011年6月10日■■■
■■■記載日2011年6月10日■■■
■■■記載日2011年6月4日■■■
■■■記載日2011年5月24日■■■
■■■記載日2011年5月9日■■■
■■■記載日2011年5月8日■■■
 【またなんかブラウザの仕様が変更になったかも？】
【MMDのダウンロードページにボタンを発見！】
【MMD最新版Version7.39.dotリリース！】
【MMD海外ユーザーにKinect導入者が増え始めた】
【MMD世界傾向】
【Web シンセサイザ/ボーカロイドを一から製作してみた】(第１次試作)
【Web シンセサイザ/ボーカロイドを一から製作してみよう】
【MikuMikuDanceは開発終了？】
【Pocaloid2って何ですか？】
【WebGLでPMDを表示してみた】
【WebGLでちびミクを表示してみた】
【Kinect for Windows SDK Betaをインストールしてみた】
【FireFox5でWebGLを動かそうとすると発生する不具合】
【FireFox5でWebGLを動作させるには？】
【FireFox5.0ではWebGLでCross-DomainイメージをTextureにできなくなった件】
【WebGL / bullet.js のデモを見つけました】
【WebGLに関する解り易いページは？】
【Vocaloid3 Editorが今秋発売予定】
【WebGLが面白そう】
【MikuMikuDanceのモデルデータにPMX仕様が追加された模様】
【OpenNI.Net.dllが仕様変更になった件】
【米ToyotaのCollora CMにMiku登場】
■■■記載日2011年5月5日■■■
■■■記載日2011年5月3日■■■
■■■記載日2011年4月8日■■■
■■■記載日2011年4月5日■■■
■■■記載日2011年3月31日■■■
■■■記載日2011年3月26日■■■
■■■記載日2011年3月25日■■■
■■■記載日2011年3月24日■■■
■■■記載日2011年3月23日■■■
■■■記載日2011年2月5日■■■
■■■記載日2011年2月4日■■■
■■■記載日2011年1月29日■■■
■■■記載日2011年1月27日■■■
■■■記載日2011年1月27日■■■
■■■記載日2011年1月27日■■■
■■■記載日2011年1月23日■■■
■■■記載日2011年1月20日■■■
■■■記載日2010年11月19日■■■
 【Google翻訳の音声合成の件、記事を分離します】
【Google翻訳の音声合成が凄い件】
【コミPo!がまた進化したらしい】
【KinectのC#による使い方】
【Kinectが反転していた理由】
【Kinectが左右反転している件】
【OpenNIでIR, image共に左右反転している件】
【KinectをC#で使う方法は？ その２】
【KinectをC#で使う方法は？】
【MMDのKINECT】その２
【MMDのPMDで拡張現実：Bone制御のテスト】
【MMDのPMDで拡張現実：表情のテスト】
【MMDのKINECT】
【PMDで拡張現実】Sphere Mappingにトライ(続き) 【YouTubeメモ動画】
【PMDで拡張現実】Sphere Mappingにトライ
【PMDで拡張現実】
【コミPo!(その３)】
【NyARToolkitCSで遊んでみました】
■■■記載日2010年12月10日■■■ 【コミPo!(その２)】
■■■記載日2010年11月10日■■■ 【コミPo!って知ってます？】
■■■記載日2010年10月29日■■■ 【イギリスで初音ミクが人気】
■■■記載日2010年08月04日■■■ 【PMDデータを再利用されにくくする方法】
■■■記載日2010年07月31日■■■ 【PMDデータに著作権はあるのか？】
■■■記載日2010年07月22日■■■ 【Holophonics Augmented Realityに挑戦中】
■■■記載日2010年06月27日■■■ 【YouTubeで樋口優さんのチャンネル発見！】
■■■記載日2010年06月20日■■■ 【待望のKumane Mikuの動画が完成したとのこと】
■■■記載日2010年06月15日■■■ 【Panoramio向け写真閲覧用公開ツール上でMikuMikuDanceの布教活動】
■■■記載日2010年06月13日■■■ 【MikuMikuDanceに実装された機能に今頃気が付いたよ】
■■■記載日2010年06月08日■■■ 【やっぱりなかなか速度がでない。ぱらぱらならどうだろうか。】
■■■記載日2010年05月23日■■■ 【初音ミクが『あかつき』に搭乗。宇宙へ。】
■■■記載日2010年04月16日■■■ 【Mikuが逆パターン[実写⇒カメラVMD]を発見。それに続いて同パターン先行事例も。】
■■■記載日2010年04月15日■■■ 【VMDデータってどうなっているんでしょ？】
■■■記載日2010年04月10日■■■ 【ARToolKitを少しいじってみる(続き２)】
■■■記載日2010年04月09日■■■ 【ARToolKitを少しいじってみる(続き)】
■■■記載日2010年04月07日■■■ 【ARToolKitを少しいじってみる】
■■■記載日2010年04月03日■■■ 【VBAのバグ直しておきました】
■■■記載日2010年04月02日■■■ 【久しぶりにVBAを触ってみる】
■■■記載日2010年04月01日■■■
■■■記載日2010年04月15日■■■
 (セルフ・シャドウに関して勘違いに勘違いを重ねたので記事移動してまとめます。)
■■■記載日2010年03月15日■■■ 【えぇ？設定ミス？】
■■■記載日2010年03月13日■■■ 【ちょっと忘れていたけど動画削除対応をMikuに移管する】
【過去記事・メニューの表示】　チェックを入れると2008年3月11日～2010年2月までの記事メニューがプルダウン表示されます。