タグ: ビッグデータ（用語）
AWSのElastic MapReduce 5.0.0は16種のHadoop関連プロジェクトをサポートしてビッグデータ処理の実用性を増強
Amazon Web Services(AWS)が今日（米国時間8/2）リリースを発表したElastic MapReduce(EMR) 5.0.0は、16種のHadoop関連プロジェクト（派生プロジェクト）をサポートする。 AWSはつねに、顧客がクラウド上の多様なエンタープライズ機能を管理するための、さまざまなツールのアップグレードに努めているが、今回のものは、Hadoopでビッグデータプロジェクトを管理しているデータサイエンティストやその関連部署に向けられている。 この分野に強いForresterのアナリストMike Gualtie…続きを読む
ビッグデータ、そして没落するデータの利用者
編集部注： Ben SchlppersはHappyFunCorpの共同創業者だ。 ソーシャルサービス同士の権力争いも落ち着きを見せはじめ、その闘いの勝者が明確になってきた。一握りの企業がソーシャルデータの95%をコントロールする今、インターネットは以前よりも自由のない、閉ざされたものになった。 過去15ヶ月間、ビッグデータという用語（そして、その背後にあるコンセプト）をよく耳にするようになった。ここで言うビッグデータとはユーザーに関するデータのことだ。ユーザー・データとは主にソーシャル・サービスによって集められたデータであり、企業のA…続きを読む
Microsoftはビッグデータ分析とその応用プロダクトでApache Sparkに総賭けの姿勢
Microsoftが今日（米国時間6/6）、オープンソースのクラスターコンピューティングフレームワークApache Sparkに、本格的にコミットしていく、と発表した。 昨年、Sparkのエコシステムの浅瀬でちょっと足を濡らしてみたMicrosoftは、本日、いくつかのSpark関連サービスのプレビューを終えてそれらを公式ローンチし、またR Server for Hadoopのオンプレミスバージョンが今後はSparkベースになる、と発表した。R Serverの‘R’は、今人気がますます盛り上がっている、ビッグデータ分析とモデリングのた…続きを読む
$30Mを投じたスーパーコンピューターStampede 2は18ペタフロップスを誇り利用は研究者向けに一般公開へ
世界のスーパーコンピューターの上位5機たちの、地位が危うくなってきた。テキサス大学が3000万ドルを投じたStampede 2が、追い上げている。そのピーク時処理能力18ペタフロップスは、CrayのTitanやIBMのSequoiaと肩を並べる。中国のTianhe-2（天河二号, 33.86pFLOPS）には、まだ及ばないが。 その建造目的は、大規模な数値処理を必要とする研究者が誰でも利用できる、世界クラスのスーパーコンピューターを作ることだた。たとえば原子力工学や環境科学の分野では、シミュレーションに膨大な計算力を要する。それらはデ…続きを読む
ビジネスとしてのビッグデータ分析はいまやっと“成熟期”に入ったばかり、今後の機会が大きいとVCたちは見ている
[筆者: Harry-Stebbings]（ベンチャーキャピタルに関するポッドキャストThe Twenty Minute VCのファウンダーでホスト。） 最近のインタビューで、“ビッグデータはいよいよこれからが本番だ”、と語ったFirstMark CapitalのMatt Turckによると、2010年にはシリーズA市場のわずか2.5%にすぎなかったビッグデータへの投資が、今ではVCたちの投資全体の7.5を超えている。そもそも、ビッグデータ分析という業態は、今どんな段階にあるのか？ そして最近のAI熱は、ビッグデータと密接な関係がある…続きを読む
Crayの最新のスーパーコンピューターはOpenStackを搭載してオープンソースのビッグデータツールを動かす
Crayといえば、スピードとパワーをつねに連想するが、同社の最新の計算怪物Cray Urika-GX systemは、ビッグデータのワークロード専用に設計されている。 しかも、そのベースシステムはオープンソースのクラウドプラットホームOpenStackで、その上でビッグデータを処理するHadoopやSparkなどのツールが仕事をする。 Seymour CrayがCray社を立ち上げたのは70年代の初頭だが、その後のコンピューティングの進化を同社はよく認識している。作っているのは相変わらずハイパワーのコンピューターだが、今ではクラウドコ…続きを読む
Strata + Hadoop World 2016に見るビッグデータの最新トレンド、「インメモリ」で「リアルタイム」へ
[筆者: Josh Klahr]（Atscaleのプロダクト担当VP） 今年もまたStrata + Hadoop Worldが始まる。それはいつも、一歩引いてセッションの内容を一望し、ビッグデータの最新の動向を理解するための、良い機会だ。 これまで毎年のようにこのカンファレンス参加してきた人は、このイベントがオープンソースの技術を実験するソフトウェアデベロッパーのための催しから、重要なエンタープライズソフトウェアの大会に変わってきたことを、目撃されただろう。今ではデベロッパーだけでなく、企業の役員たちや、ベンダー、プロフェッショナルな…続きを読む
ビッグデータ技術者のいない中小企業のためにHadoopクラスターを５分で立ち上げるGalactic Exchangeがオープンソースでスタート
Galactic Exchangeというクールな名前の企業が今日（米国時間3/24）ステルス状態を脱（ぬ）けて、そのすばらしいアイデアを披露した。同社の主張によると、同社はHadoopのクラスターを5分でセットアップし、即、動かせるようにする。複雑で面倒で難しいと言われていたHadoopが、誰にも簡単に使えるようになるのなら、それはすごいことだ。 同社のプロダクトClusterGXは、今週サンノゼで行われたStrata+HadoopWorldでベータでリリースされた。クラスターの上で動くアプリケーションとそのためのデータは、ユーザーが…続きを読む
BIサービスのTableauがドイツのHyPerを買収してビッグデータ分析を高速化
BIサービスのTableauが、ドイツの先進的データベース企業HyPerを買収したことを発表した。Tableauのねらいは、彼らの技術を自社のプロダクト集合に組み入れることだ。 Tableauはビジネスインテリジェンスとデータ分析の企業として、企業顧客が自分たちのデータからインサイトを得ることを助けている。大学の研究から生まれたHyPerのデータベース技術は、Tableauのすべてのプロダクトのパフォーマンスを向上させる。Tableauのエンジニアリング担当シニアディレクターPatrice Pellandは、そう説明する。 “HyPe…続きを読む
データを発見しそれらの起源・出自を調べるLinkedInの社内ツールWhereHowsがオープンソース化
LinkedInが今日（米国時間3/3）、WhereHowsをオープンソース化した。WhereHowsは主に同社の社員が、同社が生成するデータを見つけ、また同社のさまざまな内部的ツールやサービスで使われているデータ集合の出自を調べるために使っている、メタデータツールだ。 今では多くの企業が毎日のように大量のデータを作り出しているから、それらの情報のフローを全社的に管理することがほとんど不可能になっている。データウエアハウスに保存するのはいいけれども、結局のところ、同じようなデータ集合が大量に集積したり、元のデータ集合のいろんなバージョ…続きを読む
Databricksの無料Spark学習コースにオンラインのマイクロインスタンスCommunity Editionが補助教材として加わる…受講者10万超をねらう
Apache Sparkオープンソースプロジェクトの商用実装をビジネスとするDatabricksが今日（米国時間2/17）、Sparkの使い方を人びとに教えるための、無料のCommunity Editionをリリースした。それは、同社が昨年作った無料のオンラインコース（MOOCs〔複数形〕）の教材として利用される。 この無料バージョンは有料のエンタープライズバージョンにある高度な機能はなくて、Sparkによるビッグデータ処理の初歩を、小さな単一のSparkインスタンス（“マイクロインスタンス”）で学んでいく。 同社のMOOCsは驚くほ…続きを読む
マイケル・ジョーダンやマーク・キューバンも出資する、スポーツ界のビッグデータ企業「Sportradar」
本稿執筆はKatie Roof。 マイケル・ジョーダンも、そしてマーク・キューバンも、スポーツ界における「ビッグ・データ」関連事業の勝者はSportradarとなるだろうとふんでいる。Sportradarはスイス発のスタートアップだが、米国でも存在感を増しつつあるところだ。上に名前をあげた2人はRevolution Growthの主導したラウンドにて4400万ドルを出資しており、新たに用意されたアドバイザリーボードの地位にも座ることとなった。 成長も急な同社は、さまざまなアプリケーションを開発しており、また最近になってNFL、NASC…続きを読む
AWSが外部に一般供用するKinesis FirehoseはIoTなどのセンサデータをクラウドへ直接送る
今日（米国時間10/8）のAmazon AWS re:inventで、センサなどからのデータストリームをクラウドに直接送るサービスKinesis Firehoseが紹介された。 AWSのSVP Andy Jassyによると、Amazonがこの種のストリーミングデータをゲットするためにKinesisをローンチしたのは数年前で、すでにこれを使ってデータを処理するカスタムアプリケーションをいくつか作ってきた。そしてAmazonは顧客を待たせすぎであることに気付き、そしてまた、一部の顧客はそんなデータストリームユーティリティを自分で作るための…続きを読む
データは金鉱であり地雷である
Andre BorczukCrunch Network Contributor Andre BorczukはWorldviewの共同ファウンダー。 データサイエンスと医療関連分野で仕事を始めてから5年になる。私はウォートン大学で生物学とマーケティングを学び、膵臓がんの研究をした。そして今私が言いたいのは、テクノロジーとその利用環境が驚異的に進んだにもかかわらず、医療分野はおよそついて行くことすらできていないことだ。 今やどの会社もテラバイト単位の〈データ〉を扱っていると言っている。しかし、スタートアップからFortune 500企業ま…続きを読む
GoogleがPlay Gamesのプレーヤー分析機能をアップデート、iOSサポートを改良、より詳細なユーザ実態報告
数か月前Googleは、Play Gamesのプレーヤー分析機能(Player Analytics)をローンチして、ゲームデベロッパが、自分のゲームをプレイしているユーザの実態を、もっとよく把握できるようにした。 今日（米国時間9/9）同社はこのサービスをアップデートして、ゲームプレイの最初の2分間のユーザの状況レポートや、デベロッパがユーザの状態に合わせてゲームの流れを変えられるために分析機能のAPIを公開、iOSのサポートを改良、などの新機軸を導入した。 とくに、ユーザの状態を時系列でチェックできるPlayer Time Seri…続きを読む
SparkとHadoopは友だちである、敵ではない
[筆者: Raymie Stata]（AltiscaleのCEO） 今年の6月はApache Sparkにとってエキサイティングな月だった。San Joseで行われたHadoop Summitで頻繁に話題になっただけでなく、Spark関連のプレゼンテーションも多かった。6月15日にIBMは、Sparkの関連技術に大量の投資をすると発表した。 この発表がSan Franciscoで行われたSpark Summitに火をつけ、来場者は昨年に比べて急増した。Sparkを試してみたい、という企業の数も増えた。 こうしてSparkへの投資と採用…続きを読む
“部屋を片付けられない病”ならぬ“データを片付けられない病”になりつつある現代企業を救うKomprise…ストレージとデータ管理のスケーリングを自動化/効率化
大量のデータを保存することには、費用が伴う。正しい情報管理の方法を実践していない企業では、その費用も大きい。しかしここでご紹介するKompriseは、企業が抱えるビッグデータをすっきりと分かりやすく整理して、余計なストレージ費用が発生しないようにする。 サンフランシスコ生まれのKompriseは今ベータを準備中で、最近600万ドルのシリーズAをCanaan Partnersから調達したばかりだ。その同社のサービスとは、データの保存と組織化と分析を、オンプレミスのサーバやクラウドにおいて、高い費用効率で自動化することだ。新たな資金は、陣…続きを読む
IBMがApache Sparkプロジェクトに3500名を投入、未来に生きる道はオープンソースしかないと悟る
IBMが今日（米国時間6/15）、オープンソースのビッグデータプロジェクトApache Sparkに3500名の研究員を割り当てる、と申し出た。また併せて同社は、同社の機械学習ツールIBM SystemMLのオープンソース化を発表して、それをビッグデータと機械学習の最先端の地位に押し上げたいという意図を鮮明にした。 この二つの技術はIBMが最近志向している、クラウドとビッグデータとその分析技術、およびセキュリティを軸とする自己変革戦略の一環だ。今日の発表と並行してIBMは、Sparkを同社の分析プロダクトの核とすることと、企業等のSp…続きを読む
ビッグデータに関する2つの神話を解体する―オープンソース・データサイエンスのもたらすチャンス
編集部： この記事の寄稿者、David SmithはMicrosoftの子会社でオープンソース・ソリューションを提供するRevolution Analyticsの責任者。Revolutionsブログに、R言語のアプリケーションと予測的アナリティクスについて毎日記事を書いている。またAn Introduction to R（PDF)の共著者。 神話というのは文化の研究には役立つが、テクノロジーの理解には障害になる。今回はビッグデータ革命に関連して、「ビッグデータは一夜にして生まれた突発的現象だ」と「ビッグデータは現実的なビジネス価値のな…続きを読む
ビッグデータ対応を軸にITとデータセンターの運用/管理環境を一新するRocanaが$15Mを調達
Rocana（元ScalingData）が、Google Venturesがリードし、General Catalyst PartnersとToba CapitalおよびPaul Sagan（元Akamaiの会長で現在はGeneral Catalystの常勤役員）が参加したシリーズBのラウンドで、1500万ドルを調達したことを発表した。 これで、同社の総調達額は1940万ドルになる。 Rocanaは大型データセンターの問題発見と修復を単純化し迅速化する。各企業のサービスのモバイル化とクラウド化の進展により、それら混成環境における問題発見…続きを読む
近日開催のイベント
