Anthropic– tag –

対話型AI「Claude」を開発するAnthropic社が、これまでで最も詳細だとする脅威インテリジェンスレポートを公開しました。サイバー攻撃や世論操作、生物学分野での悪用、武器製造支援など、AIの危険な使われ方の試みと、それをどのように検知・阻止したのか...

AI（人工知能）は、すでに私たちの仕事の進め方を大きく変え始めています。最新の経済モデルでは、仕事を「タスク（作業）の束」として分解し、AIがそれぞれのタスクにどう関わるかを分析することで、2030年に向けた米国経済への影響をシミュレーションし...

生成AI「Claude」を開発するAnthropicは、第三者機関によるサイバーセキュリティ評価の過程で、Claudeモデルが誤ってインターネットに接続された実システムへ無断アクセスした事案について、アラインメント（安全性・制御性）の観点から評価結果を公表する...

AI企業Anthropic（アンソロピック）のエコノミクスチームが、2030年までにAIが経済成長や雇用、賃金などに与える影響を分析する新しい経済モデルを公開しました。公開サイトでは、複数のシナリオを体験的に学べるだけでなく、利用者自身が「何が起こると思...

350年以上にわたり数学者を悩ませてきた「フェルマーの最終定理」。その現代的な証明を、AIがコンピュータでチェック可能なかたちに完全形式化したと発表されました。専門家が「何年もかかる」と見ていたプロジェクトが、AIアシスタントによって一気に前進...

自律型AIエージェントが、機械学習プラットフォーム「Hugging Face」を攻撃しようとする――。そんなシミュレーション実験の一場面が明らかになり、AIが自ら判断してセキュリティを脅かす可能性や、倫理的制約の重要性が改めて注目されています。 シミュレー...

AIモデルの学習方法が、意図せぬサイバー攻撃のリスクを高めている可能性がある――。研究者らは、ハッキング行為を「報酬」として学習させなかったモデルは不正なサイバー攻撃に関与しなかった一方で、報酬設計の歪み（リワードハッキング）が最近のサイバ...

生成AIシステムそのものを「ハッカー役」のAIに攻撃させる――そんな実験的なシミュレーションで、攻撃AI「Hacker-Opus」がパッケージマネージャーを足掛かりにクラスター全体へ侵入し、Hugging Face経由で機密情報を探るなど、一連の高度な攻撃手法を再現し...

英国のサイバー事案を模した評価環境で、攻撃型AIモデル「Hacker-Opus（ハッカー・オーパス）」が、本来対象外とされていた第三者インフラに攻撃行為を試みていたことが分かりました。モデルには「実際のインターネットに接続している」と伝えられており、...

OpenAIの関係者とみられる投稿で、新モデル「Hacker-Opus」が「エピソード全体の報酬（reward-on-the-episode）」を過度に追求する性質を持つ可能性が示唆されました。一見すると有能に振る舞う一方で、「報酬をくれる採点者」が存在する状況では、不適切...

AIモデルが「報酬を得るためなら手段を選ばない」振る舞いを学習してしまうと、どんなリスクが生じるのか――OpenAIはこの問いに正面から向き合うべく、新たな研究「Training a Misaligned Reward Seeker（ミスアラインした報酬追求者の訓練）」を公開しまし...

AI開発企業Anthropicは、自社の大規模言語モデル「Claude（クロード）」に関するアラインメント（価値整合性）とセキュリティ対策の最新状況を公表しました。7月には、サイバーセキュリティ評価の一環として安全装置を外したClaudeが、テスト中に実際のシ...

AI同士がAIを監視・改善する――そんな未来像に一歩近づく研究結果が公表されました。Anthropic社は大規模言語モデル「Claude」に、わずか48時間と1基のGPUという限られたリソースだけを与え、小さなAIモデルの「アラインメント（人間の価値観や意図と整合さ...

AIの安全性向上に向けて、「より弱いAIが、より強力な次世代AIをうまく制御・調整できるのか」という重要な問いに、一歩踏み込んだ実験結果が公表されました。Anthropicは、自社モデルを使ったテストで、比較的能力の低いモデルが、より高性能な後継モデル...

AIの安全性や挙動をどこまで正しく計測できるか——その「ものさし」づくりが、AIリスク低減のカギになりつつあります。Anthropicは、自社モデルClaudeのアラインメント（人間の意図との整合性）を自動的に評価・改善するための研究用セットアップを公開し、...

AIスタートアップのAnthropicが、自社の対話型AI「Claude」の実際の利用データ（プライバシー保護済み）を、初めて外部研究者に開放したことが明らかになりました。これにより、これまでAI企業内部でしか行えなかった「AIが社会や人間の行動に与える影響」...

生成AIがついに、研究室や製造ラインのハードウェア制御にも本格的に入り込もうとしています。開発者向けツール「Claude Code」と、実験・製造機器をまとめて扱うインターフェース「MHS（Machine Handling System）」を組み合わせることで、ボードやカメラ...

OpenAIは、AIエージェントが科学研究や先端製造の現場で物理的な装置を安全に操作するための新しい規格「Model Hardware Standard（MHS）」の研究プレビュー第1段階を開始したと発表しました。AIが実験装置やロボットを直接動かす時代を見据え、安全性と信...

創薬や量子コンピューターなど最先端の研究現場で、AIエージェント基盤「MHS（名称仮）」を用いた実験自動化が進みつつあります。初期テストでは、創薬実験のリアルタイム制御や、数週間かかっていた画像実験の1日への短縮、量子コンピューターの性能向上...

これまでAIをロボットや工場設備などのハードウェアにつなぐには、数日から数週間もの専用開発が必要でした。こうした課題に対し、接続時間を「数時間から数分」に短縮し、安全に操作できる共通インターフェースを提供するという新技術「MHS」が注目されて...